Translation of "Zur Ermittlung eines Objektes aus zwei Perspektiven mit innerer Orientierung" by Erwin Kruppa (1913)
Guillermo Gallego Elias Mueggler Peter Sturm
cs.CV













 




 

german
  german
  
english
  english
  
translated
  2
  
  
𝙷




















1]Guillermo Gallego
1]Elias Mueggler
2]Peter Sturm
[1]University of Zurich, Zurich, Switzerland.
[2]Inria and Univ. Grenoble Alpes, Lab. LJK, Grenoble, France.




Translation of “Zur Ermittlung eines Objektes aus zwei Perspektiven mit innerer Orientierung” by Erwin Kruppa (1913)[We thank the publishing house of the Austrian Academy of Sciences (ÖAW, <https://verlag.oeaw.ac.at/>) for granting permission to reproduce the original paper by Erwin Kruppa.]
    [
    
====================================================================================================================================================================================================================================================================================================




Erwin Kruppa's 1913 paper,

Erwin Kruppa, “Zur Ermittlung eines Objektes aus zwei Perspektiven mit innerer Orientierung”, 
Sitzungsberichte der Mathematisch-Naturwissenschaftlichen Kaiserlichen Akademie der Wissenschaften, Vol. 122 (1913), pp. 1939–1948, 

which may be translated as “To determine a 3D object from two perspective views with known inner orientation”,
is a landmark paper in Computer Vision because it provides the first five-point algorithm for relative pose estimation.


Kruppa showed that (a finite number of solutions for) the relative pose between two calibrated images of a rigid object can be computed from five point matches between the images.
Kruppa's work also gained attention in the topic of camera self-calibration, as presented in <cit.>.
Since the paper is still relevant today (more than a hundred citations within the last ten years) and the paper is not available online, we ordered a copy from the German National Library in Frankfurt and provide an English translation along with the German original.
We also adapt the terminology to a modern jargon 
and provide some clarifications (highlighted in sans-serif font).
For a historical review of geometric computer vision, the reader is referred to the recent survey paper <cit.>.





§ SUMMARY OF KRUPPA'S APPROACH


It is well known (and was already known by the time Kruppa's paper was written) that the epipolar geometry between two uncalibrated perspective images can be determined from seven point correspondences, up to three possible solutions in general. 
Kruppa showed that, when the images are calibrated, five correspondences are sufficient. The epipolar geometry, combined with the calibration information, then allows to recover the relative pose of the two images (up to scale), in turn enabling to determine the shape of the 3D scene (also up to scale).
He proved that, in general, there are up to 11 solutions (22 possible relative poses, coming in 11 pairs of solutions corresponding to relative poses related by rotating one camera by 180 degrees about the baseline joining the cameras' optical centers, since such a rotation leaves the reconstructed 3D shape invariant). 
In 1988, it was shown by <cit.> that there are actually at most 10 distinct solutions. 
Later, <cit.> developed the first algorithm that guarantees to indeed provide at most 10 solutions.

Kruppa's approach can be briefly outlined as follows. 
As mentioned, it was already known how to compute the epipolar geometry from seven point correspondences.
When using only five such correspondences, two additional constraints are required. 
Kruppa's insight was that the knowledge of the cameras' calibration delivers such constraints.
In particular, knowing the calibration of a camera is equivalent to knowing the image of the absolute conic (IAC) in that camera. The absolute conic is invariant to similarity transformations and thus the IAC is invariant to camera displacements. 
Hence, the IAC is directly determined by the camera's intrinsic parameters and indeed, the IAC fully encodes the intrinsic parameters of a perspective camera.
Kruppa essentially formulated what could be called epipolar constraints for images of conics.
For images of points, the epipolar constraint states that the two image points lie on corresponding epipolar lines. 
As for images of conics, we have: each of the two image conics has two epipolar lines tangent to it – these two pairs of epipolar lines must correspond to one another.
This observation gives rise to two constraints which, together with five point correspondences, allow to compute the epipolar geometry and, subsequently, the relative pose and the 3D shape of the scene (all these up to the stated number of possible solutions).

The term “Kruppa's equations” was probably coined by <cit.>, who
showed how to use the epipolar constraint for images of conics, for self-calibration: 
whereas Kruppa used the known calibration to compute epipolar geometry, Maybank and Faugeras showed that
known epipolar geometry allows to compute the camera calibration, even in the absence of a
calibration grid in the scene (to be precise, depending on the number of intrinsic parameters
to be computed, one needs to provide the epipolar geometry for more than one image pair).







§ ENGLISH TRANSLATION

S. Finsterwalder proves in his paper “https://eudml.org/doc/144606The Geometric Foundations of Photogrammetry” 
(Annual report of the German Association of Mathematicians (1897), Vol. 6, pp. 1–42) 
this theorem (p. 15):




§ GERMAN ORIGINAL

S. Finsterwalder beweist in seinem Referate “Die geometrischen Grundlagen der Photogrammetrie” (Jahresbericht der Deutschen Mathematiker-Vereinigung 6 Bd., 2. Heft) den Satz (p. 15):



Two perspective views with known inner orientation (calibration) are sufficient to determine the object up to scale.


Zwei Perspektiven mit bekannter innerer Orientierung reichen aus, um das Objekt bis auf den Maßstab zu bestimmen.



The term “inner orientation” refers to the knowledge of the position of the center of projection relative to the perspective view.


Dabei versteht man unter “innerer Orientierung” die Kenntnis der relativen Lage des Projektionszentrums zur Perspektive.



To compute the orientation (relative pose) of the perspective views, 
Mr. Finsterwalder determines the Hauckian kernel points (epipoles) from 7 pairs of corresponding image points.
However, a simple count of constants (degrees-of-freedom)[This remark was made by Mr. Finsterwalder in his work: “http://biodiversitylibrary.org/page/35671676A basic problem in Photogrammetry” 
(Treatises of the Mathematical-Physics Class of the Royal Bavarian Academy of Sciences, vol XXII., Issue II, p. 230.).
cf. E. Kruppa: “On some Orientation Problems in Photogrammetry” (These proceedings, vol. CXXI, Issue. IIa, p. 9, Remark).
]
reveals that the epipoles are determined from 5 pairs of corresponding image points 
if the intrinsic calibration is assumed to be known.
This work is devoted to this fact.
It yields the following theorems:


Um die Orientierung der Perspektiven durchzuführen, bestimmt Herr Finsterwalder die Hauck'schen Kernpunkte aus 7 Bildpaaren von Objektpunkten.
Nun sind aber, wie aus einer einfachen Konstantenzählung[Diese Bemerkung macht Herr Finsterwalder in seiner Arbeit: 
Eine Grundaufgabe der Photogrammetrie (Abhandlungen der Mathematisch-Physikalischen Klasse der Königlich Bayerischen Akademie der Wissenschaften 
II. Kl., XXII. Bd., II. Abt., p. 230). Vergl. E. Kruppa: Über einige Orientierungsprobleme der Photogrammetrie (Diese Berichte, Bd. CXXI, Abt. IIa, p. 9, Anmerkung).] 
folgt, die Kernpunkte bereits durch 5 Bildpaare von Objektpunkten bestimmt, wenn man noch die innere Orientierung heranzieht.
Die vorliegende Arbeit ist dieser Tatsache gewidmet. 
Es ergeben sich folgende Sätze:



1 Theorem: A three-dimensional pentagon can be determined, up to scale, by two arbitrary perspective views with known inner orientation [in general, there are 22 solutions, possibly complex].


1. Satz: Ein räumliches Fünfeck ist durch die willkürliche Annahme von 2 Perspektiven mit innerer Orientierung, abgsehen vom Maßstab, bestimmbar [i. a. auf 22 Arten, ohne Rücksicht auf die Realität].



2 Theorem: A three-dimensional heptagon can be determined, up to scale, by two arbitrary perspective views given the inner orientation of one and the distance to the center of projection of the other [in general, there are 24 solutions, possibly complex; see footnote <ref> on p. foot:thm2].


2. Satz: Ein räumliches Siebeneck ist durch die willkürliche Annahme von 2 Perspektiven, der inneren Orientierung der einen und der Distanz des Projektionszentrums der anderen, abgesehen vom Maßstab, bestimmbar [i. a. auf 24 Arten, ohne Rücksicht auf die Realität; man beachte die Anmerkung <ref> auf p. foot:thm2].







§ PROOF OF 1 THEOREM

We denote the centers of the views with o_1 and o_2, and the corresponding image planes with ϵ and ϵ'.
The line o_1 o_2 intersects ϵ and ϵ' in o and o', respectively.
Points o and o' are known as the epipoles of the perspective views.
For every point p^r that does not lie on the line o_1 o_2,
its viewing rays o_1 p^r and o_2 p^r lie on a certain plane α (the epipolar plane through p^r), 
and its projections p and p' lie, therefore, on the lines given by the intersections ϵ∩α and ϵ' ∩α (epipolar lines). 
The set of these intersection lines form the two “kernel line pencils” (pencils of epipolar lines) o and o'. 
Since these pencils are projectively related to the pencil of (epipolar) planes α, the following known theorem holds:




§ ZU 1.

Wir bezeichnen die Zentren der Perspektiven mit o_1 und o_2, die zugehörigen Bildebenen mit ϵ und ϵ'.
o_1 o_2 schneide ϵ in o, ϵ' in o'. 
o, o' heissen bekanntlich die Kernpunkte der Perspektiven.
Für jeden Raumpunkt p^r, der nicht auf o_1 o_2 liegt, liegen die Sehstrahlen o_1 p^r und o_2 p^r in einer bestimmten Ebene α, seine Bilder p und p' daher in den Schnittlinien [ϵ α] und [ϵ' α].
Die Gesamtheit dieser Schnittlinien bildet die beiden “Kernstrahlbüschel” o und o'.
Da sie zum Büschel der Ebene α perspektiv liegen, gilt der bekannte Satz:



a) The pairs of image points corresponding to object points 
are projected from the epipoles by means of projective pencils
(i.e., the set of lines formed by the epipole and image points in one image 
is in projective relation to the analogous set of lines in the other image).


a) Die Bildpaare der Objektpunkte werden aus den Kernpunkten durch projektive Büschel projiziert.



Our investigation is now based on the following addition:


Unsere Untersuchung beruht nun auf folgendem Zusatz:




b) In the projectivity of both epipolar line pencils (given by the epipolar line homography), 
the tangents that can be drawn from the epipoles to the images of a curve are corresponding lines.


b) In der Projektivität der beiden Kernstrahlbüschel entsprechen i. a. einander auch die Tangenten, die man aus den Kernpunkten an die Bilder einer Kurve legen kann.



In fact, if a tangential plane α to the space curve I^r, with contact point p^r,
passes through o_1 o_2, 
then the epipolar lines 
to p and p' are tangent to I and I', respectively.


In der Tat, geht durch o_1 o_2 eine Tangentialebene α an die Raumkurve I^r mit dem Berührungspunkt p^r, so sind die Kernstrahlen nach p und p' i. a. Tangenten an I beziehungsweise I'.



Let us apply the above statement to the Absolute Conic I^r.
Since the calibration of the views is given, 
the projections I and I' (Images of the Absolute Conic (IACs)) are known.
In addition, for the determination of the object, 
we are given 5 pairs of image points a b c d e → a' b' c' d' e'.


Diesen Zusatz wenden wir auf den absoluten Kegelschnitt I^r an.
Durch die innere Orientierung sind seine Bilder I und I' bekannt.
Außerdem stehen zur Ermittlung des Objekts 5 Bildpunktpaare a b c d e → a' b' c' d' e' zur Verfügung.



According to the above statement, the determination of the epipoles 
consists of finding a point o in ϵ and a point o' in ϵ' such that the projectivity (homography)

    o(a b c d e I) ⌅ o'(a' b' c' d' e' I')

holds.
(The 5 lines oa↦o'a', 
ob↦o'b', etc. 
as well as the epipolar lines tangent to I and I' are related by a projective transformation, i.e., a homography. 
See Fig. <ref>).


Nach dem Voranstehenden kommt die Bestimmung der Kernpunkte darauf hinaus, in ϵ einen Punkt o und in ϵ' einen Punkt o' zu finden, so daß die Projektivität

    o(a b c d e I) ⌅ o'(a' b' c' d' e' I')

besteht.





This is a generalization of the known “Projectivity problem”[Cf. R. Sturm: `http://gdz.sub.uni-goettingen.de/dms/load/img/?PID=GDZPPN002240270The projectivity problem and its application to 2nd degree surfaces (http://www.springerlink.com/content/1432-1807/Mathematische Annalen, Vol. 1, pp. 533–574 (1869)).Hesse: “https://eudml.org/doc/147890The cubic equation on which the solution to the problem of the homography of M. Chasles depends”.
(Journal of pure and applied mathematics, Vol. 62, p. 188–192 (1863))H. v. Sanden: “https://gso.gbv.de/DB=2.1/PPNSET?PPN=311071058Determination of the epipoles in Photogrammetry”. (University of Göttingen Dissertation 1908)] for 7 point pairs, 
in that here, irreducible second-order curves replace two of the point pairs.


Es handelt sich also um eine Verallgemeinerung des bekannten “Problems der Projektivität”[Vgl. R. Sturm: Das Problem der Projektivität und seine Anwendung auf Flächen 2. Gr. (Math. Ann. I, 1869).Hesse: 
Die cubische Gleichung, von welcher die Lösung des Problems der Homographie von M. Chasles abhängt. 
(Journal für die reine und angewandte Mathematik 62, p. 188)H. v. Sanden: Bestimmung der Kernpunkte in der Photogrammetrie. (Göttinger Dissertation 1908)] für 7 Punktpaare, indem hier an Stelle von 2 Punktpaaren irreduzible Kurven 2. Klasse treten. 



Let us use analytical geometry.
Let a b c and a' b' c' be the fundamental triangles, each of a system of projective coordinates in ϵ and ϵ'; 
it is a(1,0,0); b(0,1,0); c(0,0,1); d(d_1,d_2,d_3); e(e_1,e_2,e_3); 
I: ∑_ik a_ik y_i y_k = 0; a_ik = a_ki.
And similarly for ϵ'.
The coordinates of the desired epipoles are o(x_1 x_2 x_3) and o'(x'_1 x'_2 x'_3).


Wir bedienen uns der analytischen Geometrie.
a b c und a' b' c' seien die Fundamentaldreiecke je eines Sys-tems projektiver Koordinaten in ϵ und ϵ'; es sei a(1,0,0); b(0,1,0); c(0,0,1); d(d_1,d_2,d_3); e(e_1,e_2,e_3); 
I: ∑ a_ik y_i y_k = 0; a_ik = a_ki.
Entsprechendes gelte in ϵ'.
Die Koordinaten der gesuchten Kernpunkte seien o(x_1 x_2 x_3) und o'(x'_1 x'_2 x'_3).



Let us now establish the condition that the mentioned tuples of 7 rays are projectively related.
We establish the equivalent condition that the intersections of these pairs of rays with a b and a' b', respectively, are projectively related.
The coordinates of these seven intersection points are, in order:[Notation: (d x)_1=d_2 x_3 - d_3 x_2; and similarly for other symbols, by cyclic permutation (of the indices).]




Es ist nun die Bedingung aufzustellen, daß die genannten Strahlenseptupel projektiv seien.
Wir stellen die gleichwertige Bedingung auf, daß die Schnittpunkte dieser Strahlenpaare mit a b beziehungsweise a' b' projektiv seien.
Die Koordinaten dieser Schnittpunkte sind der Reihe nach:[(d x)_1=d_2 x_3 - d_3 x_2; analog die übrigen Symbole durch zyklische Vertauschung.]



    [1,0];  [0,1];  [x_1,x_2];  [-(dx)_2,(dx)_1];  [-(ex)_2, (ex)_1],



in case of the intersections of the rays oa, …, oe 
(with the line ab=(0,0,1)^⊤), 
and the roots of the equation


für die Schnittpunkte der Strahlen o(a b c d e) und die Wurzeln einer Gleichung:



    A_11 y^2_1 + 2 A_12 y_1 y_2  + A_22 y^2_2 = 0



in case of the intersections of the tangent pairs 
(with the line ab), where y_3=0 everywhere.


für die Schnittpunkte des Tangentenpaares, wobei überall y_3=0 ist.



The corresponding values in ϵ' are denoted with prime ' notation.


Die entsprechenden Werte in ϵ' werden durch Striche bezeichnet.



Let (the entries of the dual conic of I, i.e., the DIAC I^∗, be 
I^∗∝([ -δ_23   δ_3   δ_2;   δ_3 -δ_13   δ_1;   δ_2   δ_1 -δ_12 ]), with entries given in terms of the IAC, I∝(a_ij))


Bezeichnet man mit 



    δ_ik   = a_ii a_kk - a_ik^2,
    δ_1    = a_11 a_32 - a_31 a_12,
    δ_2    = a_22 a_13 - a_12 a_23,
    δ_3    = a_33 a_21 - a_23 a_31,



then (the coefficients of the above quadratic form are)






so ergibt sich für:




    A_11   = δ_12 x^2_2 + δ_13 x^2_3 + 2δ_1 x_2 x_3, 
    
    A_12   = δ_3 x^2_3 - δ_12 x_1 x_2 - δ_1 x_1 x_3 - δ_2 x_2 x_3, 
    
    A_22   = δ_12 x^2_1 + δ_23 x^2_3 + 2δ_2 x_1 x_3.




Since the fundamental points (1, 0, 0) and (0, 1, 0) correspond to one another in the projective assignment of the 7-tuple of points, this can be represented by:
(Let us denote the homography between the 7-tuple of points on the lines with homogeneous coordinates (0,0,1)^⊤ 
in each image plane (ϵ and ϵ') by the homogeneous 2× 2 matrix = (h_ij) (representing a 1D projective transformation, of points on a single line). 
Then, a'∝ a, b'∝ b, i.e.,)


Da in der projektiven Zuordnung der Punktseptupel die Fundamentalpunkte (1, 0, 0) und (0, 1, 0) einander entsprechen, so läßt sich diese Projektivität darstellen durch:




    ρ y_1'    = h_11 y_1 
    ρ y_2'    = h_22 y_2.




(where h_12=0=h_21, and ρ is a non-zero scalar). 
It follows that (the equations corresponding to the intersection points associated to c,d,e and I are)


Daraus folgt:




λx_1'    = h_11 x_1             μ(d' x')_2    = h_11 (d x)_2             ν(e' x')_2    = h_11 (e x)_2 
 
λx_2'    = h_22 x_2             μ(d' x')_1    = h_22 (d x)_1             ν(e' x')_1    = h_22 (e x)_1 

σA_11    = h_11^2 A_11';              σA_12    = h_11 h_22 A_12';          σA_22    = h_22^2 A_22' 



(where λ,μ,ν,σ are non-zero scalars), 
and therefore (getting rid of the proportionality constants in (<ref>))


und daher: 





    d_3 x_1 - d_1 x_3/d_3 x_2 - d_2 x_3·x_2/x_1 = 
    d_3' x_1' - d_1' x_3'/d_3' x_2' - d_2' x_3'·x_2'/x_1'
    e_3 x_1 - e_1 x_3/e_3 x_2 - e_2 x_3·x_2/x_1 = 
    e_3' x_1' - e_1' x_3'/e_3' x_2' - e_2' x_3'·x_2'/x_1'

equation-1


    δ_12 x_2^2 + δ_13 x_3^2 + 2 δ_1 x_2 x_3/δ_3 x_3^2 - δ_12 x_1 x_2 - δ_1 x_1 x_3 - δ_2 x_2 x_3·x_1/x_2 =
    δ_12' x_2'^2 + δ_13' x_3'^2 + 2 δ_1' x_2' x_3'/δ_3' x_3'^2 - δ_12' x_1' x_2' - δ_1' x_1' x_3' -  δ_2' x_2' x_3'·x_1'/x_2'


    δ_12 x_1^2 + δ_23 x_3^2 + 2 δ_2 x_1 x_3/δ_3 x_3^2 - δ_12 x_1 x_2 - δ_1 x_1 x_3 - δ_2 x_2 x_3·x_2/x_1 =
    δ_12' x_1'^2 + δ_23' x_3'^2 + 2 δ_2' x_1' x_3'/δ_3' x_3'^2 - δ_12' x_1' x_2' - δ_1' x_1' x_3' -  δ_2' x_2' x_3'·x_2'/x_1'.






These four equations are satisfied by the coordinates x_i and x_i' of the sought points o and o'.
We define the solutions of the “general case” by the requirement that none of them are zero, infinity, or undetermined.


Dieser vier Gleichungen werden von den Koordinaten x_i und x_i' der gesuchten Punkte o und o' erfüllt.
Wir definieren die Lösungen des “allgemeinen Falles” durch die Forderung, daß in keiner von ihnen eine Seite null, unendlich oder unbestimmt sei.



They are simplified by the following substitutions Φ_1 and Φ_2 
(The notation 
x_1 : x_2 : x_3 = u_2 u_3 : u_3 u_1 : u_1 u_2 in (<ref>) states the proportionality of vectors typical of projective coordinates,
(x_1,x_2,x_3)^⊤∝(u_2 u_3, u_3 u_1,u_1 u_2)^⊤.
The transformations in (<ref>) are called reciprocal transformations, 
and are a particular type of Cremona transformations <cit.>):


Sie vereinfachen sich durch die folgenden Substitutionen Φ_1 und Φ_2:




    Φ_1:    x_1 : x_2 : x_3       = u_2 u_3 : u_3 u_1 : u_1 u_2 
    Φ_2:    x_1' : x_2' : x_3'    = u_2' u_3' : u_3' u_1' : u_1' u_2',




through which they become:


durch die sie übergehen in:




    (d_1 u_1 - d_3 u_3) (d_2'u_2' - d_3' u_3')    = (d_1' u_1' - d_3' u_3') (d_2 u_2 - d_3 u_3) 
    
    (e_1 u_1 - e_3 u_3) (e_2'u_2' - e_3' u_3')    = (e_1' u_1' - e_3' u_3') (e_2 u_2 - e_3 u_3)

equation-1


    (δ_12 u_3^2 + δ_13 u_2^2 + 2 δ_1 u_2 u_3) · 
    (δ_12' u_3'^2 + δ_1' u_2' u_3' + δ_2' u_1' u_3' - δ_3' u_1' u_2') = 
    
    = (δ_12 u_3'^2 + δ_13' u_2'^2 + 2 δ_1' u_2' u_3') ·
    (δ_12 u_3^2 + δ_1 u_2 u_3 + δ_2 u_1 u_3 - δ_3 u_1 u_2)


    (δ_12 u_3^2 + δ_13 u_1^2 + 2 δ_2 u_1 u_3) · 
    (δ_12' u_3'^2 + δ_1' u_2' u_3' + δ_2' u_1' u_3' - δ_3' u_1' u_2') = 
    
    = (δ_12 u_3'^2 + δ_23' u_1'^2 + 2 δ_2' u_1' u_3') ·
    (δ_12 u_3^2 + δ_1 u_2 u_3 + δ_2 u_1 u_3 - δ_3 u_1 u_2).





Equation (<ref>) was shortened by u_1 u_2 u_3 u_1' u_2' u_3', 
(<ref>) by u_1^2 u_2 u_3 u_1'^2 u_2' u_3', and 
(<ref>) by u_1 u_2^2 u_3 u_1' u_2'^2 u_3'.


(<ref>) wurde durch u_1 u_2 u_3 u_1' u_2' u_3', 
(<ref>) durch u_1^2 u_2 u_3 u_1'^2 u_2' u_3', 
(<ref>) durch u_1 u_2^2 u_3 u_1' u_2'^2 u_3' gekürzt.



These four equations are satisfied by the coordinates u_i and u_i' of the points o and o' assigned to the points o and o' by Φ_1 and Φ_2.
To determine their number (of solutions), we interpret these equations as follows.
The two equations (<ref>) represent a quadratic, birational transformation Σ 
<cit.> between the planes ε and ε', 
which can also be written as follows:[[d u]_1 = d_2 u_2 - d_3 u_3, and similarly for other symbols by cyclic permutation: 
[d u]_2 = d_3 u_3 - d_1 u_1 and [d u]_3 = d_1 u_1 - d_2 u_2.]




Diese vier Gleichungen werden von den Koordinaten u_i und u_i' der den Punkten o und o' durch Φ_1 und Φ_2 zugeordneten Punkte o und o' erfüllt.
Um ihre Anzahl festzustellen, interpretieren wir diese Gleichungen wie folgt.
Die zwei Gleichungen (<ref>) stellen eine quadratische, birationale Transformation Σ zwischen den Feldern ε und ε' vor, die sich auch so schreiben lässt:[[d u]_1 = d_2 u_2 - d_3 u_3, analog die übrigen Symbole durch zyklische Vertauschung.]




    u_1' : u_2' : u_3' =    { d_2' e_3' [d u]_2 [e u]_3 - d_3' e_2' [d u]_3 [e u]_2}
    
    :     { d_3' e_1' [d u]_3 [e u]_1 - d_1' e_3' [d u]_1 [e u]_3 }
    
    :     { d_1' e_2' [d u]_1 [e u]_2 - d_2' e_1' [d u]_2 [e u]_1 }




If these conditions are substituted in (<ref>) and (<ref>), we obtain the equations of two curves of 6th order A and B, among whose 36 intersection points the points o must be found.
Similarly, two 6th order curves A' and B' exist in ε', with the same relevance.
By Σ, 
A and B are uniquely related to A' and B', respectively, 
hence the points o and o' are uniquely related as well.


Führt man diese Verhältnisse in (<ref>) und (<ref>) ein, so erhält man die Gleichungen von zwei Kurven 6. Ordnung A und B, unter deren 36 Schnittpunkten die gesuchten Punkte o vorkommen müssen.
Ebenso existieren in ε' zwei Kurven 6. Ordnung A' und B' von der entsprechenden Bedeutung.
Es sind durch Σ A auf A' und B auf B' und daher die Punkte o auf die Punkte o' ein-eindeutig bezogen.



Let us examine how many of the 36 intersection points of A and B lead to solutions to our problem.


Es ist nun zu untersuchen, wie viele von den 36 Schnittpunkten von A und B zu Lösungen unseres Problems führen.



Among these points are those which, although they are algebraic solutions of the system of equations (<ref>), (<ref>), (<ref>) (before the reduction), 
do not satisfy the conditions for the solutions of the “general case” with any choice of the given elements;
they are points which make both sides in the unabridged equations (<ref>), (<ref>), (<ref>) individually equal to zero.
We will now look at these points and realize that they are not solutions to our problem.


Unter diesen befinden sich solche, die, trotzdem sie algebraische Lösungen des Gleichungssystems (<ref>), (<ref>), (<ref>) (vor der Kürzung) sind, den Bedingungen für die Lösungen des “allgemeinen Falles” nicht genügen bei beliebiger Wahl der gegebenen Elemente; es sind solche Punkte, die beide Seiten in den ungekürzten Gleichungen (<ref>), (<ref>), (<ref>), einzeln zu null machen.
Wir werden nun diese Punkte aufsuchen und erkennen, daß sie keine Lösungen unseres Problems sind.



For u_3=0, it follows from (<ref>) that


Für u_3=0 folgt aus (<ref>)




    u_1' : u_2' : u_3' =     u_1 [e_1 d_1 (e' d')_1 u_1 + (e_2 d_1 e_3' d_2' - e_1 d_2 e_2' d_3') u_2] 
    
    :      u_2 [e_2 d_2 (e' d')_2 u_2 + (e_2 d_1 e_1' d_3' - e_1 d_2 e_3' d_1') u_1]
    
    :      u_1 u_2 [e_2 d_1 e_1' d_2' - e_1 d_2 e_2' d_1'].




Substituting these relations into (<ref>) and setting u_3 = 0, we see that u_1 u_2^3 can be removed, 
while the remaining form of the second degree does not in general vanish.
It can be seen that, if (<ref>) is substituted in (<ref>), the terms with u_1^6, u_1^5, u_1^4, u_2^6 are absent in the equation of A.
From these remarks, it follows: A has a triple point in a, and a simple point in b.
Correspondingly, B has a simple point in a and a triple point in b.
Assuming that u_1 = u_2 = 0 in (<ref>) and (<ref>), the equation of A is satisfied.
Therefore, A passes through c at least once, and so does B.
That c is only a simple point of A (B) can be realized as follows:
substituting u_2 = 0 in (<ref>), then δ_12' only appears in the term δ_12' δ_2 u_1 u_3 u_3'^2;
so if u_1 is removed, the remaining form does in general not identically vanish and therefore u_1=0 is a simple root.
Further mutual intersections cannot lie on the fundamental triangle a,b,c 
since δ_13 and δ_13' only appear in (<ref>), 
and δ_23 and δ_23' only in (<ref>).
Thus, we have shown 7 intersections that lead to no solution.


Setzt man diese Verhältnisse in (<ref>) ein und macht u_3 = 0, so sieht man, daß sich u_1 u_2^3 herausheben läßt, während die übrigbleibende Form 2. Grades i. a. nicht identisch verschwindet; denkt man sich weiter (<ref>) in (<ref>) substituiert, so erkennt man, daß in der Gleichung von A die Glieder mit u_1^6, u_1^5, u_1^4, u_2^6 fehlen.
Aus diesen Bemerkungen folgt: A hat in a einen dreifachen, in b einen einfachen Punkt.
Entsprechend findet man: B hat in a einen einfachen, in b einen dreifachen Punkt.
Setzt man in (<ref>) und (<ref>) u_1 = u_2 = 0, so ist die Gleichung von A befriedigt. 
A geht daher wenigstens einmal durch c, ebenso B.
Dass c nur ein einfacher Punkt von A (B) ist, erkennt man so:
Setzt man in (<ref>) u_2 = 0, so kommt δ_12' nur in einem Glied δ_12' δ_2 u_1 u_3 u_3'^2 vor; hebt man daher u_1 heraus, so verschwindet die übrigbleibende Form i. a. nicht identisch und daher ist u_1 = 0 nur eine einfache Wurzel.
Weitere gemeinsame Schnittpunkte können auf dem Fundamentaldreiseit a, b, c i. a. nicht liegen, da δ_13 und δ_13' nur in (<ref>), δ_23 und δ_23' nur in (<ref>) vorkommen. 
Wir haben somit 7 Schnittpunkte nachgewiesen, die zu keiner Lösung führen.



Similarly, all intersections which lie in the fundamental points of the transformation Σ are discarded.
According to (<ref>), the fundamental lines a'b'c' correspond to conic sections whose equations are obtained by setting the square forms in the braces equal to zero.
These 3 conic sections pass through the 3 fundamental points
[cf. e.g.,
K. Doehlemann, 
https://archive.org/details/geometrischetra00doehgoogThe quadratic and higher, birational point transformations
in (S. Schubert XXVIII, von Göschen, Leipzig, 1908), vol. II, p. 24. 

]
of the transformation Σ in the field ε
and therefore the curly brackets for these points are simultaneously zero.
Two of them are immediately recognizable from (<ref>): these are the points




Ebenso sind alle Schnittpunkte auszuscheiden, die in den Fundamentalpunkten der Transformation Σ liegen. 
Nach (<ref>) entsprechen den Fundamentallinien a'b'c' Kegelschnitte, deren Gleichungen man erhält, indem man die quadratischen Formen in den geschweiften Klammern gleich Null setzt. 
Diese 3 Kegelschnitte gehen durch die 3 Fundamentalpunkte
[Vgl. etwa Doehlemann. Geometri. Transformationen (S. Schubert), II. Bd., p. 24.]
der Transformation Σ im Felde ε und daher werden die geschweiften Klammern für diese Punkte gleichzeitig Null.
Zwei von ihnen sind aus (<ref>) sofort zu erkennen: es sind die Punkte




    d( 1/d_1, 1/d_2, 1/d_3)




and


und




    e( 1/e_1, 1/e_2, 1/e_3),




that is, the points assigned to the points d and e by means of Φ_1.
The third (fundamental point) is the point p corresponding, through Φ_1, to the “connected pole”
[R. Sturm (1869), citation above, p. 536.]
p of a b c d e.
Again, it is evident that d, e, and p cannot be solutions in general.
We now show that d, e and p are in general double points of A and B.
Since the 6th-order curves A → A' and B → B' are related by Σ, 
each of them must pass through the fundamental points 6 times in all.
From (<ref>) and (<ref>) it can be seen that d and e are double points of A and B, hence, so is p.
Therefore, 12 intersections are gathered in these three points.


also die den Punkten d und e durch Φ_1 zugeordneten Punkte.
Der dritte ist der dem “verbundenen Pol”
[Sturm, a. a. O., p. 536.]
p von a b c d e durch Φ_1 entsprechende Punkt p.
Wieder ist es evident, daß i. a. d, e und p keine Lösungen sein können.
Wir zeigen nun, daß d,  e und p i. a. gemeinsame Doppelpunkte von A und B sind.
Da die Kurven 6. Ordnung A → A' und B → B' durch Σ aufeinander bezogen sind, muß jede von ihnen im ganzen 6mal durch die Fundamentalpunkte gehen.
Aus (<ref>) und (<ref>) erkennt man, daß d und e Doppelpunkte von A und B sind, daher auch p.
In diesen drei Punkten sind daher 12 Schnittpunkte vereinigt.



We now examine whether the equations (<ref>) and (<ref>) also allow to discard intersection points.
These equations are of the form




Wir untersuchen nun,, ob auch die Gleichungen (<ref>) und (<ref>) zur Ausscheidung von Schnittpunkten Veranlassung geben.
Diese Gleichungen sind von der Form




    M C' = M' C   and/und   N C' = N' C.




On the conic section C there are 8 points, which are assigned to points on C' by means of Σ.
Equations (<ref>), (<ref>) und (<ref>) are simultaneously satisfied by the coordinates of these 8 point pairs.
A and B therefore intersect C in 8 points.
Now, however, C' passes through a' and b', which are assigned to a and b by Σ, according to (<ref>).
However, since we have already discarded a and b, we only get to know 6 new intersections.
Further consideration of (<ref>) shows that the points of A which make the two sides of the equation of A equal to zero, individually, do not in general lie on B, and vice versa.
Therefore, the inspection is complete.


Auf dem Kegelschnitt C liegen 8 Punkte, denen durch Σ Punkte zugeordnet sind, die auf C' liegen. 
Für die Koordinaten dieser 8 Punktpaare sind die Gleichungen (<ref>), (<ref>) und (<ref>) gleichzeitig erfüllt.
A und B schneiden sich daher in 8 Punkten auf C.
Nun geht aber C' durch a' und b', denen durch Σ nach (<ref>) a und b zugeordnet sind.
Da wir  aber a und b bereits entfernt haben, lernen wir daher bloß 6 neue auszuscheidende Schnittpunkte kennen.
Die weitere Betrachtung von (<ref>) zeigt, daß die Punkte von A, die die beiden Seiten der Gleichung von A einzeln zu Null machen, i. a. nicht auf B liegen und umgekehrt. 
Daher ist die Untersuchung abgeschlossen.



In total, we excluded 25 points.
Therefore, the problem has in general 11 solutions, regardless of whether they are real or complex.


Im ganzen haben wir 25 Punkte ausgeschlossen.
Daher hat das Problem i. a. ohne Rücksicht auf die Realität 11 Lösungen.



We now show that for every solution o, o' there are 2 possible orientations of the perspective views.
We extract one of the two tangents T to I from the epipolar line pencil (defined by) o.
Through the projective relation between the epipolar line pencils (the epipolar line homography) it uniquely corresponds to a tangent T' to I'.
We now bring the two systems (ε o_1) and (ε' o_2) into a position such that the lines o_1 o and o_2 o' coincide and that the planes spanned by [T,o_1] and [T',o_2] also coincide.
This condition, however, determines the relative position of the systems (ε o_1) and (ε' o_2) only up to screw transformations about the axis o_1 o_2.
We can therefore establish the new condition that planes (containing points) [o_1 o_2 a] and [o_1 o_2 a'] also coincide.
Then a and a' are actually the central projections of a space point a^r, 
and it is now necessary to prove that the other pairs of image points b c d e → b' c 'd' e ' also correspond to space points b^r c^r d^r e^r.
The two epipolar line pencils already have such a position that o a and o' a' also meet T and T' on the intersection line of ε and ε'.
But since the minimum cones with vertices o_1 and o_2 have two common tangential planes τ_1 and τ_2, the other tangents from o and o' to I and I' must also intersect each other on this line.
According to the fundamentals of the projective geometry, the two epipolar line pencils therefore are projectively related and therefore the perspective views are orientated.


Wir zeigen nun, daß zu jeder Lösung o, o' 2 Orientierungsmöglichkeiten der Perspektiven gehören.
Wir greifen aus dem Kernstrahlbüschel o eine der beiden Tangenten T an I heraus.
In der Projektivität der Kernstrahlbüschel entspricht ihr eindeutig eine Tangente T' an I'.
Wir bringen nun die beiden Systeme (ε o_1) und (ε' o_2) in solche Lage, daß die Geraden o_1 o und o_2 o' zusammenfallen und daß sich die Minimalebenen [T o_1] und [T' o_2] decken.
Durch diese Bedingung ist aber die relative Lage der Systeme (ε o_1) und (ε' o_2) nur bis auf die Schraubungen um die Achse o_1 o_2 bestimmt.
Wir können daher die neue Bedingung einführen, daß auch die Ebenen [o_1 o_2 a] und [o_1 o_2 a'] zusammenfallen.
Dann sind a und a' tatsächlich die Zentralrisse ein Raumpunktes a^r, und es ist nun zu beweisen, daß auch die anderen Bildpaare b c d e → b' c' d' e' zu Raumpunkten b^r c^r d^r e^r gehören.
Die beiden Kernstrahlbüschel haben bereits solche Lage, daß sich o a und o' a', ferner T und T' auf der Schnittlinie von ε und ε' treffen.
Da aber die Minimalkegel mit den Spitzen o_1 und o_2 zwei gemeinsame Tangentialebenen τ_1 und τ_2 haben, müssen auch die anderen Tangenten aus o und o' an I, beziehungsweise I' einander auf dieser Geraden schneiden.
Nach dem Fundamentalsatz der projektiven Geometrie liegen daher die beiden Kernstrahlbüschel perspektiv und daher sind die Perspektiven in orientierter Lage.



The question yet to be answered is to how many possible orientations can a pair of epipoles belong.
First, there is the freedom to choose the distance o_1 o_2 arbitrarily.
As a result, it is not possible to determine the true size but only the shape of the pentagon.
If the distance o_1 o_2 is given and the orientation is carried out in a way, 
then a second orientation is obtained by rotating the system (ε' o_2) around o_1 o_2 by 180^∘, 
since this rotation maps the epipolar planes o_1 o_2 (a b c d e) onto themselves.
[If only the principal points and the distance are entered into the concept of “inner orientation”, 
without specifying on which side of the image plane (Euclidean plane) the center lies, 
then the reflections at the points of o_1 o_2 and the normal planes of o_1 o_2 are added to the above-mentioned screw transformations around o_1 o_2.
After disposing of the distance o_1 o_2, 
there are 8 possible orientations consistent with a pair of epipoles.]


Es ist noch die Frage zu beantworten, wie viel Orientierungsmöglichkeiten zu einem Kernpunktpaar gehören.
Zunächst besteht die Freiheit, die Entfernung o_1 o_2 beliebig zu wählen.
Dies hat zur Folge, daß sich nicht die wahre Grösse sondern nur die Gestalt des Fünfecks ermitteln läßt.
Ist die Entfernung o_1 o_2 gewählt und die Orientierung auf eine Weise durchgeführt, so erhält man eine zweite Orientierung, indem man das System (ε' o_2) um o_1 o_2 durch 180^∘ umwendet, denn  bei dieser Umwendung gehen die projizierenden Ebenen o_1 o_2 (a b c d e) in sich über.
[Läßt man in den Begriff “innere Orientierung” bloß Hauptpunkte und Distanz eingehen, ohne anzugeben, auf welcher Seite der Bildebene (euklidische Ebene) das Zentrum liegen soll, so kommen zu den oben erwähnten Schraubungen um o_1 o_2 noch die Spiegelungen an den Punkten von o_1 o_2 und den Normalebenen von o_1 o_2 hinzu.
Nach Verfügung über den Abstand o_1 o_2 gehören dann zu einem Kernpunktpaar 8 Orientierungsmöglichkeiten.]









§ PROOF OF 2 THEOREM

The correctness of the second theorem follows easily from the auxiliary theorem (b) p. thm:EpipolarLineHomography.
According to the projectivity problem for 7 point pairs, the epipoles o o' can be determined in three ways.
If the calibration of ϵ is given, the image I of the Absolute Conic I^r can be regarded as known.
The center point I' of I^r on ϵ', which is to be determined first, must, according to (b), touch the pair of lines that correspond to the tangents of I from o in the projectivity of the pencils of epipolar lines.
Therefore, if the distance of o_2 is given, o_2 can be determined in four ways.[Assuming that the center is on the side of the (Euclidean) image plane that carries the perspective; otherwise there are twice as many solutions.]
If the epipole pair is real, then out of the 4 solutions, two are real and two are complex conjugate.
For the orientation problem stated in Theorem 2, there are thus generally 24 solutions.




§ ZU 2.

Auch die Richtigkeit des zweiten Satzes folgt leicht aus dem Hilfssatz (b) p. thm:EpipolarLineHomography.
Nach dem Problem der Projektivität für 7 Punktpaare läßt sich das Kernpunktpaar o o' auf drei Arten bestimmen.
Ist die innere Orientierung von ϵ gegeben, so ist der Zentralriß I des absoluten Kegelschnittes I^r als bekannt anzusehen.
Der erst zu ermittelnde Zentralriß I' von I^r auf ϵ' muß nach (b) das Geradenpaar berühren, das in der Projektivität der Kernstrahlbüschel dem Tangentenpaar durch o an I entspricht.
Ist daher noch die Distanz von o_2 gegeben, so ist o_2 auf vier Arten bestimmbar.[Unter der Voraussetzung, daß sich das Zentrum auf der Seite der (euklidischen) Bildebene befindet, die die Perspektive trägt; sonst doppelt soviel Lösungen.]
Ist das Kernpunktpaar reell, so sind von den 4 Lösungen 2 reell, 2 konjugiert imaginär.
Für das in Satz 2 enthaltene Orientierungsproblem ergeben sich somit i. a. 24 Lösungen.



Finally, it should be pointed out that the feasibility of the two orientation problems discussed here is also suggested by the degrees-of-freedom count stated in my work on p. 1 (note).
This count also indicates the feasibility of the following problem:
to solve for the orientation given the projections of 6 space points, the internal calibration of one camera and the principal point of the other.
It can be seen that this problem is an intermediate one between the two treated here, but I have not succeeded in solving it.


Zum Schlusse sei darauf hingewiesen, daß die Möglichkeit der beiden hier behandelten Orientierungsprobleme auch durch die in meiner auf p. 1 (Anmerkung) angeführten Arbeit erklärte Konstantenzählung nahegelegt wird.
Diese Konstantenzählung deutet aber auch auf die Möglichkeit des folgenden Problemes hin: 
Gegeben sind zwei Perspektiven von 6 Raumpunkten, die innere Orientierung der einen und der perspektive Hauptpunkt der anderen. 
Man sieht, daß diese Problem zwischen den beiden von uns behandelten steht, doch ist mir seine Lösung nicht gelungen.



The count of the degrees of freedom also shows that the assumption of two perspective views with an internal orientation of 4 points is generally not sufficient to determine a spatial quadrilateral. 
It is well known, however, that this problem is solvable when one knows that the 4 space points lie on a plane.


Die Konstantenzählung ergibt ferner, daß die Annahme von 2 Perspektiven mit innerer Orientierung von 4 Punkten im allgemeinen nicht genügt, um ein räumliches Viereck zu bestimmen.
Es ist aber bekannt, daß dieses Problem bestimmt ist, wenn man weiß, daß die 4 Raumpunkte in einer Ebene liegen.



With regard to the ambiguity of the orientation problems, the following is worth noting.
If an orientation problem is based on actual perspective images — without arbitrary assumptions —
of a spatially extended object,
which reveal more elements than is necessary to determine the problem, 
then the new task consists of finding the solutions by which the other elements of the picture can also be reconciled;
i.e., in general, there is then only one possible orientation.


Bezüglich der Mehrdeutigkeit der Orientierungsprobleme ist noch folgendes zu bemerken.
Gründet man ein Orientierungsproblem auf tatsächliche Perspektiven — nicht willkürliche Annahmen — eines räumlich ausgedehnten Objektes, die mehr Elemente erkennen lassen, als zur Bestimmtheit des Problems erforderlich ist, so entsteht die neue Aufgabe, diejenigen Lösungen zu finden, durch die sich auch die übrigen Bildelemente in Einklang bringen lassen; i. a. gibt es dann nur eine Orientierungsmöglichkeit.





1

[Demazure (1988)]Demazure88inria
M. Demazure, “https://hal.inria.fr/inria-00075672/documentSur deux problèmes de reconstruction”, Research Report 882, INRIA (1988).

[Maybank and Faugeras (1992)]Maybank92ijcv
S. J. Maybank and O. D. Faugeras, “https://doi.org/10.1007/BF00127171A Theory of Self-Calibration of a Moving Camera”,
International Journal of Computer Vision (1992), 8(2):123–151.

[Semple and Kneebone (1998)]Semple98book
J. G. Semple and G. T. Kneebone, “Algebraic Projective Geometry” (Oxford Classic Texts in the Physical Sciences).
Oxford Classic Texts in the Physical Sciences, Clarendon Press (1998).
https://archive.org/details/AlgebraicProjectiveGeometryFirst edition (1952) is available online.

[Nistér (2004)]Nister04pami
D. Nistér, “https://doi.org/10.1109/TPAMI.2004.17
An Efficient Solution to the Five-Point Relative Pose Problem”, IEEE Transactions on Pattern Analysis and Machine Intelligence (2004), 26(6):756-777.

[Sturm (2011)]Sturm11caip
P. Sturm, “https://hal.inria.fr/hal-00644982/file/Sturm_caip2011.pdf
A Historical Survey of Geometric Computer Vision”, 
14th International Conference on Computer Analysis of Images and Patterns, Seville, Spain (2011). 
Lecture Notes in Computer Science, vol. 6854, pp. 1-8. Springer.





gobble 
[pages=-,pagecommand=,landscape=true,noautoscale=false,scale=1.05,offset=7 0]1913Kruppa_original.pdf


