针孔相机投影模型

2022-11-26

为什么图像降采样后，相机内参需要等比例变换

——————————
本文将涉及 3 个坐标系——相机、图像和世界坐标系。

相机：透视投影（perspective projection）

[ x c y c f ] = λ [ X c Y c Z c ]

= \lambda ⎣⎡​xc​yc​f​⎦⎤​=λ⎣⎡​Xc​Yc​Zc​​⎦⎤​
上面的式子，是要取向量相等，则各元素相等。并不是齐次坐标的 up to a scale。
其中，
X c = [ X c Y c Z c ] \mathbf{X}_c =

[XcYcZc]" role="presentation" style="position: relative;">⎡⎣⎢XcYcZc⎤⎦⎥$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]$$

Xc​=⎣⎡​Xc​Yc​Zc​​⎦⎤​
是三维场景下的点 $\mathbf{X}$ 在相机坐标系下的坐标。
$$\lambda =\frac{f}{Z}$$

这可以用一个关于齐次坐标的线性映射来表示（等式左右两边相差一个常数，the equation is only up to a scale factor）
[ x c y c f ] ⋍ [ 1 0 0 0 0 1 0 0 0 0 1 0 ] [ X c Y c Z c 1 ]

[xcycf]" role="presentation" style="position: relative;">⎡⎣⎢xcycf⎤⎦⎥$$\left[\begin{array}{c}{x}_c\\ y_c\\ f\end{array}\right]$$

\backsimeq

[100001000010]" role="presentation" style="position: relative;">⎡⎣⎢100010001000⎤⎦⎥$$\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]$$

[XcYcZc1]" role="presentation" style="position: relative;">⎡⎣⎢⎢⎢XcYcZc1⎤⎦⎥⎥⎥$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]$$

⎣⎡​xc​yc​f​⎦⎤​⋍⎣⎡​100​010​001​000​⎦⎤​⎣⎢⎢⎡​Xc​Yc​Zc​1​⎦⎥⎥⎤​

图像（相机内部参数，intrinsic/internal camera parameters）

注意，上面的 [ x c , y c ]

[xc​,yc​​]
是在图 2 中 $y_{c}p{x}_c$坐标系下的二维坐标。
$$k_u{x}_c=u-u_0$$
$$k_v{y}_c=v_0-v$$
其中 $k$ 的单位是
$$[pixels/length]$$
pixels是指高度或者宽度方向上的像素数目，length是指图像的高度值或宽度值（单位为米）。

注意：上面的 $u,v,u_0,v_0$ 是同一个点在 uv 坐标系下的坐标。

$x_c,y_c$ 是在 $x_{c}p{y}_c$ 坐标系下的坐标。在一个等式中，出现了同一个点在不同坐标系下的坐标。

上式可以表示为
x = [ u v 1 ] = [ f k u 0 u 0 0 − f k v v 0 0 0 1 ] [ x c y c f ] = C [ x c y c f ] \mathbf{x}=

= = \mathbf{C} x=⎣⎡​uv1​⎦⎤​=⎣⎡​fku​00​0−fkv​0​u0​v0​1​⎦⎤​⎣⎡​xc​yc​f​⎦⎤​=C⎣⎡​xc​yc​f​⎦⎤​

$\mathbf{C}$ 是一个 $3\times 3$上三角矩阵，称作相机标定矩阵。
C = [ α u 0 u 0 0 α v v 0 0 0 1 ] \mathbf{C}=

C=⎣⎡​αu​00​0αv​0​u0​v0​1​⎦⎤​

其中，${\alpha }_u=f{k}_u,{\alpha }_v=-f{k}_v$

• $\mathbf{C}$ 提供了在一个 image 点和一条射线（$(x_c,y_c,f)$）在 3 维欧几里得空间中的变换。注：一个三维坐标 $(x_c,y_c,f)$ 既可以表示一个三维坐标系中三位点的坐标，也可以表示该从原点出发指向该点的向量。
• 一共有 4 个参数：1. 沿着图像 $x,y$ 方向的放缩参数${\alpha }_u,{\alpha }_v$。主点（principal point（$u_0,v_0$）），是光轴（optic axis）和图像平面的交点。高宽比（sapect ratio）是${\alpha }_v.{\alpha }_u$
• 如果 $\mathbf{C}$已知，就称相机已经标定
• 校准摄像机是一个方向传感器，能够测量射线的方向。

世界（相机外部参数，extrinsic/external camera parameters）相机与世界坐标系之间的欧几里得变换是$X_c=R{X}_W+t$

[ X c Y c Z c 1 ] = [ R t 0 T 1 ] [ X w Y w Z w 1 ]

= ⎣⎢⎢⎡​Xc​Yc​Zc​1​⎦⎥⎥⎤​=[R0T​t1​]⎣⎢⎢⎡​Xw​Yw​Zw​1​⎦⎥⎥⎤​

总结

最终，

x = [ u v 1 ] = C [ 1 0 0 0 0 1 0 0 0 0 1 0 ] [ R t 0 T 1 ] [ X w Y w Z w 1 ] = C [ R ∣ t ] [ X w Y w Z w 1 ] \mathbf{x}=

= \mathbf{C} = \mathbf{C} [\mathbf{R}\mid\mathbf{t}] x=⎣⎡​uv1​⎦⎤​=C⎣⎡​100​010​001​000​⎦⎤​[R0T​t1​]⎣⎢⎢⎡​Xw​Yw​Zw​1​⎦⎥⎥⎤​=C[R∣t]⎣⎢⎢⎡​Xw​Yw​Zw​1​⎦⎥⎥⎤​
上面定义了 $3\times 4$投影矩阵：从 3 维欧几里得空间到一张图像
x = P [ X 1 ] \mathbf{x}=\mathbf{P}

[X1]" role="presentation" style="position: relative;">[X1]$$\left[\begin{array}{c}\mathbf{X}\\ 1\end{array}\right]$$

x=P[X1​]

$$\mathbf{P}=\mathbf{C}[\mathbf{R}\mid \mathbf{t}]$$

参考资料

• https://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/EPSRC_SSAZ/node3.html
• 《视觉SLAM十四讲》