如图 1 所示，我们可以使用校准台进行相机校准。我们可以规定世界坐标系，即图中的 \(O_w,i_w,j_w,k_w\)，从而可以规定棋盘点的各个世界坐标系下的坐标。同时，从拍摄图像中，我们可以获取到对应点的像素坐标。这样就能求解两者的变换关系。

我们最终要求的就是投影变换矩阵 \(M = K \cdot \begin{bmatrix} R & \vert & t \end{bmatrix}\)，即相机的内参和外参。写的更繁琐一点就是：

\(M = \begin{bmatrix} m_{11} & m_{12} & m_{13} & m_{14} \\ m_{21} & m_{22} & m_{23} & m_{24} \\ m_{31} & m_{32} & m_{33} & m_{34} \end{bmatrix}\)

即最终求解这 12 个参数。

世界坐标系下的点为 \(P = \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix} \)，投影公式为

\(s \cdot \begin{bmatrix} x \\ y \\ 1 \end{bmatrix} = M \cdot \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix} \)

可以得到

\(s \cdot x = m_{11} X + m_{12} Y + m_{13} Z + m_{14}\)

\(s \cdot y = m_{21} X + m_{22} Y + m_{23} Z + m_{24}\)

\(s = m_{31} X + m_{32} Y + m_{33} Z + m_{34}\)

整理写成方程的形式

\(\begin{bmatrix} X_i & Y_i & Z_i & 1 & 0 & 0 & 0 & 0 & -x_i X_i & -x_i Y_i & -x_i Z_i & -x_i \\ 0 & 0 & 0 & 0 & X_i & Y_i & Z_i & 1 & -y_i X_i & -y_i Y_i & -y_i Z_i & -y_i \end{bmatrix} \cdot \begin{bmatrix} m_{11} \\ m_{12} \\ m_{13} \\ m_{14} \\ m_{21} \\ m_{22} \\ m_{23} \\ m_{24} \\ m_{31} \\ m_{32} \\ m_{33} \\ m_{34} \end{bmatrix} = 0 \)

这样问题就转换为方程求解的最优化问题。一个点对应两条方程，即最少需要 6 个点可以求解。

求解得到 \(M\) 之后，需要再将其分解为内参和外参的形式。

实验

虽然原理细节不清楚，我们还是能实验感受一下。现实生活中没有布置校准台的条件，如图 2 所示，在 UE 中模拟布置了一下。使用的相机 fov 为 60，输出大小为 1920x1080。

如代码清单 1 所示，我们手动设置世界坐标和像素坐标。然后如图 3 所示，核对一下手动标注的位置是否正确。

接着如代码清单 2 所示，构造求解矩阵，并求解。

接着如代码清单 3 所示，对求解得到的矩阵进行分解，得到相机的内参和外参。

最后我们结合测试的点，验证计算的结果是否正确。

从打印信息可以看到，结果很接近。

我们回过头来看计算得到的内参矩阵，可以发现和 UE 理论模拟的值不一样。