摄像机标定

llccqq

在图像测量过程以及机器视觉应用中，常常会涉及到这样一个概念，那就是利用摄像机所拍摄到的图像来还原空间中的物体。在这里，不妨假设摄像机所拍摄到的图像与三维空间中的物体之间存在以下一种简单的线性关系：
[像]＝M[物]
这里，矩阵M可以看成是摄像机成像的几何模型。 M中的参数就是摄像机参数。通常，这些参数是要通过实验与计算来得到的。这个求解参数的过程就称为摄像机标定。
机器视觉标定板说明
MV-SB型
MV-SB机器视觉标定板说明● 特征圆成陈列分布，间距30mm、板子尺寸：300X300mm。
● 4个大圆为标志圆，大圆环标志确定方向。
● 用特征圆的圆心坐标进行标定。
● 特征圆的圆心坐标提取方法：获得4个标志圆坐标，利用仿射变换将特征圆的坐标调正，然后对其进行排序，确定相应特征圆图像坐标。
● 采用铝合金材料。


一、概述
计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为摄像机定标(或称为标定)。标定过程就是确定摄像机的几何和光学参数，摄像机相对于世界坐标系的方位。标定精度的大小，直接影响着计算机视觉（机器视觉）的精度。迄今为止，对于摄像机标定问题已提出了很多方法，摄像机标定的理论问题已得到较好的解决，对摄像机标定的研究来说，当前的研究工作应该集中在如何针对具体的实际应用问题，采用特定的简便、实用、快速、准确的标定方法。
二、摄像机标定分类
1 根据是否需要标定参照物来看，可分为传统的摄像机标定方法和摄像机自标定方法。
传统的摄像机标定是在一定的摄像机模型下，基于特定的实验条件，如形状、尺寸已知的标定物，经过对其进行图像处理，利用一系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数（分为最优化算法的标定方法、利用摄像机透视变换矩阵的标定方法、进一步考虑畸变补偿的两步法和采用更为合理的摄像机模型的双平面标定法）；
不依赖于标定参照物的摄像机标定方法，仅利用摄像机在运动过程中周围环境的图像与图像之间的对应关系对摄像机进行的标定称为摄像机自标定方法，它又分为：基于自动视觉的摄像机自标定技术（基于平移运动的自标定技术和基于旋转运动的自标定技术）、利用本质矩阵和基本矩阵的自标定技术、利用多幅图像之间的直线对应关系的摄像机自标定方以及利用灭点和通过弱透视投影或平行透视投影进行摄像机标定等。自标定方法非常地灵活,但它并不是很成熟。因为未知参数太多,很难得到稳定的结果。
一般来说，当应用场合所要求的精度很高且摄像机的参数不经常变化时，传统标定方法为首选。而自标定方法主要应用于精度要求不高的场合，如通讯、虚拟现实等。
2 从所用模型不同来分有线性和非线性。
所谓摄像机的线性模型，是指经典的小孔模型。成像过程不服从小孔模型的称为摄像机的非线性模型。线性模型摄像机标定, 用线性方程求解，简单快速，已成为计算机视觉领域的研究热点之一，目前已有大量研究成果。但线性模型不考虑镜头畸变，准确性欠佳；对于非线性模型摄像机标定，考虑了畸变参数，引入了非线性优化，但方法较繁，速度慢，对初值选择和噪声比较敏感，而且非线性搜索并不能保证参数收敛到全局最优解。
3 从视觉系统所用的摄像机个数不同分为单摄像机和多摄像机
在双目立体视觉中，还要确定两个摄像机之间的相对位置和方向。
4 从求解参数的结果来分有显式和隐式。
隐参数定标是以一个转换矩阵表示空间物点与二维像点的对应关系，并以转换矩阵元素作为定标参数，由于这些参数没有具体的物理意义，所以称为隐参数定标。在精度要求不高的情况下，因为只需要求解线性方程，此可以获得较高的效率。比较典型的是直接线性定标(DLT)。DLT定标以最基本的针孔成像模型为研究对象，忽略具体的中间成像过程，用一个3×4阶矩阵表示空间物点与二维像点的直接对应关系。为了提高定标精度，就需要通过精确分析摄像机成像的中间过程，构造精密的几何模型，设置具有物理意义的参数(一般包括镜头畸变参数、图像中心偏差、帧存扫描水平比例因子和有效焦距偏差)，然后确定这些未知参数，实现摄像机的显参数定标。
5 从解题方法来分有解析法、神经网络法和遗传算法。
空间点与其图像对应点之间是一种复杂的非线性关系。用图像中的像元位置难以准确计算实际空间点间的实际尺寸。企图用一种线性方法来找到这种对应关系几乎是不可能的。解析方法是用足够多的点的世界坐标和相应的图像坐标，通过解析公式来确定摄像机的内参数、外参数以及畸变参数，然后根据得到的内外参数及畸变系数，再将图像中的点通过几何关系得到空间点的世界坐标。解析方法不能不能囊括上述的所有非线性因素，只能选择几种主要的畸变，而忽略其它不确定因素。神经网络法能够以任意的精度逼近任何非线性关系，跳过求取各参数的繁琐过程，利用图像坐标点和相应的空间点作为输入输出样本集进行训练，使网络实现给定的输入输出映射关系，对于不是样本集中的图像坐标点也能得到合适的空间点的世界坐标。
6 根据标定块的不同有立体和平面之分。
定标通过拍摄一个事先已经确定了三维几何形状的物体来进行，也就是在一定的摄像机模型下，基于特定的实验条件如形状、尺寸已知的定标参照物(标定物)，经过对其图像进行处理，利用一系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数。这种定标方法的精度很高。用于定标的物体一般是由两到三个相互正交的平面组成。但这些方法需要昂贵的标定设备，而且事前要精确地设置。平面模板(作为标定物)，对于每个视点获得图像,提取图像上的网格角点，平面模板与图像间的网格角点对应关系，确定了单应性矩阵(Homography)，平面模板可以用硬纸板，上面张贴激光打印机打印的棋盘格。模板图案常采用矩形和二次曲线（圆和椭圆）。
7 从定标步骤来看，可以分为两步法、三步法、四步法等；
8从内部参数是否可变的角度来看，可以分为可变内部参数的定标和不可变内部参数的定标；
9 从摄像机运动方式上看，定标可以分为非限定运动方式的摄像机定标和限定运动方式的摄像机定标，后者根据摄像机的运动形式不同又可以纯旋转的定标方式、正交平移运动的定标方式等。
不管怎样分类，定标的最终目的是要从图像点中求出物体的待识别参数，即摄像机内外参数或者投影矩阵。然而，不同应用领域的问题对摄像机定标的精度要求也不同，也就要求应使用不同的定标方法来确定摄像机的参数。例如，在物体识别应用系统中和视觉精密测量中，物体特征的相对位置必须要精确计算，而其绝对位置的定标就不要求特别高；而在自主车辆导航系统中，机器人的空间位置的绝对坐标就要高精度测量，并且工作空间中障碍物的位置也要高度测量，这样才能安全导航。
三、摄像机成像模型
在计算机视觉中，利用所拍摄的图像来计算出三维空间中被测物体几何参数。图像是空间物体通过成像系统在像平面上的反映，即空间物体在像平面上的投影。图像上每一个像素点的灰度反映了空间物体表面某点的反射光的强度，而该点在图像上的位置则与空间物体表面对应点的几何位置有关。这些位置的相互关系，由摄像机成像系统的几何投影模型所决定。计算机视觉研究中，三维空间中的物体到像平面的投影关系即为成像模型，理想的投影成像模型是光学中的中心投影，也称为针孔模型。针孔模型假设物体表面的反射光都经过一个针孔而投影到像平面上，即满足光的直线传播条件。针孔模型主要有光心（投影中心）、成像面和光轴组成。小孔成像由于透光量太小，因此需要很长的曝光时间，并且很难得到清晰的图像。实际摄像系统通常都由透镜或者透镜组组成。两种模型具有相同的成像关系，即像点是物点和光心的连线与图像平面的交点。因此，可以用针孔模型作为摄像机成像模型。
当然，由于透镜设计的复杂性和工艺水平等因素的影响，实际透镜城乡系统不可能严格满足针孔模型，产生所谓的镜头畸变，常见的如径向畸变、切向畸变、薄棱镜畸变等，因而在远离图像中心处会有较大的畸变，在精密视觉测量等应用方面，应该尽量采用非线性模型来描述成像关系。

四、 常用坐标系及其关系
计算机视觉常用坐标系采用右手准则来定义，图1 表示了三个不同层次的坐标系统：世界坐标系、摄像机坐标系和图像坐标系（图像像素坐标系和图像物理坐标系）。
1 世界坐标系：
也称真实或现实世界坐标系,它是客观世界的绝对坐标。一般的3Ｄ场景都用这个坐标系来表示。

1 三个层次的坐标系统

（1）世界坐标系（xw,yw,zw）：也称真实或现实世界坐标系，或全局坐标系。它是客观世界的绝对坐标，由用户任意定义的三维空间坐标系。一般的3Ｄ场景都用这个坐标系来表示。

（2）摄像机坐标系(xoy)：以小孔摄像机模型的聚焦中心为原点，以摄像机光轴为zc 轴建立的三维直角坐标系。x，y 一般与图像物理坐标系的xf,yf 平行，且采取前投影模型。

（3）图像坐标系，分为图像像素坐标系和图像物理坐标系两种：

图像物理坐标系：其原点为透镜光轴与成像平面的交点，X 与Y 轴分别平行于摄像机坐标系的x 与y 轴，是平面直角坐标系，单位为毫米。图像像素坐标系[计算机图像（帧存）坐标系]：固定在图像上的以像素为单位的平面直角坐标系，其原点位于图像左上角, xf,yf 平行于图像物理坐标系的X 和Y轴。对于数字图像，分别为行列方向。

2 坐标系变换关系

定义了上述各种空间坐标系后，就可以建立两两不同坐标变换之间的关系。

（1）世界坐标系与摄像机坐标系变换关系

世界坐标系中的点到摄像机坐标系的变换可由一个正交变换矩阵R 和一个平移变换矩阵T 表示为：

正交旋转矩阵实际上只含有3 个独立变量，再加上x y z t ,t ,和t ，总工有6 个参数决定了摄像机光轴在世界坐标系中空间位置，因此这六个参数称为摄像机外部参数。（2） 图像坐标系与摄像机坐标系变换关系如图 1 所示，摄像机坐标系中的物点P 在图像物理坐标系中像点u P 坐标为


上式就是摄影测量学中最基本的共线方程。说明物点、光心和像点这三点必须在同意条直线上。这是针孔模型或者中心投影的数学表达式。根据共线方程，在摄像机内部参数确定的条件下，利用若干个已知的物点和相应的像点坐标，就可以求解出摄像机的六个外部参数，即摄像机的光心坐标和光轴方位的信息。

3 摄像机镜头的畸变

由于摄像机光学系统并不是精确地按理想化的小孔成像原理工作，存在有透镜畸变，物体点在摄像机成像面上实际所成的像与理想成像之间存在有光学畸变误差。主要的畸变误差分为三类：径向畸变、偏心畸变和薄棱镜畸变。第一类只产生径向位置的偏差，后两类则既产生径向偏差，又产生切向偏差，下图2 为无畸变理想图像点位置与有畸变实际图像点位置之间的关系。

(1) 径向变形(径向畸变) 光学镜头径向曲率的变化是引起径向变形的主要原因。这种变形会引起图像点沿径向移动，离中心点越远，其变形量越大。正的径向变形量会引起点向远离图像中心的方向移动，其比例系数增大；负的径向变形量会引起点向靠近图像中心的方向移动，其比例系数减小。见下图3，数学模型如下

（2）偏心变形由于装配误差，组成光学系统的多个光学镜头的光轴不可能完全共线，从而引起偏心变形，这种变形是由径向变形分量和切向变形分量共同构成，见图4，其数学模型为：



摄相机标定
摄像机标定技术
摄像机标定文档信息



基于机器视觉的摄像机标定方法研究


0 引言

机器视觉的基本任务之一是从摄像机获取图像信息并计算三维空间中物体的几何信息，以由此重建和识别物体。而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为摄像机定标(或称为标定)。标定过程就是确定摄像机的几何和光学参数，以及摄像机相对于世界坐标系的方位。由于标定精度的大小，直接影响着计算机视觉 (机器视觉)的精度。因此，只有做好了摄像机标定工作，后续工作才能正常展开，可以说，提高标定精度也是当前科研工作的重要方面。

1 摄像机透视投影模型

摄像机通过成像透镜将三维场景投影到摄像机二维像平面上，这个投影可用成像变换(即摄像机成像模型)来描述。摄像机成像模型分为线形模型和非线性模型。针孔成像模型就属于线形摄像机模型，本文就讨论在这种模型下，某空间点与其图像投影点在各种坐标系下的变换关系。图1所示为三个不同层次的坐标系在针孔成像模型下的关系。其中(Xw，Yw，Zw)为世界坐标系，(x，y，z)为摄像机坐标系，XfQfYf为以像素为单位的图像坐标系，XOY为以毫米为单位的图像坐标系。

图像中某点在以毫米为单位的图像坐标系中的坐标与其在以像素为单位的图像坐标系中的坐标的变换关系如下：


空间某点在世界坐标系中的坐标与其在摄像机坐标系中的坐标变换关系如下：


其中，为3×3正交单位矩；t为三维平移向量；M2为4×4矩阵。

由于针孔成像模型有如下关系：


所以，将(1)，(2)代入上式的齐次坐标和矩阵表示可得：


其中，M1为摄像机内参数，M2为摄像机外参数。确定某一摄像机参数称为摄像机定标。

2 标定分类

总的来说，摄像机标定可以分为传统的摄像机标定方法和摄像机自标定方法两大类。传统摄像机标定的基本方法是在一定的摄像机模型下，通过对特定标定参照物进行图像处理，并利用一系列数学变换公式计算及优化，来求取摄像机模型内部参数和外部参数。然而，该方法在场景未知和摄像机任意运动的一般情况下，其标定很难实现。20世纪90年代初，Faugeras，Luong，Maybank等人首次提出了摄像机自标定方法。这种自标定法利用摄像机本身参数之间的约束关系来标定，而与场景和摄像机的运动无关，所以更为灵活。

3 传统摄像机标定方法

传统的摄像机标定方法按照标定参照物与算法思路可以分成若干类，如基于3D立体靶标的摄像机标定、基于2D平面靶标的摄像机标定、以及基于径向约束的摄像机标定等。

3.1 基于3D立体靶标的摄像机标定

基于3D立体靶标进行摄像机标定是将一个3D立体靶标放置在摄像机前，靶标上每一个小方块的顶点均可作为特征点。每个特征点相对于世界坐标系的位置在制作时应精确测定。摄像机获得靶标上特征点的图像后，由于表现三维空间坐标系与二维图像坐标系关系的方程是摄像机内部参数和外部参数的非线性方程，如果忽略摄像机镜头的非线性畸变并把透视变换矩阵中的元素作为未知数，来给定一组三维控制点和对应的图像点，那么，就可以利用直接线性变换法来求解透视变换矩阵中的各个元素。所以，由靶标上特征点的世界坐标和图像坐标，即可计算出摄像机的内外参数。

3.2 基于2D平面靶标的摄像机标定

该方法又称为张正友标定法，这是一种适合应用的新型灵活方法。该方法要求摄像机在两个以上不同的方位拍摄一个平面靶标，摄像机和2D平面靶标都可以自由移动，且内部参数始终不变，假定2D平面靶标在世界坐标系中的Z=0，那么，通过线性模型分析就可计算出摄像机参数的优化解，然后用基干最大似然法进行非线性求精。在这个过程中得出考虑镜头畸变的目标函数后就可以求出所需的摄像机内、外部参数。这种标定方法既具有较好的鲁棒性，又不需昂贵的精制标定块，很有实用性。但是，张正友方法在进行线性内外参数估计时，由于假定模板图像上的直线经透视投影后仍然为直线，进而进行图像处理，这样，实际上会引入误差，所以，嘎方法在广角镜畸变比较大的情况误差较大。

3.3 基于径向约束的摄像机标定

Tsai(1986) 给出了一种基于径向约束的两步法标定方法，该方法的核心是先利用RAC(径向一致约束)条件用最小二乘法解超定线性方程，以求出除tτ(摄像机光轴方向的平移)外的其他像机外参数，然后再在摄像机有和无透镜畸变等两种情况下求解摄像机的其他参数。Tsai方法的精度比较高，适用于精密测量，但它对设备的要求也很高，不适用于简单的标定。这种方法的精度是以设备的精度和复杂度为代价的。

4 摄像机自标定方法

不依赖于标定参照物，仅利用摄像机在运动过程中周围环境图像与图像之间的对应关系来对摄像机进行的标定的方法称为摄像机自标定方法。目前已有的自标定技术大致可以分为基于主动视觉的摄像机自标定技术、直接求解Kruppa方程的摄像机自标定方法、分层逐步标定法、基于二次曲面的自标定方法等几种。

4.1 基于主动视觉的自标定法

所谓主动视觉系统，是指摄像机被固定在一个可以精确控制的平台上，且平台的参数可以从计算机精确读出，只需控制摄像机作特殊的运动来获得多幅图像，然后利用图像和已知的摄像机运动参数来确定摄像机的内外参数。其代表性的方法是马颂德提出的基于两组三正交运动的线性方法，后来杨长江，李华等人提出了改进的方案，即分别是基于4组平面正交以及5组平面正交运动并利用图像中的极点信息来线性标定摄像机参数。此种自标定方法算法简单，可以获得线性解，不足之处在于必须有可以精确控制的摄像机运动平台。

4.2 基于Kruppa方程的自标定方法

Faugeras,Luong,Maybank 等提出的自标定方法是直接基于求解Kruppa方程的一种方法，该方法利用绝对二次曲线像和极线变换的概念推导出Kruppa方程。基于Kxuppa方程的自标定方法不需要对图像序列做射影重建，而是对两图像之间建立方程，这个方法在某些很难将所有图像统一到一致的射影框架场合会比分层逐步标定法更具优势，但代价是无法保证无穷远平面在所有图像对确定的射影空间里的一致性，当图像序列较长时，基于Kruppa方程的自标定方法可能不稳定。且其鲁棒性依赖于给定的初值。

4.3 分层逐步标定法

近年来，分层逐步标定法已成为自标定研究中的热点，并在实际应用中逐渐取代了直接求解Kruppa方程的方法。分层逐步标定法首先要求对图像序列做射影重建，再通过绝对二次曲线(面)施加约束，最后定出仿射参数(即无穷远平面方程)和摄像机内参数。分层逐步标定法的特点是在射影标定的基础上，以某一幅图像为基准做射影对齐，从而将未知数数量缩减，再通过非线性优化算法同时解出所有未知数。不足之处在于非线性优化算法的初值只能通过预估得到，而不能保证其收敛性。由于射影重建时，都是以某参考图像为基准，所以，参考图像的选取不同，标定的结果也不同相。

4.4 基于二次曲面的自标定方法

Triggs 是最早将绝对二次曲面的概念引入自标定的研究中来的，这种自标定方法与基于Kruppa方程的方法在本质上是相同的，它们都利用绝对二次曲线在欧氏变换下的不变性。但在输入多幅图像并能得到一致射影重建的情况下，基于二次曲面的自标定方法会更好一些，其根源在于二次曲面包含了无穷远平面和绝对二次曲线的所有信息，且基于二次曲面的自标定方法又是在对所有图像做射影重建的基础上计算二次曲面的，因此，该方法保证了无穷远平面对所有图像的一致性。

5 结束语

本文对基于机器视觉的摄像机标定理论与各种方法进行了研究。传统的摄像机标定需要标定参照物。为了提高计算精度，还需确定非线性畸变校正参数。而新的比较符合摄像机成像物理模型且又便于分析计算的实用模型是条另辟蹊径的发展方向。摄像机自标定相对于传统方法有更好的灵活性和实用性，通过十多年的不懈努力，理论上的问题已基本解决，目前研究的重点是如何提高标定算法的鲁棒性以及如何很好地用这些理论来解决实际视觉问题。为了提高鲁棒性，建议更多的使用分层逐步自标定方法，并应对自标定的结果进行线性优化。

xjx

了解学习了，谢谢，这是摄影测量的哈

wangxlin

学习了，感谢分享

34659709

看看，，，，

34659709

谢谢，，，，