基于张正友平面标定法的摄像机标定及 GUI

基于张正友平面标定法的摄像机标定及 GUI 中国科技论文在线 基于张正友平面标定法的摄像机标定及 GUI 实现 魏巍，刘绕龙，张伟 (中国矿业大学信息与电气工程学院，江苏 徐州 221008) 摘要:本文首先对标定的概念以及相关基础知识做了阐述，分析了实验所用 CCD 摄像机的 硬件配置和相关参数，然后介绍了几种常用的摄像机标定方法，然后重点对张正友的算法进 行了分析，并且利用该算法进行了标定试验，最后在此基础之上开发出了摄像机标定的 GUI 界面。标定实验结果表明:与过去传统的标定方法相比，张正友的平面标定法不需要太过精 密的装置即可完成，实现起来相对快捷方便，且精度较高，是一种比较令人满意的标定方法 关键词: 摄像机标定 ;张正友;GUI;边缘提取 中图分类号:TP391.41 Calibration with Zhang's Method and GUI Implementation Wei Wei, Liu Raolong, Zhang Wei (Information and Electrical Engineering School,China University of Mining and Technology, Jiangsu Xuzhou 221008) Abstract: In this paper，we introduce some conceptions related to the calibreation and hardware of the experiment instrument first.Then we enumerate some methods of calibration, i.e. calibration with 3D object, calibration with Tsai’s method and self-calibration. Most of all, our main research is the calibration with Zhang’s method, and we program a GUI program at last.The result shows that we don’t need very accurately calibration instrument by using Zhang’s method compared with the old methods, however, we can still get very accurate parament. Generally speaking, it is a very convenient method to calibrate in practice. Keywords: camera calibration;Zhengyou Zhang;GUI;edge extraction 0 引言 视觉是人类感知外界信息的主要途径，也是适应复杂、变化环境的感知基础。而摄像机 标定是计算机视觉实现的前提和基本问，是视觉系统不可缺少的前提和基础部分，因此长 [1]期以来受到国内外学者的广泛关注。深入研究摄像机标定技术将为计算机视觉在相关的各 个领域的广泛应用奠定了坚实的基础。 从摄像机标定方法看，传统的摄像机标定一般是利用一个标准参照物与其对应图像的约 束关系，来确定摄像机模型的参数，可以应用一幅以上的图像进行标定，方法和理论都己比 较成熟。如果不考虑镜头像差的影响，可以使用线性方法标定，如直接线性变换法。但是由 于没有考虑成像畸变因素，标定精度较低。 提高标定精度永远是人们追求的目标。为了提高计算精度，必须考虑非线性畸变。1966 年，B.Hallert 发表了他在镜头与相机标定方面的研究成果，首次将最小二乘法用于对镜头标 定多余观察数据的处理，并将其应用在野外立体坐标测量仪上，得到了高精度的测量结果。 B.Hallert 为非线性优化在摄像机标定中的应用开启了大门。1975 年，W.Faig 考虑了摄像机 [ 4] 成像过程中的各种因素，建立较为复杂的摄像机成像模型并用非线性优化来求解 。非线 作者简介:魏巍(生于 1987 年)，男，研究生，控制理论与控制工程. E-mail: JohnWeii@hotmail.com - 1 - 中国科技论文在线 性优化对提高摄像机标定精度提供了一条很好的途径，非常适合于采用多参数的非线性畸变模型的标定，在能提供较好初值的情况下，可以较快地收敛，得到高精度优化结果。现在大 部分标定程序都采用了非线性优化。它的缺点是标定的结果依赖摄像机模型参数的初始给定 值，而且计算速度慢，不适于实时标定。R.Y.Tsai 综合上述方法，于 1986 年建立了经典的 [2]Tsai 摄像机模型，提出了两步标定法，其中大部分参数采用线性直接求解，少数参数采用 迭代方法求解，因而迭代少，计算速度较快。但该模型畸变模型较简单，不能较好地解决图 像畸变问题。J.Weng 改进了 Tsai 模型的畸变模型，使之能适应视场较大和畸变较严重的场 合。Reg.G.Willson 在 1994 年利用 Tsai 模型，用 C 语言编程，分两步对固定焦距摄像机进 [5]行了标定，并将标定程序公开在互联网上，极大地促进了该方法的应用。 随着桌面视觉系统(DVS，Desktop Vision System)进入大众消费领域，方便、灵活、简 单、精度较好的摄像机标定程序需求增加，以满足拥有 DVS 的用户偶尔用在计算机视觉方 (Z.Y.Zhang)在 1999 年前后对此做了大量研究工作，提出了 面的应用，微软研究院的张正友 [3] 基于移动平面的方便灵活的摄像机标定方法 ，较好地解决了这一问题。本文也是利 用这种标定方法，对摄像机标定的各方面做了探讨，并设计出了其对应的 GUI 实现。 1 张正友平面标定法 1.1 对每一幅图像得到一个映射矩阵 H T T m , [u, v]一个 2D 点可以表示为 。一个 3D 点可以表示为 M , [ X , Y , Z ]，我们使用 T T , [ X ,Y , Z ,1]。摄像机通常被简化为一个针孔模 x表示其增广矩阵:m, [u, v,1]以及 M [6] 型:一个 3D 点 M 与它投影图像点之间的关系表示为 s m , A[ R , t ]M(4.1) 其中，s 是任意标准矢量;(R,t)称为外部参数，是世界坐标系与摄像机坐标系间的旋转 与平移关系;A 矩阵称为摄像机内部参数，表示为: u， 0 , A , 0 ,v 0 0 0 1 (u, v) , 0 0 ， 其中，是坐标系上的原点，和 是图像上 u 和 v 坐标轴的标准矢量。, 表示 两坐标轴的垂直度。 为了不失一般性，在这里假定模板平面在世界坐标系 Z=平的平面上则由式(4.1)我们 可以得到: X , ,u ,, , , Y , , ,, r t ]s v , A[rr 1 23 ,, ,, 0 ,1 (4.2), ,, ,, 1 ,, X , , , , , A[rr r ] Y 1 23 , , ,1 , T 其中，A 为摄像机内参数矩阵， M, [ X Y 1]为标定板平面上的其次坐标， - 2 - 中国科技论文在线 T m, [u v 1]为模版平面上的点投影到图像平面上对应点的其次坐标，[r , r , r ] 和 t 分别是1 2 3 摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量。 此时，我们可以得到一个3 , 3 的矩阵 H: H , hhh, ， Arrt ,, ,,1 2 3 1 2 利用映射矩阵可得到内参数 A 的两个约束条件: T 1T (4.3) hA A h, 0 1 2 T T 1(4.4) hA A h, 0 1 2 1.2 利用约束条件线性求解内参数 A 假设: BBB , ,111111 , , T 1 B , AA, B B B 11 11 11 , , BBB 111111 , ,1 v, u, 00 , ,, 22 2 (4.5)， ， , ， , , ,2 , ,, , 1, (v , u , ) v 0 0 0 , ， ,,2 2 22 2 ， , ， , , ， , , , ,2 , ,v , u , , (v , u , )(v , u , )v v 0 0 0 0 0 0 0 0 ， ， 1 ,,2 2 2 2 ， , ， , , ， , , , , T 其中，B 是对称矩阵，可以表示为下面的六维向量b , [B , B , B , B , B , B ]，基 11 12 22 13 23 33 于绝对二次曲线原理求出 B 以后，再对 B 阵求逆，利用 Choleski 分解，便可从 B 中导出内 参数矩阵 A。再由 A 和映射矩阵 H 计算每幅图像相对于平面模板的外参数旋转矩阵 R 和平 移向量 t: 1， Ah r , 1 1 1 r , ， Ah2 2 r, r, r 3 1 2 1t , ， Ah 3 1.3 最大似然估计 采用极大似然准则(Maximum likelihood estimation)对上述参数进行优化。假设有 n 幅关 于模板平面的图像，而模板平面上有 m 个标定点，那么极大似然估计值就可以通过使下式 最小化得到(即制定评价函数): n m , 1 2 i i j ij i ,1 j ,1 2(4.6) || m , t , M ) || m( A, k , k , R 其中 m为第 j 个点在第 i 幅图像中的像点， R为第 i 幅图像旋转矩阵;t为第 i 幅图像 ij i i 的平移向量; M 为第 j 个点的空间坐标;初始估计值利用上面线性求解的结果，畸变系数 k， j 1 k初始值为 0。 2 - 3 - 中国科技论文在线 2 标定试验 2.1 试验模板的制作 用计算机产生一张有18 ,18 个圆形平面图样，且圆的大小与圆与圆之间的间距都是相 同的。然后通过 HPLaserjet 打印机以 1:1 的比例打印出来，贴在一块光洁水平的玻璃板上(保 证所有点共面)，作为标定模板，如图 1 所示。取每个圆形的圆心作为特征点，则共有 324 个特征点，选定世界坐标系(如以第一个角点为原点)，便可以得出各特征点的世界坐标。 图 1 标定用模板 2.2 标定板图样采集 目标图样的采集过程就是通过 CDC 摄像机和图像采集卡等数字图像采集系统将其获取 至计算机中成为灰度图像的过程。在本文的实验中，图像信号的采集是通过大恒 DH-SV1410FC/FM 摄像机完成的，见图 2。然后由 CDC 摄像机图像采集卡对镜头所成的模 拟图像离散化而完成图像的采样和量化。 图 2 大恒 DH-SV1410FC/FM 摄像机 经过 DH-SV1410FC/FM 对图像的采集，我们获得了 5 张不同位姿的标定板图像，见图3 - 4 -