逆向仿真工程中的一种相机自标定技术

逆向仿真工程中的一种相机自标定技术 逆向仿真工程中的一种相机自标定技术 第31卷第4期 2006年4月 武汉大学?信息科学版 GeomaticsandInformationScienceofWuhanUniversity Vol_31No.4 Apr.2006 文章编号:1671—8860(2006)04—0336—04文献标志码:A 逆向仿真工程中的一种相机自标定技术 王刃朱东兴.蒋渤 (1郑州信息工程大学测绘学院.郑州市陇海中路66号,450052) (2天津61365部队,天津市河北区中山路129号增1号,300166) (3空军雷达学院,武汉市汉口赵家条69号.430010) 摘要:一直以来,数码相机的检测都是利用传统的直接线性解,因此,必须布设一个高精度的控制检测场. 为了能够实现无控测量,采用了相机自检校法,并取得了和直接线性解一致的结果. 关键词:绝对二次曲线;绝对二次曲面;自检校 中图法分类号:P246.1;P234 在近景以及逆向仿真工程中,对目标进行观 测,控制,使用更多的是商用数码相机,而商用数 码相机的内部参数即像主点(.,Y.),主距,等一 般来说是未知的,因此,在对目标进行观测,控制 前,首先需要对相机内部参数进行标定.很长时 间以来,对相机的检校都是在一个布有大量控制 点的检校场中进行的,这限制了利用相机进行测 量,控制的范围和场所.为此,就需要一种无需控 制点的相机检校方法——相机自检校法. 1相机标定 1.1相机自检校 相机自检校法的出现使相机检校摆脱了传统 方法对控制点的依赖,为实时控制与仿真提供了 可行性.在针孔成像模型中,物点M[,Y,]与 像点[",]之间的关系可以表示为: sE-73]一P?[Y玎(1) 式中,5是任意比例因子;P是3×4的透视投影矩 阵,可以表示为摄像机内部参数与外部参数的乘 积,即 P=K?[Rf](2) 式中, K一 一 fkcosO"0 o一口. OO1 收稿日期:2006Ol03. 其中,,为主距;k,k为水平与垂直方向上的比 例因子;".,.为像主点坐标;为图像坐标轴的 夹角;R,t为从物方坐标系到像方坐标系之间的 旋转矩阵和位移矩阵]. 令fu一一fk,s—fkcosO,一一fk/sinO, 则要检测的相机内参数就是(,,,,".,). 1.2基本概念 为了建立相机自检校模型,这里需要引入一 些必要的概念. 1)齐次空间 三维欧氏空间中的一个点可以表示为一 (X,Y,Z),当把这个点的表达式扩充为=(X, y,Z,,)时,即由欧氏空间转换到了齐次空间中, 齐次项,=0对应着无穷远平面上的元素. 2)绝对二次曲线D 绝对二次曲线是齐次空间中无穷远平面上的 一 个虚二次曲线,可用方程式表示为:X.+y.+ Z.=0,t=0,=(X,Y,Z,0)是它上面的任一 点 绝对二次曲线定义了一个无穷远投影平面上 的圆,其半径i一?一1.在平移,旋转和缩放变化 中,绝对二次曲线具有不变的性质.根据这一性 质可以很容易得出,绝对二次曲线的透视投影即 绝对二次曲线的像,也是一个绝对二次曲线,其 线上点坐标不依赖于相机的位置.移动相机在不 同位置进行拍摄时,绝对二次曲线及其所成的像保 持不变.因此,绝对二次曲线所成的像的坐标仅 第3l卷第4期王刃等:逆向仿真工程中的一种相机自标定技术 和相机的内方位元素有关,而与相机的外方位元素 无关,从而可以利用绝对二次曲线对相机进行标 定.其透视投影所成的像可以用矩阵表示为: D—KK(3) 自标定的目的就是寻找cu(或),并计算出 KK一,再对KK取逆得到KK_.,对KK 作Cholesky分解,即可求出内参数矩阵K. 3)绝对二次曲面 绝对二次曲面n'是空间中一个特殊的虚二 次曲面,其等同于绝对二次曲线n的对偶.从代 数角度考虑,n在扩展欧氏坐标系(无穷远平面 方程为t=O)中的二次型为: 一 . 0 O]?L'u 若设P为投影矩阵,则n应满足兰P. 4)单应矩阵 在齐次空间中,两个不同坐标系之间的转换 即为单应矩阵. 5)双视点间的几何关系 在双视点结构下,图像间的对应点遵循核线 几何关系.如图1所示,照相机分别在不同的摄 站位置C,C摄取图像,地面点在左,右像片上 分别成像为,.由核线几何关系知,必然 落在核线l上,必然落在核线,上,其中, 和,为同名核线.这种约束关系是两幅图像问 最基本的几何关系,习惯上称为核线几何约束,从 数学上可以描述为: mFm=0(5) 式中,F是秩为2的3×3矩阵,习惯上称为基础 矩阵.由于基础矩阵F包含了两幅图像间的所 有几何信息,因此,精确地计算F对于摄像机标 定和三维重建具有重要意义.常用的方法是直接 基于式(5)的8点算法,原理如下:设m一[",, 1],m=[",,1],将F写成由各分量组成的 列矢量形式,即,=[FFF.,F.,FF.., ,,.],则对每一对对应点对(m,m)可写 出方程r-uu,VU,","口,7272,,,口,1],一0.将 "("?8)个这样的方程叠加起来得到线性方程组 A,一0,再利用奇异值分解可求出该方程组的最 小二乘解l2]. 1.3自标定模型 自标定模型按照其原理大致可以分成两类, 一 种是基于Kruppa方程的直接求解的自标定, 另一种是分层逐步标定. 1.3.1直接求解Kruppa方程的自标定 Kruppa方程在核线变换和绝对二次曲线的 图1核线几何关系 Fig.1EpipolarGeometry 像之间建立了联系.在图2中,C,C为摄站 点,k为两摄站点之间的连线,e,e分别为两像平 面上的核点.设?为过连线k的平面,?与两像 平面分别相交于,.令p,p分别为两像平面所 对应的投影矩阵,则核线变换在,之间定义了 一 个单应矩阵. 如果?和绝对二次曲线n相切,则对应的有 和绝对二次曲线的像相切,:和相切,而绝 对二次曲线独立于相机的摄影位置,因此可以认 为=.在核线变换下,与.与;一一对 应ll. 图2核线与绝对二次曲线像之间的关系 Fig.2RelationsBetweentheImageof AbsoluteConicandgpipolar 设D为绝对二次曲线的矩阵表示.由矩 阵D的定义知,核线<e,>(核点e与像点的连 线)相切于,则点必定在绝对二次曲线上, 即 (p×)D(p×)一0(6) 矩阵D由6个参数组成,其中有5个是独立的, 这和相机的内方位元素是一致的. 设点的坐标为(,,0),同时考虑到对于 两张像片面都有式(6)成立,可得: Al1.20.+2A12xy+Ae2y一0 … Az+2A+A.一0 武汉大学?信息科学版2006年4月 式中,A和A:由矩阵D和核点,e共同决定. 令=(,Y,O),一(,Y,O),则当一 Nm时,有: <P,>一H<e,>(8) 其中,H为单应矩阵.变换N等价为: T一(9) C』十 式中,参数a,b,C,d可以根据核点e,P以及同名 像点qq(1?i?)来计算.由立体像片的对 应关系得: ,,,, T:丝二地,T一粤掣二乌掣(1o) p3qn—p1qi3P3ql1一P1qi3 将式(10)代入式(9),利用最小二乘平差可以解算 出对应参数a,b,C,d,则式(7)可以改写为: Al1+2Al2T+A22T.一0 A1(bT+c)+2A2(bT+c)(T+a)+ AI22(T+")一0(11) 式(11)中每个方程都是一个关于T的二次曲线. 把两个方程的对应系数相比,并令它们的比值相 等,可得: A12(A2a+A'22C+2AI2)一(A2C+ A2a+A1bc+A2ab)A1l一0 A22(AI22口+A1C.+2A2)一(2A2b+ A2+A1b)A11=0(12) 式(12)即为Kruppa方程. 由上面的推导知,一对立体像对可以列出4 个方程,而内方位元素为5个,故需要在3个不同 位置摄取立体像对,从而解算相机内部参数. 基于Kruppa方程的自标定方法不需要对图 像序列作射影重建,而是在两两图像之间建立方 程,在某些很难将所有图像统一到一个一致的射 影框架的场合,该方法相对于分层逐步标定法更 具有优势l3],但基于Kruppa方程标定摄像机时, 随着图像序列的增长,其解出现不稳定性,这也就 限制了它的应用. 1.3.2分层逐步标定 近年来,分层逐步标定法成为自标定研究中 的热点,并在实际应用中逐渐取代了直接求 Kruppa方程的方法.分层逐步标定法首先要求 对图像序列作射影重建,再通过绝对二次曲线施 加约束,定出仿射参数(即无穷远平面方程)和摄 像机内参数. 绝对二次曲面n对应着图像上的绝xq_-次 曲线像的对偶山,即下式成立: 山兰KK=Pn(13) 它是将摄像机内参数的自身约束转移到对n的 约束的纽带. 设第i幅图像对应的内参数矩阵为K,由式 (13)可得: K兰PfnP(14) 考虑到n矩阵的对称型和秩为3,满足式(16)的 n可以具有如下形式: ~.iPi『一(15)l?K??1一 则通过优化下式可以解出所有的未知数: c(K,K,?)一?IIF(~K?_)一F(PnP)_lF (16) 为保证式(16)收敛,必须获得良好的K的初始 值.这里假定倾斜因子为零,且主点坐标("., .)已知,则此时基于式(14)的自标定成为线性过 程,将该线性标定的结果作为式(16)的初始值,可 以保证优化过程的收敛l2. 1.4解算步骤 1)先用8点法计算基础矩阵F.在左,右立 体像片上找8个同名像点,利用奇异值分解求得 立体影像的基础矩阵. 2)计算右片上的核点像坐标.先利用共面 方程求得右片上的任意两条核线,然后通过求两 条核线的焦点求得右片上的核点坐标. 3)构建透视矩阵.通过公式: P=[[g]F+g',l] P===EIIO] 建立透视矩阵.其中,J为单位矩阵;为右片上 的核点坐标;F为基础矩阵;为任意值;',为任意 一 个3×1的矩阵. 4)按上面介绍的分层公式求解. 2实验结果与分析 本实验利用了一个活动控制架,上面共布设 有4O个控制点,在不同方位对控制架进行摄影. 为了能够对相机自检校方法有一个客观的,较为 准确的评价,首先利用直接线性解对相机进行检 校,然后采用自检校法.在实验中,分别利用2O, 3(),4O个控制点对相机进行了三次检校,结果如 表1所示. 从表1可以看出,利用自标定方法获取的结 果和传统的直接线性变换解一致.也就是说,利 用相机自标定方法可以达到实测精度的要求. 第31卷第4期王刃等:逆向仿真工程中的一种相机自标定技术339 表I直接线性变换解与自检校法的结果比较 Tab.1ResultsComparisonofDLTandSelf-Calibration 在工业逆向仿真工程以及近景测量中,由于 商用数码相机的不稳定性以及内参数的不确定 性,需要频繁地对相机进行实时,实地检测.相机 自检校法为此提供了可行的实施方法,它成功地 摆脱了控制点的束缚,实现了无控制检测甚至测 量. 参考文献 [1]RichardH,AndrewZ.MultipleViewGeoMetryin Ez] ComputerVision[M].CambridgeThePressSyn— dicateoftheUniversityofCambridge,2000 MengXiaoqiao,HuZhanyi.RecentProgressin CameraSelf_ca1ibration[J].ActaAutomatieaSini— ca,2003,29(1):110—124(inChinese) Self-CalibrationAppli [3-1MendoncaP,CipollaR.ASimpleTechniquefor Se1f_ca1mration[c].IEEEConferenceonComputer VisionandPatternRecognition,FortCollins,Colo— rado.1999 [4]FaugerasO,LuongQT.TheGeometryofMultiple [5-1 ImagesFM].Cambridge,MA:MITPress,2001 ZellerC,FaugerasO.CameraSelf-Calibrationfrom VideoSequences:theKruppaEquationsRevisited [R].INRIARapportdeRechercheNo.2793, France,1996 第一作者简介:王刃.博士生研究方向为图像处理,机器视觉及 三维重建 E-mail?chxy_wangren@163.eOITI inConvertingSimulationSurveying WANGRenZHUDongxing?.JIANGBo (1InstituteofSurveyingandMapping,InformationEngineeringUniversity, 66MiddleLonghaiRoad,Zhengzhou450052,China) (2Tianiin61365Troops,1Addition129ZhongshanRoad,HebeiDistrict,Tianjin300166,China) (3AcademyofAirforeeRadar,69Zhaojiatiao.Hankou,Wuhan430010?China) Abstract:Inthefieldofconvertingsimulationsurveyingandtraditionalcloserangephoto— grammetry,ithasbeendevelopedSOfartosurveyobjectsbycommercialdigitalcameraand thistechniaueisappliedwidelyineverypartofproduction.Inordertogetthree—dimensional informationofobjeCts,commercialdigitalcameramustbeexamined.Foralongtime,digital camerahasbeenexaminedbyDLT.Thentheremustbeahigh—precisioncontrolfield.For realizingsurveyingwithoutcontrolpoints,wetakeamethodofselfcalibrationandachieve goodresults. Keywords:absoluteconic;absolutequadric;self-calibration Ab0utthefirstnuthor:WANGRen,PhDcandidate,majorsinimageprocess,computervisionand3Dreconstruction E-mail:chxy—wangren@163corn