逆向仿真工程中的一种相机自标定技术

逆向仿真中的一种相机自标定技术 第 31 卷 第 4 期武 汉 大 学 学 报 〃 信 息 科 学 版Vol . 31 No . 4 Geo matics a nd Info r matio n Science of Wuha n U niver sit y Ap r . 2006 2006 年 4 月 () 文章编号 :167128860 20060420336204 文献标志码 : A 逆向仿真工程中的一种相机自标定技术 11 ,32刃朱东兴渤王蒋 ( )1 郑州信息工程大学测绘学院 ,郑州市陇海中路 66 号 ,450052 ( ) 2 天津 61365 部队 ,天津市河北区中山路 129 号增 1 号 ,300166 ( )3 空军雷达学院 ,武汉市汉口赵家条 69 号 ,430010 摘 要 :一直以来 ,数码相机的检测都是利用传统的直接线性解 ,因此 ,必须布设一个高精度的控制检测场 。 为了能够实现无控测量 ,采用了相机自检校法 ,并取得了和直接线性解一致的结果 。 关键词 :绝对二次曲线 ;绝对二次曲面 ;自检校 中图法分类号 : P246 . 1 ; P234 , f 为主距 ; k、k为水平与垂直方向上的比其中 在近景以及逆向仿真工程中 ,对目标进行观u v θ 测 、控制 ,使用更多的是商用数码相机 ,而商用数例因子 ; u、v为像主点坐标 ;为图像坐标轴的 0 0 ( ) 码相机的内部参数即像主点 x, y、主距 f 等一 夹角 ; R、t 为从物方坐标系到像方坐标系之间的 0 0 [ 1 ] 旋转矩阵和位移矩阵。般来说是未知的 , 因此 , 在对目标进行观测 、控制 θθ 令 f = - f k, s = f k co s, f = - f k/si n,u u u v v 前 , 首先需要对相机内部参数进行标定 。很长时 ( ) 则要检测的相机内参数就是 f , f , s , u, v。u v 0 0 间以来 , 对相机的检校都是在一个布有大量控制 1 . 2 基本概念点的检校场中进行的 , 这限制了利用相机进行测 为了建立相机自检校模型 , 这里需要引入一 量 、控制的范围和场所 。为此 , 就需要一种无需控 些必要的概念 。 制点的相机检校方法 ———相机自检校法 。 ) 1齐次空间 三维欧氏 空 间 中 的 一 个 点 可 以 示 为 x = 1 相机标定 T ( ) ( X , Y , Z, 当把这个点的表达式扩充为 x = X , T ) Y , Z , t时 , 即由欧氏空间转换到了齐次空间中 , 1 . 1 相机自检校 齐次项 t = 0 对应着无穷远平面上的元素 。相机自检校法的出现使相机检校摆脱了传统 ) Ω 2绝对二次曲线 方法对控制点的依赖 , 为实时控制与仿真提供了 T 绝对二次曲线是齐次空间中无穷远平面上的 可行性 。在针孔成像模型中 , 物点 M [ x , y , z ] 与2 2 T 一个虚二次曲线 , 可用方程式表示为 : X + Y + 像点 m [ u , v ] 之间的关系可以表示为 :2 T TT( ) Z = 0 , t = 0 , x = X , Y , Z , 0是它 上面 的 任一 ( )= P 〃[ xs[ u v z ] y z l ] 1 点 。式中 , s 是任意比例因子 ; P 是 3 ×4 的透视投影矩 绝对二次曲线定义了一个无穷远投影平面上阵 , 可以表示为摄像机内部参数与外部参数的乘 , 其半径 i =- 1 。在平移 、旋转和缩放变化的圆 积 , 即 中 , 绝对二次曲线具有不变的性质 。根据这一性 )( P = K 〃[ R t ]2 质可以很容易得出 , 绝对二次曲线的透视投影即 式中 , ω绝对二次曲线的像 , 也是一个绝对二次曲线 , 其 θf k co s - f k u u u0 线上点坐标不依赖于相机的位臵 。移动相机在不 f k v0 v K = - 0θsi n 同位臵进行拍摄时 ,绝对二次曲线及其所成的像保 ω持不变 。因此 ,绝对二次曲线所成的像的坐标仅 0 1 0 和相机的内方位元素有关 ,而与相机的外方位元素 无关 , 从而可以利用绝对二次曲线对相机进行标 定 。其透视投影所成的像可以用矩阵表示为 : - T - 1 ( )D = KK3 3 ( ) ωω自标定的目的就是寻找 或 , 并计算出 - T - 1 - T - 1 - T T KK, 再 对 KK取 逆 得 到 KK, 对 KK 作 Chole sky 分解 , 即可求出内参数矩阵 K。 ) 3绝对二次曲面 3 Ω绝对二次曲面 是空间中一个特殊的虚二 图 1 核线几何关系 Ω 次曲面 , 其等同于绝对二次曲线 的对偶 。从代 Fig. 1 Epipo1a r Geo met r y 3 Ω( 数角度考虑 ,在扩展欧氏坐标系 无穷远平面 ) 方程为 t = 0中的二次型为 : ω 像 之 间 建 立 了 联 系 。在 图 2 中 , C、C 为 摄 站 I0 3 ×33 点 , k 为两摄站点之间的连线 , e 、e 分别为两像平 ( )Ω= 4 T 0 0 面上的核点 。设 ?为过连线 k 的平面 , ?与两像 3 33 T ΩΩω若设 P 为投影矩阵 , 则 应满足 PP。 ? 平面分别相交于 l 、 。令p 、 分别为两像平面所l p ) 4单应矩阵对应的投影矩阵 , 则核线变换在 l 、l 之间定义了 , 两个不同坐标系之间的转换在齐次空间中 一个单应矩阵 。 即为单应矩阵 。Ω 如果 ?和绝对二次曲线 相切 , 则对应的有 ) 5双视点间的几何关系ω ω l 和绝对二次曲线的像相切 , l 和相切 , 而绝 在双视点结构下 , 图像间的对应点遵循核线 对二次曲线独立于相机的摄影位臵 , 因此可以认 几何关系 。如图 1 所示 , 照相机分别在不同的摄 ωω 为 =。在核线变换下 , l与 l、l与 l一一对1 1 2 2 [ 1 ] 站位臵 C、C 摄取图像 , 地面点 x 在左 、右像片上 应。 分别成像为 m 、m 。由核线几 何 关系 知 , m 必 然 落在核线 l 上 , m 必然落在核线 l 上 , 其中 , l m m m 和 l 为同名核线 。这种约束关系是两幅图像间 m 最基本的几何关系 , 习惯上称为核线几何约束 , 从 数学上可以描述为 : T ( )mFm = 0 5 式中 , F 是秩为 2 的 3 ×3 矩阵 , 习惯上称为基础 矩阵 。由于基础矩阵 F 包含了两幅图像间的所 有几何信息 , 因此 , 精确地计算 F 对于摄像机标 图 2 核线与绝对二次曲线像之间的关系 定和三维重建具有重要意义 。常用的方法是直接 Fig. 2 Relatio ns Bet ween t he Image of ( ) 基于式 5的 8 点算法 , 原理如下 : 设 m = [ u , v , T T A bsol ute Co nic and Epipola r 1 ] , m = [ u , v , 1 ] , 将 F 写成由各分量组成的 f = [ F, F, F, F, F, F, 列矢量形 式 , 即11 12 13 21 22 23 ω 设 D 为绝对二次曲线的矩阵表示 。由矩 T ( ) F, F, F] , 则对每一对对应点对 m , m 可写 31 32 33 ( D 的定义知 , 核线? e , m> 核点 e 与像点 m 的连 阵 出方程 [ u u , v u , u , u v , v v , v , u , v , 1 ] f = 0 。将 ) ωω 线相切于 , 则点 m 必定在绝对二次曲线上 ,( ) n n ?8个这样的方程叠加起来得到线性方程组 即 T A f = 0 , 再利用奇异值分解可求出该方程组的最 ( ) ( ) ( )p ×mD p ×m= 0 6 [ 2 ] 小二乘解。矩阵 D 由 6 个参数组成 , 其中有 5 个是独立的 , 1 . 3 自标定模型 这和相机的内方位元素是一致的 。 自标定模型按照其原理大致可以分成两类 , ( ) 设点 m 的坐标为 x , y , 0, 同时考虑到对于 一种是基于 Kr upp a 方程的直接 求解 的自 标定 , ( ) 两张像片面都有式 6成立 , 可得 : 2 2 另一种是分层逐步标定 。 A x+ 2 A x y + A y= 011 12 22 ( )7 2 2 1 . 3 . 1 直接求解 Kr upp a 方程的自标定A x + 2 A x y + A y = 011 12 22 Kr upp a 方程在核线变换和绝对二次曲线的 338 武 汉 大 学 学 报 〃信 息 科 学 版2006 年 4 月 3 Ω式中 , A 和 A 由矩阵 D 和核点 e 、e 共同决定 。它是将摄像机内参数的自身约束转移到对 的 ij ij ( ) ( ) = x , y , 0, 则当 m =令 m = x , y , 0, m约束的纽带 。 设第 i 幅图像对应的内参数矩阵为 K, 由式N m 时 , 有 :i ( ) ( ) ? e , m> = H? e , m > 8 13可得 : T3 TKK其中 , H 为单应矩阵 。变换 N 等价为 :Ω14 i i ( ) PP? i i 3 a T + b ( ) Ω 考虑到 矩阵的对称型和秩为 3 , 满足式 16的 ( )T = 9 3 c T + d Ω 可以具有如下形式 : TT 式中 , 参数 a 、b、c 、d 可以根据核点 e 、e 以及同名 Ka KK? T T λ P= KK ( ) i P i15 i ( ) 像点 q - q 1 ?i ?n来计算 。由立体像片的对 T i i T Ka a a ? ? ? 应关系得 : 则通过优化下式可以解出所有的未知数 : p3 qi2 - p2 qi3 p 3 q i2 - p 2 q i3 T3 T ( )= , T = 10 T )Ω( ( ( ?F K K ) - F Pi) c K , K, a = F i PF i i i p3 qi11 qi3p 3 qi11 q i3pp - - ? ( ) 16( ) ( ) 10代入式 9, 利用最小二乘平差可以解算将式 ( ) 为保证式 16 收敛 , 必 须 获得 良好 的 K的 初 始 i ( ) 出对应参数 a 、b、c 、d , 则式 7可以改写为 :( 值 。这里假定倾斜因子 s 为零 , 且主点坐标 u, 0 2= 0 A + 2 A T + A T 11 12 22 ) ( ) v已知 , 则此时基于式 14的自标定成为线性过 0 ( ) ( ( ) ) A bT + c+ 2 A bT + cT + a+ 11 12 ( ) 程 , 将该线性标定的结果作为式 16的初始值 , 可 2 ( )( ) 11 A T + a= 022 [ 2 , 4 , 5 ] 以保证优化过程的收敛 。 ( ) 式 11中每个方程都是一个关于 T 的二次曲线 。 1 . 4 解算步骤把两个方程的对应系数相比 , 并令它们的比值相 ) 1先用 8 点法计算基础矩阵 F 。在左 、右立 等 , 可得 : 2 2 体像片上找 8 个同名像点 , 利用奇异值分解求得 ( ) ( A A a+ A c+ 2 A ac- A c +12 22 22 12 12 立体影像的基础矩阵 。 ) = 0 A 22 a + A 11 bc + A 12 abA 11 2 2 ) 2计算右片上的核点像坐标 。先利用共面 ( ) ( A A a+ A c+ 2 A ac- 2 A b +22 22 11 12 12 2 方程求得右片上的任意两条核线 , 然后通过求两 ) A + A bA = 0( )22 11 11 12 条核线的焦点求得右片上的核点坐标 。( ) 式 12即为 Kr upp a 方程 。 ) 3构建透视矩阵 。通过公式 :由上面的推导知 , 一对立体像对可以列出 4 T λP = [ [ e ] F + e v | e ] x 个方程 ,而内方位元素为 5 个 ,故需要在 3 个不同 P = [ I | 0 ] 位臵摄取立体像对 ,从而解算相机内部参数 。 建立透视矩阵 。其中 , I 为单位矩阵 ; e 为右片上 基于 Kr upp a 方程的自标定方法不需要对图 λ的核点坐标 ; F 为基础矩阵 ;为任意值 ; v 为任意 像序列作射影重建 ,而是在两两图像之间建立方 一个 3 ×1 的矩阵 。 程 ,在某些很难将所有图像统一到一个一致的射 ) 4按上面介绍的分层公式求解 。影框架的场合 ,该方法相对于分层逐步标定法更 [ 3 ] 具有优势,但基于 Kr upp a 方程标定摄像机时 , 2 实验结果与 随着图像序列的增长 ,其解出现不稳定性 ,这也就 限制了它的应用 。 本实验利用了一个活动控制架 ,上面共布设 1 . 3 . 2 分层逐步标定 有 40 个控制点 ,在不同方位对控制架进行摄影 。 近年来 ,分层逐步标定法成为自标定研究中 为了能够对相机自检校方法有一个客观的 、较为 的热 点 , 并 在 实 际 应 用 中 逐 渐 取 代 了 直 接 求 准确的评价 ,首先利用直接线性解对相机进行检Kr upp a 方程的方法 。分层逐步标定法首先要求 校 ,然后采用自检校法 。在实验中 ,分别利用 20 、 对图像序列作射影重建 ,再通过绝对二次曲线施 30 、40 个控制点对相机进行了三次检校 , 结果如 ( ) 加约束 ,定出仿射参数 即无穷远平面方程和摄 表 1 所示 。像机内参数 。 3 从表 1 可以看出 ,利用自标定方法获取的结 Ω 绝对二次曲面 对应着图像上的绝对二次 3 果和传统的直接线性变换解一致 。也就是说 ,利 ω 曲线像的对偶 , 即下式成立 : 3 T 3 T 用相机自标定方法可以达到实测精度的要求 。( ) ωλΩ13 i ? KK= P Pi i 表 1 直接线性变换解与自检校法的结果比较 Tab. 1 Result s Co mpa ri so n of DL T a nd Self2Calibratio n 直接线性解 自检校解 控制点个数 f f x / 像素 y / 像素 f x / 像素 y / 像素 u v 0 0 0 0 20 1 104 . 81 734 . 15 1 728 . 50 1 103 . 87 733 . 90 1 727 . 91 1 728 . 84 30 1 104 . 81 734 . 25 1 728 . 53 1 104 . 54 734 . 21 1 727 . 82 1 728 . 65 40 1 104 . 81 734 . 28 1 728 . 56 1 103 . 97 734 . 36 1 727 . 83 1 729 . 66 [ 3 ] Mendo nca P , Cipolla R. A Simple Technique fo r 在工业逆向仿真工程以及近景测量中 ,由于 Self2Cali bratio n[ C ] . IE E E Co nf erence o n Co mp uter 商用数码相机的 不稳 定 性以 及内 参 数的 不确 定 Vi sio n a nd Pat ter n Reco gnitio n , Fo rt Collins , Colo2 性 ,需要频繁地对相机进行实时 、实地检测 。相机 rado , 1999 自检校法为此提供了可行的实施方法 ,它成功地 [ 4 ] Faugera s O , L uo ng Q T. The Geo met r y of Multiple 摆脱了控制点的束缚 ,实现了无控制检测甚至测 Images [ M ] . Ca mbridge , MA : M I T Pre ss , 2001 量 。 Zeller C , Fa ugera s O . Ca mera Self2Calibratio n f ro m [ 5 ] Video Sequence s : t he Kr upp a Equatio ns Revi sit ed 参 考 文 献 [ R ] . IN R IA Rappo rt de Recherche No . 2793 , [ 1 ] Richar d H , A ndrew Z. M ultiple View Geo Met r y in France , 1996 Co mp uter Vi sio n [ M ] . Cambridge : The Press Syn2 dicate of t he U niver sit y of Ca mbridge , 2000 第一作者简介 : 王刃 ,博士生 。研究方向为图像处理 、机器视觉及 [ 2 ] Meng Xiao qiao , H u Zhanyi . Recent Pro gre ss in 三维重建 。 Ca mera Self2Calibratio n [ J ] . Acta A uto matica Sini2 E2mail :chxy_wangren @163 . co m () ()ca , 2003 ,29 1:1102124 in Chinese Self2Cal ibrat ion Appl ied in Convert ing Simulat ion Surveying 11 , 32W A N G R e n Z H U D on g x i n g J I A N G B o ( 1 In stit ut e of Sur veyi ng a nd Mappi ng , Info r matio n Engi neeri ng U niver sit y , )66 Middle Lo nghai Road , Zhengzho u 450052 , Chi na ( ) 2 Tia nji n 61365 Troop s , 1 Additio n 129 Zho ngsha n Road , Hebei Di st rict , Tia nji n 300166 , Chi na ( )3 Acade my of Ai rfo rce Rada r , 69 Zhaojiatiao , Han ko u , Wu han 430010 ,Chi na Abstract : In t he fiel d of co nve r ti ng si mulatio n sur veyi ng a nd t ra ditio nal clo se ra nge p ho to2 gra mmet r y , it ha s bee n develop ed so f a r to sur vey o bject s by co mme rcial di git al ca mera a nd t hi s t ech nique i s app lie d wi del y i n ever y p a r t of p ro ductio n . In o r de r to get t h ree2di me n sio nal i nfo r matio n of o bject s , co mmercial di git al ca mera mu st be e xa mi ne d. Fo r a lo ng ti me , di git al ca me ra ha s bee n e xa mi ne d by DL T. The n t here mu st be a hi gh2p reci sio n co nt rol fiel d. Fo r realizi ng sur veyi ng wit ho ut co nt rol poi nt s , we t a ke a met ho d of self2cali bratio n a nd achieve goo d re sult s. Key words : a b sol ut e co nic ; a b sol ut e qua dric ; self2cali bratio n About the f irst a uthor : WAN G Ren , Ph. D candidat e , major s in ima ge pro ce ss ,co mput er vi sio n and 3D re co nstructio n. E2mail : chxy_wangren @163 . co m