红外图像空间分辨率提高方法研究

第 26卷第 5期 2007年 10月 红 外 与 毫 米 波 学 报 J. Infrared M illim. W aves Vol. 26, No. 5 October, 2007 文章编号 : 1001 - 9014 (2007) 05 - 0377 - 03 收稿日期 : 2007 203 205,修回日期 : 2007 207 224　 　　　　　　　　　Rece ived da te: 2007 203 205, rev ised da te: 2007 207 224 基金项目 :国防预研资助项目 (40405050303) 作者简介 :隋修宝 (19812) ,男 ,山东烟台人 ,博士生 ,主要从事红外图像处理和探测器机理研究. 红外图像空间分辨率提高研究 隋修宝 , 　陈 　钱 , 　陆红红 (南京理工大学 电子工程与光电技术学院 ,江苏 　南京 　210094) 摘要 :分别研究了微扫描技术与虚拟电子微扫描技术在提高红外图像空间分辨率方面的原理 ,指出了纯粹利用微 扫描技术的局限性 ,提出了微扫描技术与自适应虚拟电子微扫描技术相结合的方法 ,理论和实验结果明 ,该方法 可以大幅度地提高红外图像的空间分辨率. 关 　键 　词 :光学 ;空间分辨率 ;复合技术 ;红外图像 ;微扫描 ;虚拟电子微扫描 中图分类号 : TN911. 73　　文献标识码 : A RESEARCH ON IM PROVING SPATIAL RESOLUTION OF INFRARED IMAGE SU I Xiu2Bao, 　CHEN Q ian, 　LU Hong2Hong ( School of Electronic Engineering and Op toelectronic Technology, NUST, Nanjing　210094, China) Abstract: The p rincip les of m icroscan and adap tive dummy electronic m icroscan were studied for imp roving spatial resolu2 tion of infrared image. The lim itation of using m icroscan only was pointed out. The method of making use of m icroscan and adap tive dummy electronic m icroscan was p roduced. Both the theory and experiments demonstrate that the method can im2 p rove the spatial resolution of infrared image greatly. Key words: op tics; spatial resolution; comp lex technique; infrared image; m icroscan; dummy electronic m icroscan 引言 当前由于红外焦平面列阵制作工艺及量子效率 等问题 ,高密度小像素尺寸的红外焦平面器件的制 作尚存在一定困难 ,而且价格昂贵 ;探测器列阵的结 构组织和当前的技术水平又无法满足填充因子达到 100% ,而根据尼奎斯特 (Nyquist)采样定理 ,焦平面 列阵的采样频率就有一定的限制 ,红外焦平面列阵 空间采样频率很难达到自然场景图像尼奎斯特频率 的二倍 ,此时红外图像就会因欠采样而引起信号混 叠 ,造成红外图像模糊 ,空间分辨率较低. 当前提高 红外图像空间分辨率的方法主要有微扫描法 [ 1 ]和 超分辨率图像复原法. 国外有对毫米波图像重建提出了将微扫描和超 分辨率相结合的想法 ,本文将该思路应用于红外图 像上 ,即将微扫描图像重构法和超分辨率图像复原 法 -自适应虚拟电子微扫描技术应用在图像重建 上 ,取得了较好的效果. 1　微扫描技术 微扫描就是利用微扫描装置将光学系统所成的 图像在 X、Y方向分别进行 1 /N (N为整数 )像素距 的位移 ,得到 N ×N 帧欠抽样图像 ;并运用数字图像 处理器将多帧经过亚像素位移的图像重建成一帧图 像 ,从而达到最终实现提高分辨率的目的 [ 2 ] . 从以往对于微扫描成像的研究看 ,存在 4种常 用的微扫描模式 ,它们分别是 1 ×1、2 ×2、3 ×3和 4 ×4的微扫描 ,图 1以 2 ×2微扫描为例说明微扫描 的原理 [ 1 ] :微扫描得到 4幅子图像 ,通过信号处理电 路将 4幅子图像合成一幅图像 ,这样空间分辨率得 到显著提高. 用理论的方法看微扫描技术的性能 ,在频 域内分析得到 [ 3 ] : com b ( x, y) = ∑ ∞ n = - ∞ ∑ ∞ m = - ∞ δ( x - n, y - m ) 　, (1) 式中 m , n分别为 Y, X方向的像素偏移量 ; 红 外 与 毫 米 波 学 报 26卷 图 1　提高空间分辨率的微扫描技术原理 Fig. 1 　 Princip le of m icroscanning technique to imp rove resolution com b ( x, y )定义为梳状函数 , ( x, y )为图像在 X, Y方向的位置坐标 ; δ为狄利克利函数. Is = (ζ,η) = [A (w xζ, w yη) O (ζ,η) × P (ζ,η) ] ×com b ( dxζ, dyη) 　, (2) 式中 O (ζ,η)是目标函数 ; P (ζ,η)是光学系统的调 制传输函数 MTF; A (φ, < )是探测器单元 (像素 )的 形状函数. w x 和 w y 分别为 X和 Y方向对应单元探 测器的宽度 , dx 和 dy 分别为 X和 Y方向对应的单 元探测器与单元探测器间的间距. 从上面的式子可 以看出光学系统和探测器列阵滤掉了目标的高频部 分. 考虑 2 ×2, 4步微扫描的情况 ,它产生同一场景 的 4幅图像 ,在相邻的图像中 ,改变的只是相对于采 样列阵的图像的位置. 微扫描过程产生的采样图像 (频域 )为 : Im s, s = (ζ,η) = 14 [A (w xζ, w yη) O (ζ,η) P (ζ,η) ] ×com b ( dxζ, dyη) { 1 + e - iπn + e - iπm + e - iπ (m +n) } 　. (3) 比较式 (2)和式 (3)可以看出 :两式不同之处在 于式 (3)中多了复指数之和. 括号内相加的式子决 定了与微扫描过程得到的每幅图像相关的谐波函数 部分是如何相加的. 微扫描技术使得基带频谱的谐 波重叠的部分减少了 ,从而提高了系统的空间分 辨率 [ 4 ] . 理论推导表明微扫描能够提高系统的空间分辨 率 ,下面以 288 ×4为例分析重构图像方法 [ 5 ] . 在 288 ×4焦平面探测器一场扫描成像过程中 , 垂直方向的图像离散采样过程可近似表示为 : g ( y) = p ( y) ×hd ( y) 　, (4) 其中 g ( y)为探测器离散响应后的输出图像分布 ; p ( y)为原图像经过光学系统等滤波后的图像 ; hd ( y)为探测器的响应函数. 以探测器 b /2 ( b为探测器尺寸 )为间隔将 p ( y) 离散为 2N个离散值 pj ( j = 0, 1. . . 2N - 1, N = 288) . 对于 PAL视频格式 ,两场图像构成一帧图像 (288 × 2 = 576 TVL ) ,设经过处理后构成的图像为 gj ,将微 扫描后的两场图像分别作为奇数场和偶数场 : gj = ( pj + pj+1 ) /2 　, (5) 其中 : g2N - 1 = p2N - 1 + p2N 　. (6) 根据上述微扫描图像重构算法进行仿真. 将一 幅 576 ×576像素的辐条图像作为原始图像 ,如图 2 所示 ,针对 100%占空比的探测器列阵 ,分别进行不 同步数的微扫描得到图 3至图 5. 从成像仿真效果 图可以看出 ,欠采样噪声逐渐减少 ,图像空间分辨率 逐渐提高. 然而 ,随着微扫描步数的增加 ,图像质量 提高的程度在减少 ,单次采样到 2 ×2微扫描欠采样 噪声衰减的幅度最大 ,之后 3 ×3欠采样噪声衰减的 并不明显 ,因此更多级的微扫描对图像质量的改善 并不能起到很大的作用 ,这是由于分辨率误差只与 输入信号和采样前滤波器的输出信号之差有关 ,并 不随采样频率的提高而降低. 然而通过超分辨率技 术复原衍射限频率之外的部分高频信息 ,则可进一 步将空间分辨率提高 [ 6 ] . 2　自适应虚拟电子微扫描技术 该算法的基本思想是 :像素灰度与邻点灰度的 差异越大 ,表示该点越不同于该区域 ,属于噪声或边 缘点 ,其加权值即其决定作用应该越小 ,基于自适应 873 5期 隋修宝等 :红外图像空间分辨率提高方法研究 放大的红外图像像素倍增技术可以描述为 [ 7 ] : (1) 根据图像的统计特征得到各点的加权值 : g ( i, j) = ∑ k = ±1 | f ( i, j) - f ( i + k, j) | + ∑ k = ±1 | f ( i, j) - f ( i, j + k) | 　, (7) 式中 f ( i, j)为图像中坐标为 ( i, j)的像素的灰度值 ; g ( i, j)定义为综合差异因子 ; g ( i, j)的直方图用 his [ k ]表示. w ( i, j) = 1 - ∑ k i =0 h is[ i ] W ×H 　, (8) 式中 w ( i, j)定义为坐标点 ( i, j)的权值 ; W ×H表示 图像的列阵规模. (2) 利用加权均值方法分 4种方法分别计算原 像素点与新插值点的灰度 : a. 原像素用原图 3 ×3邻域的加权滤波表示 : f′( i, j) = ∑ 1 k = - 1 ∑ 1 l = - 1 w ( i + k, j + l) ×f ( i + k, j + l) ∑ 1 k = - 1 ∑ 1 l = - 1 w ( i + k, j + l) 　. (9) b. 水平半像素点用最近的两个水平方块像素 的加权滤波表示 : f′( i + 1 /2, j) = ∑ 1 k =0 w ( i + k, j) ×f ( i + k, j) ∑ 1 k =0 w ( i + k, j) 　. (10) c. 垂直半像素点用最近的两个垂直方块像素 的加权滤波表示 : f′( i, j + 1 /2) = ∑ 1 k =0 w ( i, j + k) ×f ( i, j + k) ∑ 1 k =0 w ( i, j + k) 　. (11) d. 双向半像素点用最近的 4个方块像素的加 权滤波表示 : f′( i + 1 /2, j + 1 /2) = ∑ 1 k =0 ∑ 1 l =0 w ( i + l, j + k) ×f ( i + l, j + k) ∑ 1 k =0 ∑ 1 l =0 w ( i + l, j + k) 　, (12) 经过上述步骤便可以完成自适应虚拟电子微扫描算 法. 3　微扫描复合自适应虚拟电子微扫描技术 微扫描复合自适应虚拟电子微扫描技术是在低 级数 (如 2 ×2)微扫描的基础上 ,采用自适应虚拟电 子微扫描算法来提高红外图像的空间分辨率的一种 技术. 根据上两节的论述 ,微扫描图像重构和自适应 虚拟电子微扫描算法都能够单独实现 ,将两种方法 按先后顺序应用于图像处理便完成了微扫描复合自 适应虚拟电子微扫描技术. 为了验证微扫描复合自适应虚拟电子微扫描算 法的实际效果 ,对 64 ×64的红外探测器进行 2 ×2, 3 ×3的微扫描后采用 2 ×2微扫描复合自适应虚拟 电子微扫描算法 ,并将各方式的空间分辨率提高数 据对比于图 6,同时各方式图像进行对比 ,分别如图 7、图 8、图 9所示. 由图 6可以看出 ,经过 2 ×2微扫描后的空间分 辨率是不经过微扫描的 1. 26倍 ,由 2 ×2微扫描到 3 ×3微扫描 ,空间分辨率仅仅从 1. 26倍提高到 1131倍 ,而在 2 ×2微扫描的基础上复合自适应虚 拟微扫描技术 (图 6中横坐标为“2 ×2a”对应的处 理方式 ) ,其空间分辨率又大幅度提高到不经过微 扫描的 1. 49倍. 通过对图 7、图 8和图 9的对比也可以发现 ,图 (8) 2 ×2微扫描图像较图 7原始图像的空间分辨率 有大幅提高 ,而图 (9) 2 ×2微扫描复合自适应虚拟电 子微扫描图像的空间分辨率较图 8又有较大提高. (下转 385页 ) 3期 王 　博等 :高噪声率红外图像直方图加权滤波算法 [ 8 ]W ang Bo, Pan Quan, Zhang Hong2cai, et al. Signal filtering algorithm based on the wavelet transformation[ J ]. Acta Elec2 tronica S inica (王博 ,潘泉 ,张洪才 ,等. 基于尺度相关的小 波滤波算法研究.电子学报 ) , 1999, 27 (11) : 70—73. [ 9 ] YANG Lei, YANG J ie, ZHENG Zhong2Long. Detecting in2 frared small targets based on adap tive local energy thersholdunder sea2sky comp lex back grounds[ J ]. J. Infrared M il2lim. W aves (杨磊 ,杨杰 ,郑忠龙. 海空复杂背景中基于自适应局部能量阈值的红外小目标检测. 红外与毫米波学报 ) , 2006, 25 (1) : 41—45. (上接 379页 ) 由此可以看出 :微扫描复合自适应虚拟电子微扫描 技术相比较单纯的微扫描技术更能够较大程度的提 高红外图像的空间分辨率. 4　结论 微扫描技术的出现有效的弥补了红外探测器的 性能缺陷 ,一定程度上提高了红外图像的空间分辨 率 ,然而随着微扫描级数的增多控制将愈加复杂 ,同 时红外图像的空间分辨率也并没有随着微扫描级数 的增加有显著的提高. 而微扫描复合自适应虚拟电 子微扫描技术则采用在低级数 (比如 2 ×2)微扫描 基础上再进行自适应虚拟电子微扫描的方法 ,较大 幅度地提高了红外图像的空间分辨率 ,是提高红外 图像空间分辨率的有效途径. REFERENCES [ 1 ]WU Xin2She, CA I Yi. Techniques of op tical m icroscan in staring infrared imaging system [ J ]. J. Infrared M illim. W aves (吴新社 ,蔡毅. 红外凝视成像系统中的光学微扫 描技术. 红外与毫米波学报 ) , 2007, 26 (1) : 10—14. [ 2 ] QU Yan2ling, LU Yong2jun, SONG M in. M icro2scanning technique in infrared staring system s [ J ]. SEM ICONDUC2 TOR O PTO EL ECTRON ICS (曲艳玲 ,芦永军 ,宋敏. 红外凝 视系统中的微扫描技术. 半导体光电 ) , 2005, 26 ( s1 ) : 146—148. [ 3 ] Edward A W atson, Robert A Muse, Fred P B lommel. A liasing and blurring in m icroscanned imagery [ J ]. Proc. SPIE, 1992, 1689: 242—250. [ 4 ] ZUO Yue2p ing, ZHANG J ian2qi. Technique to imp rove res2 olution and imagery of a given imager2m icroscanning [ J ]. Infrared Technology (左月萍 ,张建奇. 一种提高系统分辨 率、改善图像质量的技术 - 微扫描 . 红外技术 ) , 2001, 23 (4) : 15—21. [ 5 ] J IN W ei2Q i, WANG Chun2Yong, ZHANG Nan, et a l. Study on Sub2Pixel p rocessing algorithm for scanning FPA thermal imaging system [ J ]. J. Infrared M illim. W aves (金 伟其 ,王春勇 ,张楠 ,等. 扫描型焦平面热成像系统的亚 像元处理算法研究. 红外与毫米波学报 ) , 2005, 24 ( 4) : 261—264. [ 6 ] ZHANG Nan, J IN W ei2qi, SU B ing2hua, et a l. Research and recent advance of high resolution infrared image recon2 struction technology[ J ]. ACTA ARMAM EN TAR II (张楠 ,金 伟其 ,苏秉华 ,等. 高分辨力红外热图像重建算法的进展 及研究. 兵工学报 ) , 2005, 26 (2) : 173—176. [ 7 ] GU Guo2hua, FENG Guo2jin, CHEN Q ian, et al. Adap tive dummy electric m icro2scanning technique for IR FPA image p ixels enhancing [ J ]. O PTO ELECTR0N IC TECHNOLOGY (顾国华 ,冯国进 ,陈钱 ,等. 自适应虚拟电子微扫描红外 焦平面像素倍增技术. 光电子技术 ) , 2004, 24 (4) : 243— 253. 583