基于低层次计算机视觉的超分辨率图像重建

2009，45（29） Computer Engineering and Applications计算机工程与应用 1 引言 所谓超分辨率图像重建就是在不改变现有图像探测系统 的前提下，利用已有的低质量、低分辨率图像来产生高质量、高 分辨率图像。Capel[1]提出了一种基于计算机视觉的超分辨率重 建方法，该方法主要是针对一幅图像进行超分辨率重建的。由 于一幅图像无法提供更多的细节信息，使得利用单帧图像进行 超分辨率重建的效果不够理想。该文中是利用一组低分辨率图 像进行超分辨率重建，因此，要想成功地进行超分辨率图像重 建，必须实现将这组低分辨率图像精确地配准。采用的图像配 准技术是基于改进的 SUSAN角点检测的图像配准算法，使用 该算法，可使图像间的配准误差精确到亚像素级。对低分辨率 图像序列精确配准后，还要选择重建的算法以实现由低分辨率 图像序列到高分辨率图像的转变，为此，提出了一种新的基于 圆区域的自适应插值算法进行图像的超分辨率重建。关于这两 个算法的实现将在下文中详细地介绍。 2 基于角点检测的图像配准 基于角点检测的图像配准的实质就是要实现配准图像间 精确的点到点的对应，点到点的对应通常称为平面投影变换或 平面单应，它是一个具有 8个自由度的几何变换[2]。要求出这个 基于低层次计算机视觉的超分辨率图像重建 郭海霞 1，刘海欧 2，郭海龙 3，解 凯 4 GUO Hai-xia1，LIU Hai-ou2，GUO Hai-long3，XIE Kai4 1.哈尔滨金融高等专科学校，哈尔滨 150030 2.哈尔滨商业大学 德强商务学院，哈尔滨 150028 3.哈尔滨学院，哈尔滨 150086 4.北京印刷学院 信息与机电学院，北京 102600 1.Harbin Finance College，Harbin 150030，China 2.Deqiang Business College，Harbin University of Commerce，Harbin 150028，China 3.Harbin University，Harbin 150086，China 4.College of Information & Mechanical Engineering，Beijing Institute of Graphic Communication，Beijing 102600，China E-mail：ghx3831350@163.com GUO Hai-xia，LIU Hai-ou，GUO Hai-long，et al.Low-level vision based super-resolution image reconstruction.Computer Engineering and Applications，2009，45（29）：164-167. Abstract：In the process of super-resolution image reconstruction，corner detection and interpolation are two key technologies.In this paper，two approaches are proposed respectively.Firstly，an improved corner detection approach based on SUSAN principle for feature detection is proposed.It has variable thresholds for the allowed variation in brightness within the USAN.It makes corner well-distributed.Secondly，a new adaptive interpolation approach based on circular-area is proposed.The approach can adaptively select the interpolation method based on gray feature around the interpolated point.In this method，linear interpolation，nearest- neighbor interpolation and median interpolation are merged.Experiments confirm that these algorithms are superior to others. Key words：corner detection；super-resolution；image reconstruction；SUSAN；adaptive interpolation 摘 要：在基于低层次计算机视觉的超分辨率图像重建过程中，角点检测和插值是两个关键的技术。首先在 SUSAN角点检测算法 的基础上提出了改进算法，改进后的算法根据图块对比度的不同，在确定位于不同图块中的像素的 USAN面积时采用了可变灰度 阈值，可变灰度阈值的采用，使得检测出的角点分布更加均匀，而角点分布均匀则使得图像配准更加精确，有利于后期的重建工 作。其次，提出了一种适合于超分辨率图像重建的插值算法：基于圆区域的自适应插值算法。该算法可以根据待插值点周围的灰度 特征自适应决定插值策略，将线性插值、最邻近插值和中值插值法有机地结合在一起。大量的仿真实验证明了提出算法具有运算 量小、图像重建后的效果出重，易于实现。 关键词：角点检测；超分辨率；图像重建；SUSAN角点检测算法；自适应插值 DOI：10.3778/j.issn.1002-8331.2009.29.049 文章编号：1002－8331（2009）29-0164-04 文献标识码：A 中图分类号：TP391.41 基金项目：黑龙江省教育厅科学基金（No.10551115）；黑龙江省高等教育科学研究基金（No.115c-523）。 作者简介：郭海霞（1976-），女，讲师，主研方向为计算机视觉、图像处理、超分辨率重建等；刘海欧（1953-），女，副教授，高级工程师；郭海龙 （1979-），男，讲师；解凯（1962-），男，博士，教授，硕士研究生导师。 收稿日期：2008-04-07 修回日期：2008-07-14 164 2009，45（29） 图 1 USAN的三种典型形状 （a）核心在 USAN内 （b）核心为边缘点 （c）核心为角点 平面投影变换，通常是先自动检测出每帧图像中的角点（有时 称为特征点），然后分析各角点周围的灰度等特征后，通过一定 策略找到角点的匹配点，最后由这些匹配点对求估计出图像间 的平面投影变换。采用了如下的配准算法来求取两幅图像间的 平面投影变换： 算法 1 计算两幅图像间平面投影变换的算法 （1）角点检测：用角点检测器从每帧待配准图像中检测出 角点，精度要达到亚像素级。 （2）角点的初始匹配：根据角点周围的灰度等特征，运用相 关性算法求出各角点的初始匹配点。 （3）从初始匹配点集中随机选取 N套四点匹配集，并对每 个四点匹配集执行 LMedS（Least-Median-Squares）操作： ①对每个四点匹配集，计算平面投影变换 H。 ②对所有初始匹配点对 ui与 ui′，计算 δi=d（Hui，ui′）（d为 平面两点的欧氏距离）。 ③将所有的 δi（1≤i≤N）进行排序，并取该序列的中值存 入集合 M中，最终 M中将有 N个元素。 ④寻找 M中元素的最小值，并找到能导致该最小中值的 那套四点匹配集，由它产生的变换 H′作为最接近正确的平面投 影变换。 ⑤利用 H′计算出每对匹配点对的欧氏距离，并求出所有距 离的平均 T，将欧氏距离大于 3T的匹配点对视为外点（误匹配 点），将外点从匹配点集中删除，余下的为内点（正确的匹配点）。 （4）优化估计平面投影变换：利用所用的内点，通线非线性 优化的方法（如 Levenberg-Marquardt算法[3]）求精平面投影变换。 （5）引导匹配：利用求精后的平面投影变换进行有投影变 换引导下的角点匹配。 （6）重复执行 4步和 5步，直到内点的数目趋于稳定。 在算法 1中，角点检测是第一步工作，也是至关重要的一 步。采用了基于 SUSAN改进的角点检测算法，将在下文中重点 论述该算法。关于算法 1中的其他步骤请参阅文献[4]。 3 改进的 SUSAN角点检测算法 为更好地理解改进后的角点检测算法，先来简单回顾一下 SUSAN角点检测的原理[3]。 在 SUSAN角点检测算法中，要使被检测像素点位于一个圆 模板的中心，在该算法中，将圆模板的半径设定为 3.4个像素， 则该模板在应用于数字图像处理时表现为由 37个像素组成的 近似圆。在这里将被检测像素称为核心点。核心点的邻域被划 分为两个区域：核值相似区（Univalue Segment Assimilating Nu－ cleus area，UASN）和另外一个灰度不相似于核心点灰度的区 域。对于一个像素点关于这两个区域的划分可以考虑三种情 况：如图 1中的（a），（b），（c）子图所示。由此，可将角点定义为： 图像中具有足够小的 USAN面积的像素点为角点。 为计算每个像素的 USAN面积，需事先设定核心点与其圆 邻域中其他像素灰度值的差值门限 t，具体执行 SUSAN时的判 别函数如下： c（r，r0）= 1 if |I（r）-I（r0）|≤t 0 if |I（r）-I（r0）|> ≤ t （1） 式中，I（r0）为核心点 r0的灰度值，I（r）为核心点的 37圆邻域内 其他像素 r的灰度值。则图像中任一点 r0的 USAN面积可表示 如下： n（r0）= r Σc（r，r0） （2） 式中，n代表 r0的 USAN区域所包含的像素个数。计算完每个 像素点的 USAN面积后，采用一个局部非极大值抑制模板来确 定最终角点。具体可由式（3）表述： R（r0）= g-n（r0） if n（r0）