基于小波变换的图像融合算法研究

基于小波变换的图像融合算法研究 学号: 题 目: 基于小波变换的图像融合算法研究 作 者 届 别 系 别 专 业 指导老师 职 称 完成时间 摘要 图像融合是以图像为主要研究内容的数据融合技术，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。 本文给出了一种基于小波变换的图像融合方法，并针对小波分解的不同频率域，分别讨论了选择高频系数和低频系数的原则。 高频系数反映了图像的细节，其选择规则决定了融合图像对原图像细节的保留程度。本文在选择高频系数时，基于绝对值最大的原则，低频系数反映了图像的轮廓，低频系数的选择决定了融合图像的视觉效果，对融合图像质量的好坏起到非常重要的作用。 小波变换;高频系数;低频系数;图像融合 关键词 I Abstract Image fusion is image as the main research contents of the data fusion technology，The image sensor is to put a number of different patterns of the same scene image, or the same sensor at different time get more of the same scene image synthesis for an image of the process. In this paper, the image fusion method based on wavelet transform, and for the wavelet decomposition of the frequency domain, respectively, discussed the principles of select high-frequency coefficients and low frequency coefficients. The high-frequency coefficients reflect the details of the image, the selection rules to determine the extent of any reservations of the fused image on the original image detail. The choice of high-frequency coefficients, based on the principle of maximum absolute value, and consistency verification results. The low-frequency coefficients reflect the contours of the image, the choice of the low frequency coefficients determine the visual effect of the fused image, play a very important role in the fused image quality is good or bad. Keywords Wavelet transform; High-frequency coefficients; Low frequency coefficients; Image Fusion II 目录 摘要 .................................................................................................................. I Abstract ............................................................................................................II I 目录 ............................................................................................................... II 第一章 绪论.................................................................................................... 1 1.1 课题研究的背景 .................................................................................... 1 1.2 课题研究的意义 .................................................................................. 1 1.3 图像融合面临的问题 ........................................................................... 2 1.4 本文的主要内容 .................................................................................. 3 第二章 小波变换理论基础........................................................................... 4 2.1小波变换 ............................................................................................... 4 2.1.1小波变换的思想 ............................................................................ 4 2.1.2 连续小波变换 ............................................................................... 5 2.1.3 离散小波变换 ............................................................................... 5 2.1.4 二进小波变换 ............................................................................... 6 2.2 多分辨率与离散小波快速算法 .................................................... 6 2.2.1 多分辨率分析 ............................................................................... 6 2.2.2 离散小波变换的快速算法 ............................................................ 7 2.3几种常用的小波 .................................................................................... 8 2.4本章小结 ............................................................................................. 10 第三章 基于小波变换的图像融合方法研究 ............................................ 11 3.1 图像融合概述..................................................................................... 11 3.2 图像融合的方法 ................................................................................. 11 3.3 基于小波变换的图像融合算法原理 .................................................. 12 3.3.1 基于小波分解的融合算法流程 .................................................. 12 3.3.2 高频系数融合规则 ...................................................................... 13 3.3.3 低频系数融合规则 ...................................................................... 15 3.4 本章小结 ............................................................................................ 16 第四章 实验仿真及分析 ............................................................................ 17 4.1 MATLAB软件简介 ........................................................................... 17 4.2 图像的小波分解与重构 ..................................................................... 17 4.3 基于小波变换的图像融合程序流程图 .............................................. 19 4.4 实验结果 ............................................................................................ 20 4.5 结果分析 ............................................................................................ 22 4.6 本章小结 ............................................................................................ 22 第五章 总结与展望 ...................................................................................... 23 参考文献 ....................................................................................................... 24 致 谢 ......................................................................................................... 25 附录 ............................................................................................................... 26 III 第一章 绪论 1.1 课题研究的背景 伴随着21世界的到来，随着成像技术与图像传感器的应用，各种不同的手段使人们能够获得越来越多的图像，这就为全方面学习事物提供了非常有利的条件。 然而随着数据量的快速增加，也就提高了全面观察的难度，因为不同的传感器得到的图像数据在空间细节和光谱信息现能力等方面都有各自的局限性和差异性，因此就想要把图像融合技术带入相关领域，把各种传感器得到的不同图像或各种聚焦的图像融合在一起，尽最大能力实现原事物，使我们全面地了解事物提供了很大的方便。 图像融合正是为了满足这种需求而发展起来的一种新方法。 图像融合是同一传感器在不同时刻获取的同一场景的不同图像合成为一幅图像的过程或通过根据不同模式的图像传感器得到的同一场景的不同图像，它的主要研究内容是以图像的数据融合技术。之所以不同类型的图像传感器所获得的同一场景的不同图像之间含有信息的互补性和冗余性，是因为不同模式下的图像传感器的机理成像不同，电磁波的工作波长不同，通过图像融合技术可以使合成图像更精确、更全面地描述要研究的对象。由于存在这些特点，图像融合技术目前全面地应用于海洋图像数据处理、计算机视觉、卫星等相关领域中。为信息的高效提取提供了良好的处理手段，并取得了明显的效益。 作为一种新的时频分析工具的小波分析，目前已成为国际上极为活跃的研究领域。与Fourier变换、窗口Fourier变换相比，一方面它是处于的频率域表示和时间域(或空间域)表示之中的一种表示方法。另一方面它在频率域和时间域上具有很好的局域化特性，同时它通过对高频成分采取逐步精细的时间域(空间域)取样步长，这样可以聚焦到对象的任何细节， 因而小波分析广泛应用于基础科学，应用科学，尤其是信息科学，信号分析的方方面面。 1.2 课题研究的意义 人们通过对融合技术的深入研究，目前图像融合技术快速的在许多方面获得了使用，这些使用有: 武器装备: 抢占信息优势是军事对抗的重要目的，使得光电图像在信息战中拥有非常重要的作用。然而，不同的光电图像传感器的成像机理存在不同，在 1 不同的波长范围中工作，工作的实际环境和要求存在很大不同，实现的功能也不同。所以要通过单一的图像传感器实现对各种不同的军用目标环境、背景、战术任务肯定是很不现实的。能够解决这一重要问题的途径是图像融合技术。 遥感图像的处理: 之所以每一幅图像中所拥有的频谱存在很大差别，很强的互补性，是因为遥感图像一般是通过不同的传感器来获得的。对这些含有不同频谱的图像实行融合，能够得到一幅拥有宽阔频谱的新图像，使得不同的成像方式的长处可以得到补充，使得不同图像之间的扬长避短得到实现。 计算机视觉: 现代机器人的视觉系统和计算机拥有的识别系统中，图像融合技术能够把不同传感器中获得的图像进行全面分析，从而能够很好地减少存储图像所要的资源，并尽最大能力全面的利用了不同图像包含的信息。在现代机器人研究中，通过图像融合技术来得到立体视觉，完成机器人的感知功能。 因此，作为一种新的图像处理技术的图像融合技术存在非常重要的价值。伴随数据融合、图像处理及小波变换技术的深入发展和出现的新的融合技术，图像融合一定可以在民用及军用上得到全面的应用。 1.3 图像融合面临的问题 总体看来，无论在国内还是在国外，图像融合技术都得到了全面的研究和关注，然而存在某些问题还是不可以忽视，这是未来需重点研究的。 目前研究图像融合的领域内还没有形成全面的和普片应用的方法和理论，很多研究都是关注于某些方向的实际应用，应用性不够全面。 图像的配准。图像融合技术的基础和关键是图像配准技术，然而目前还没有一个通用的可以实行配准图像的方法。关于像素级图像的融合，各配准的像素情况会影响融合后图像的质量，然而配准的像素级一般要达到一个像素的配准要求，这将需要进行很多的实验、研究才能够达到。 融合图像的质量评判问题。虽然图像的融合已经应用于许多领域并且获得很好的效果，但是对于特定的应用领域来说，到底哪种方式的融合后的效果好，对此缺少有用的量化评判的，一般是根据自我视觉感受来主观评价和判断。故主观因素对所得的结论有一定影响。 在我国，融合技术的现代化还处在开始阶段，还没有建立量化评价理论系统，所以图像融合的研究方向存在着巨大的前景。 2 1.4 本文的主要内容 本文提供了一种通过基于小波变换的图像融合方法，并通过不同频率域对原 进行分解，分析了低频系数和高频系数的选取方式。低频系数显示了图像的小波 融合图像的视觉效果由低频系数，图像的轮廓所决定的，对融合的图像质量的好坏存在特别的作用。高频系数显示了图像细节方面，其选取规模决定了融合图像原始图像的包含程度。本文通过基于最大绝对值的原则，选择高频系数，同时对 对选取结果进行了一致性验证。 本文的具体内容如下 (1) 绪论:综合分析了图像融合技术的研究背景和实际意义，并着重分析了图像融合技术目前面临的实际问题。 2)重点讨论了小波变换理论，并对几种常用的小波变换和相关算法进行了( 介绍。 (3)阐述了图像融合的基本概念和融合方法，并分析了图像融合技术的融合层次、规则、方法、步骤。 (4)对MATLAB软件进行了相关介绍，并阐述了图像的小波分解与重构，通过MATLAB编程实现图像融合算法，并对融合结果进行了分析。 3 第二章 小波变换理论基础 2.1小波变换 小波，即小区域的波，是一种特殊的长度有限、平均值为0的波形。 小波分析(Wavelet Analysis)是在现代调和分析的基础上发展起来的一门新兴学科，是在傅里叶分析的基础上发展起来的，它优于傅里叶分析的地方是它在空域和时域都是局部化的，同时具有良好的空间—频率局部化特性，可将信号分解成许多具有不同的分辨率、频率特性和方向特性的子带信号，被誉为“数学显微镜”之美称。其基础理论知识涉及到函数分析、傅立叶分析、信号与系统、数字信号处理等诸方面，同时具有理论深刻和应用十分广泛双重意义。我们只对小波分析整体思想进行介绍。 2.1.1小波变换的思想 小波变换一方面完善了傅立叶窗口的变换大小不能随频率变化的不足，另一方面它继承同时发展了Gabor的加窗傅立叶变换的局部化的思想，可变窗口的平移和伸缩是其思想的基本来源。小波变换通过一个拥有快速振荡性和衰减性的函数(成为母子波)，然后通过将它平移和伸缩可以获得一个函数族(称之为小波基函数)，可以在一定的因素下，按它函数族可对任一有限能量的信号来实行时,频分解，可变的时间-频率窗使基函数能够在时-频相平面上拥有，来应用于分辨率不同的需求。 , 2,0 1,,a,,,2,, ,0 ，，a,1 ,20 ，，a,2 b1 b2b 图2.1 关于小波变换的时频平面的划分 之所以在加窗傅立叶变换的时-频分辨率是不可改变的，是因为在加窗傅立叶变换中，只要选定窗函数，于是在时频相平面中窗口的大小是不可改变的，同时不会随时频位置(t，f)来变化，关于小波变换的时频相平面如图2.1所示。因为需要满足信号实行时-频分析的客观要求，故窗函数在时频相平面中伴随中心频率的变化来改变，在低频时频窗变窄，在高频处时窗变窄。由于带通滤波器的 4 特性和多分辨率分析的特点是小波变换所拥有，故它可用于快速算法来实现，小波分析能够应用于分析不平稳信号和突变信号。故常使用于基频提取、滤波、降噪等。但是母小波的不唯一性可能给实际应用带来了一定的困难，同时对于一般的平稳信号来说，小波分析的研究结果没有傅立叶变换直观。 时频分析中的一种分析是小波分析。之所以不能明确表现信号的时频局域性质，是因为传统的信号分析一般是在傅立叶变换的基础之上的，由于傅立叶变换分析所应用的是一种全面的变换，同时它不提供任何与信号有关的时域信息，只含有信号的频域信息，并且这性质往往是非平稳信号最关键和最根本的特征。 2.1.2 连续小波变换 将任意空间中的函数在小波基下进行展开，称这种展开为函数，，LRf(t)2 的连续小波变换(Continue Wavelet Transform,简记为CWT)，其表达式为 f(t) 1t,,,, (2-1) ，，WT(a,)f(t),tf(t)dt,,,,,,,fa,,,Raa,, 通过CWT的定义可以得知，小波变换与傅立叶变换是相同的，是一种类型的 ，，积分变换，它与傅立叶变换类似，称为小波变换的系数。之所以小波变WTa,,f 换和傅立叶变换存在不同的地方，是因为小波基不同于傅立叶基。其中尤为注意的是，小波基拥有平移、尺度a这两个参数。于是，由一个时间函数投影在二, 维的时间-尺度相平面上是函数通过在小波基下来展开的。同时，因为小波基本身所含有的某些特点，于是要想提取函数的某些本质特征，需将函数投影到小波变换域中。 2.1.3 离散小波变换 根据连续小波的表述可以知道，在不间断变化的时间及尺度值下，根据,a表现在不同点上的CWT系数很好的满足重建核方程，所以可以知道小波基函数 ，，,(t)WTa,,具有一定的相关性，同时可以知道信号的连续小波变换系数，，fta,,f的信息量是存在冗余的。即使在一些环境下，它的冗余性是存在有益的(比如在实行特征提取和数据恢复时，去噪时，一般使用CWT，同时以牺牲存储量、计算量为前提来得到更好的结果)，然而在很多环境下，我们往往希望在不损失原信号信息的前提下，尽可能来减少小波变换系数的冗余度。 ，，ft 通过将小波基函数的、限定在某些离散点上来取值可以大大减小小波变,a 换系数冗余度。一般常见的离散方法就是通过将尺度根据按幂级数来进行离散 ma,a化，就是取值为(m为整数，，一般取)。 a,1a,20m00 0a,2,1，，，，,t,,t,,在位移的离散化中，当时，。一般情况下对来实,a,, 行均匀离散化取值，实现覆盖全部时间轴。一般情况下为使信息不丢失，一般要 5 求所使用的采样间隔能够满足Nyquist采样定理所规定的条件，即一般情况下, 采样频率必须要大于等于该尺度下频率一般情况下的2倍。同时每当值增加了m1，尺度的值就会增加一倍，其所对应的频带会减小一半，故可知采样率就能a 够降低一半，即采样间隔能够增大一倍。于是，一般当尺度时的间隔在m,0, mm2为，同时在尺度为时，间隔可取值为。此时，，可以为 t,2TTsa,,sm,,m2m,n,Z (2-2) ，，t,2，，2t,n,,,mn 同时任何函数的离散小波变换为 ，，ft (2-3) ，，，，，，WTm,n,ft,tdtfm,n,R 2.1.4 二进小波变换 一般像位移及尺度都已经离散变化了的小波序列，如果取离散栅格的 ，,,,0，则类似连续小波只有在尺度上实行了二进制离散变化，而它的a,20 位移依旧取连续变化情况，故称这种类型的小波为二进小波，可以表示为 k,,t,,,22 (2-4) ,,,,,kk,2,2,, 二进小波介用于离散小波和连续小波之中，并且只是对于尺度参量进行了离散化，但是时间域上的平移量依旧保持连续变化的情况，于是二进小波同时拥有连续小波变换的时移共变性特点，这也就是它较之离散小波变换所拥有的独特优点。 2.2 多分辨率分析与离散小波快速算法 2.2.1 多分辨率分析 多分辨率分析(Multi-Resolution Analysis——MRA)，同时又称之为多尺度分析，它是应用于函数空间上的理论。并且它思想的实行起源于工程，它的创始人S.mallat是通过研究图像处理问题时来建立这套理论的。那个时代研究图像的一种很普遍的方法是将图像在不同尺度下分解，并将结果进行比较，以取得有用的信息。Meyer正交小波基的提出，使得Mallat想到是否用正交小波基的多 尺度特性将图像展开，以得到图像不同尺度间的“信息增量”。这种想法导致了多分辨率分析理论的建立。MRA不仅为正交小波基的构造提供了一种简单的方法，而且它提供了理论依据应用于正交小波变换的快速算法中。之所以多分辨率分析方法在正交小波变换理论中拥有极其重要的作用。是因为其思想与多采样滤 6 波器组一样，又可以将数字滤波器与小波变换的理论相结合。 若把尺度理解为照相机的镜头的话，当尺度由大到小变化时，就相当于将照相机由远及近的接近目标，在大尺度空间里，对应远镜头下观察到的目标，可观测到目标的细微部分。于是伴随着尺度由大到小的快速变动，同时在不同的尺度上能够通过由粗到精的过程来观察所需目标。故这就是多尺度(即多分辨率)的思想。 VVVV ,,,0123 WWVW1233 图2.2 关于尺度空间和小波空间之间的包含关系 ,,多分辨率的分析方法是指可以满足下列性质的一些闭子空间: V,j,Zj (1)平移的不变性: ，对所有 n,Z，，，，ft,V,ft,n,V00 2(2)渐近的完全性: ;，， ,,:V,LR:V,0jj,j,ZjZ (3)正交基的存在性: 存在，使得,,，，是的正交基，即 ,,V,t,nV00n,z ,,，， V,span,t,n， ，，，，,t,n,t,mdt,,0m,n,Rnj，，f(t),V,f2t,V(4)伸缩的规则性: j,Z0j (5)一致单调性: ,,,,V,V,V,V,V,,,,210,1,2 2.2.2 离散小波变换的快速算法 一般情况下任意函数，能够将它分解成大尺度逼近的部分和细节f(t),VV01的部分，然后在将大尺度逼近的部分进一步分解。如此重复就可以得到任WV11 意尺度(或分辨率)上的逼近部分和细节部分。这就是多分辨率分析的框架。 jj，，ftV设为函数向尺度空间投影后所得到的尺度下的概貌信号 f(t)js ij,，，，，ft,c,，，2t,c,t， k,Z (2-5) ,,sjkkjkjk,,,kk ，，，，c,ft,,t其中，称为尺度展开系数。 j,kj,k W若将函数向不同尺度的小波空间投影，则可得到不同尺度下的细节f(t)j j，，ft信号: d 7 jj,，，，，，，ft,d,2t,d,t,k,Z (2-6) ,,dj,kkj,kj,kkk ，，d,f(t),t,其中，称为小波展开系数。 j,kj,k 2若将按以下时空组成方式展开: ，，，，ft,LR J2，，LR,W,V (2-7) ,jjj,,, 同时J为随意使用的尺度，则 J,, ，，，，，，ft,d,t，c,t (2-8) ,,,j,kj,kj,kj,kjkk,,,,,,,,, 当时，上式变为 J,, ,, ，，，，ft,d,t (2-9) ,,j,kj,k,,,,,,jk A,B,1即对应于时离散的小波变换所得到的综合公式(或者为逆小波变 A,B,1换)。时的小波框架被称为正交小波基。 由此可知，因为多分辨率分析方法给正交小波变换提出了许多数学上的理论基础，所以可以知道离散正交小波分析与多分辨率分析的方法在思想是一致的。 2.3几种常用的小波 同傅立叶分析不同，小波分析的基(小波函数)不是唯一存在的，之所以小波函数的选择是非常特殊的问题，是因为所有能够满足小波所需条件的函数都可以作为小波函数。 1) Haar 小波 是A.Haar在1990年时设计出来的一种特殊正交函数系，定义如下: 10,x,1/2, , (2-10) ,(x),,11/2,x,1,H ,0其它, 并且这是最清楚的正交小波，即 ,n,,1,,2, … (2-11) ,(t),(x,n)dx,0,,, 2)Meyer函数 ,Meyer尺度函数,和小波函数是在频率域中来进行定义的，它是体现拥有紧支撑的正交小波。 8 ,,,324,,,1/2j/2,,,,e(2)sin((,1)),,,,2233,,,,348,,1/2j,/2ˆ,,,e,,,(),(2)cos((,1)) (2-12) ,,,2233,, 0,,28,,[,],,33, 为创建Meyer小波的辅助函数，且有 其中，,(a) ,2,,,1/2,,(2)3,,,,324,,1/2ˆ,(),(2)cos((,1)),,,,, (2-13) ,,,2233,, 0,4,,,,3 3)Daubechies(dbN)小波系 ,,这种小波是由Daubechies从两个尺度方程系数h出发并且设计出来的离k 散正交的小波。通常情况下写为dbN，小波的阶数是N。尺度函数和小波,吁中 ,的支撑区为2N-1。N是的消失矩。除去N,1外，dbN不含有对称性〔也即非 ,,线性的相位〕;同时dbN不具备显式表达式(除N,1外)。但是h的传递函数模k N,1N,1，kkN,1，kP(y),Cy的平方拥有显式表达式。假设，其中，C为二项式系数，,kkk,0 则有 ,,22N2 (2-14) m(),(cos)P(sin),022 2N,11,,ik()m,,he其中 ,0k2k,0 4)Morlet(morl)小波 2,x/2,(x),Cecos5xMorlet函数的定义是，同时它不拥有正交性，并且它的尺度函数不存在。 5)Coiflet(coifN)小波系 coiflet也是由Daubechies创造的小波函数，同时拥有coifN(N=1，2，3，4，5)这一序列，dbN的对称性没有coiflet好。同时在所支撑的角度来看，coifN含有与sym3N和db3N一样的支撑长度;但是在从消失矩的数量方面来看，coifN含有与sym2N和db2N一样消失矩的数量。 9 6)Mexican Hat(mexh)小波 Mexican Hat函数为 22,1/42,x/2,(x),(1,x)e, (2-15) 3 它是Gauss函数的二阶导数，之所以有时称它为墨西哥帽函数，在于它像墨西哥帽的截面。墨西哥帽函数在频率域和时间域都存在可以的局部化，同时满足 , (2-16) ,(x)dx,0,,, 之所以它不拥有正交性，是因为它的尺度函数没有存在。 7)SymletsA(symN)小波系 系，同时它是对db函Daubechies提出的近似对称的小波函数Symlets小波 数的相关改进。Symlets小波系一般表达为symN(N=2，3，„，8)的形式。 8)Biorthogonal(biorNr.Nd)小波系 Biorthogonal小波系的重要特性表现在拥有线性的相位性，一般情况下使用在图像和信号的重构之间。一般的方法是通过一个函数实行分解，同时另一个函数来实行重构。Biorthogonal小波系一般表现为biorNr.Nd形式: Nr=1 Nd=1，3，5 Nr=2 Nd=2，4，6，8 Nr=3 Nd=1，3，5，7，9 Nr=4 Nd=4 Nr=5 Nd=5 Nr=6 Nd=8 其中，r代表重构，d代表分解。 2.4本章小结 本章主要介绍了基于小波变换图像融合的分析理论基础，详细的阐述了小波变换的思想，并介绍了几种常用的小波变换，它们分别是:连续小波变换及离散小波变换二进小波变换。 10 第三章 基于小波变换的图像融合方法研究 3.1 图像融合概述 图像融合是通过将两幅或多幅图像融合在一起，以获取对同一场景的更为精确、更为全面、更为可靠的图像描述。融合算法应该充分利用各原图像的互补信息，使融合后的图像更适合人的视觉感受，适合进一步分析的需要;并且应该统一编码，压缩数据量，以便于传输。 随着21世界的到来，使得基于小波变换的图像融合技术方法成为在众多的图像融合技术中的一个研究热点。图像融合的目的是得到一个新的、能够满足某种需要的新图像，它是通过将不同传感器得到的不同图像根据某种算法来进行综合处理，同时它可以把同一对象的两个或多个的图像融合在一幅图像中，使得它比原来随便一幅图像更快速为人们所满足。快速有效的图像融合方法能够根据某些需要来处理多源通道的信息，如此可以提高系统对具体目标识别的可靠性和图像信息的利用率。同时它的目的是通过将单一传感器的多波段的不同信息或不同传感器所获取的信息加以全面分析，来提高影像中信息的精度、使用率以及可靠性，用以完成对所需目标清晰、正确的信息描述。 3.2 图像融合的方法 图像数据融合是把来自多传感器的对同一目标检测的多幅图像数据用某种方法进行处理，生成一幅能够更有效地表示该目标的检测信息。对源图像按相应象素一个个来获得均值的方式，使得在一幅源图像中出现的特征的对比度随之减弱，特殊情况下出现不该的现象。这些年来提出的基于塔式算法的图像融合方法，是为解决这一问题出现的。它提出了相应于多尺度的方便、快速的多分辨率格式信息，采取一定的算法实行融合，同时进行图像的重建，实现图像融合。虽然金字塔图像融合算法消除了上述一些缺点，但是它还是有许多不足之处。如，金字塔的规模是源图像的4/3，这将增大数据量;并且在金字塔重建的时候，可能有时出现不稳定性，尤其是当多幅源图像中具有明显的差异区时，融合图像甚至会出现斑块，这就有待于我们去发现更好的方法去解决问题。图像融合将不同传感器得到的多个图像根据某个算法进行综合处理，以得到一个新的、满足某种需求的新图像。这里所说的金字塔图像融合方法也就是对图象进行从高到低的小波分解，分别提取出图象中的高频分量和低频分量，由于其形状很类似于金字塔，所以在这里我就叫这种算法为金字塔算法，这种方法对于图象的融合很有效。 11 目前涉及到图像理解、计算机视觉等多个方面的图像融合技术很大程度上不同于一般意义的图像增强。通常由融合处理所在的不同阶段，图像融合的方式有决策级融合、特征级融合和像素级融合3个层次。在像素级融合当中，多分辨率图像融合方法是其中一种极为重要的算法，多分辨率分析中的一种普用的算法是小波变换法。通过基于小波变换的融合算法大大减少了层间的某些相关性，使得得到了更好的融合效果。之所以不同图像传感器所得到的同一场景的多幅图像之间具有信息的互补性和冗余性，是因为不同模式下的的图像传感器的成像机理存在不同，同时它们的工作电磁波的波长也不同，但是图像融合技术现已广泛地应用于遥感、军事、医学图像处理、计算机视觉等领域中，其中的原因是因为经图 研究的对象。 像融合技术得到的合成图像可以更完整、更精确地描述所要 3.3 基于小波变换的图像融合算法原理 相比较之下小波变换在图像融合的巨大优势在于:它能够把图像分解到不同的频率域中，同时在不同的频率域中使用不同的融合规则，使得融合图像的多分辨率分解，于是源图像在不同频率域的显著特性在合成图像中得到保留。 将合成方法使用到原始图像的小波分解的高频分量和低频分量中是应用小波实行图像融合的原理。小波变换在图像融合领域内有着极其特殊的作用，目前基于小波变换的图像融合技术是这些年来国内外一个快速发展的研究领域，小波分析应用的一个非常重要的方面是二维小波分析应用于图像融合，由于基于小波变换的图像融合取得的良好结果，促使图像融合技术成为小波变换最成功的应用领域之一。一般情况下在一幅图像的小波变换中，边缘较为显著的特征由绝对值较大的小波系数所对应，于是大部分基于小波变换的图像融合算法主要目的是研究如何选取融合图像中的小波系数，所指是三个方向上的高频系数，通过这样达到保留图像边缘的目的。虽然图像的轮廓由尺度系数(低频系数)决定，提高合成图像的视觉效果在于正确地选取尺度系数，但是对于保留图像的边缘等特征小波系数(高频系数)的选取具有极其重要的作用。 3.3.1 基于小波分解的融合算法流程 该算法是指对图像进行小波分解，以得到图像的高频信息，作为后期目标判决的依据，通过将图像分解到不同的频率域，在不同的频率域使用不同的选择规则，这就是小波变换应用于图像融合的优势，通过对合成图像的多分辨分解，于是在合成图像中会保留原图像在不同频率域的明显特征。它分析步骤如下: (1) 首先对多源图像实行几何精确配准方式。 (2) 然后选择适当的分解层数和小波基，来对原图像实行多层小波分解，得 12 到各自的细节系数和近似系数。 (3) 按照实际需要，选取小波系数的相关融合规则。使得小波系数可以进行中值滤波或者均值滤波等。 (4) 最后对小波系数进行反变换后，可以得到融合后的图像。 按照这一思想能够对多源图像进行融合。在融合算法中，当要对原图像进行小波分解时，就会出现选取合适的分解层数和小波基的问题。一方面小波变换的分解层次并不是越多越好，并且不同的小波基的选择对分解结果有很大的影响。 本课题主要研究基于小波变换的图像融合技术，图像经过小波变换分解后被分解成低频图像和高频图像，同时得到低频系数和高频系数，低频图像中包含低频分量，高频图像中包含高频分量，其中低频分量为图像的轮廓部分，高频分量为图像的细节部分。然后在不同的频率通道内，根据小波系数的不同采用不同的融合准则对小波系数进行处理，处理后的新的小波系数完好地保存了更多的频带特征。最后再对新的小波系数进行小波逆变换得到融合后的图像。 图像A 图像B 小波变换 小波变换 低频分量 高频分量 低频分量 高频分量 融合算法1 融合算法2 小波逆变换 融合图像 图3.1 融合算法原理框图 3.3.2 高频系数融合规则 融合规则非常重要，在图像融合过程中，融合规则的选择将会影响融合的效果。方差是统计量中极其重要的特征量，同时某邻域的方差是用来描述该邻域内的小波系数的分散程度和变化程度，并且在该邻域的方差如果越大，其小波系数 13 的变化越分散。经典的融合规则是比较单个像素的特点，像素的取舍由单个像素的特征大小所决定。于是，不同像素选取应该是以输入像素为中心的某一邻域内图像的特征通过考察来决定，于是区域特征明显的中心像素将被选中更能反映图像的特征和趋势，用区域内的量比较代替单个像素的量的。一般情况下在一幅图像的小波分解中，相应于图像中对比度变化较大的边缘等特征是绝对值较大的小波系数，并且人眼对于这些特征会比较敏感。因此，我们之所以重视突出图像中的高频成分，是因为在高频率域中我们希望尽最大能力保留输入图像丰富的细节信息。因而，现在提出的区域均值方差最大化和基于系数绝对值取大的新融合准则和算法与以往小波图像融合方法的算法和融合规则不同。这里以两幅图像A、B的融合为例，经过融合的图像为F。对二维图像进行N层小波分解，最后有(3N + 1)个不同的频带，其中包含一个低频带和3N个高频带。具体的融合算法和融合规则为: (1) 首先对源图像A、B分别进行N层小波分解; (2) 然后取融合图像F的低频部分，并取源图像A、B分解的加权平均，即 (3-1) C,(C，C)/2N,FN,AN,B 在此，融合图像F在小波分解尺度N上的低频分量由C表示，参与融合的N ,F 源图像A和B在小波分解尺度N上的低频分量由C 、C表示。 N ,AN ,B (3) 其次根据最高分解层，用以比较A、B图像的3个方向高频分量的小波系数，融合图像F的小波系数由绝对值大的小波系数决定，即 iiiiD , = D , if| D ,| ?| D ,| (3-2) NFNANANB iiD , = D , else NFNB i在此D ,表示融合图像F在小波分解尺度N上i方向上的小波系数，参加NF ii 、D ,融合的源图像A和B在小波分解尺度N上i方向上的小波系数由D ,NANB表示。 (4) 再后在中间分解层上，作为融合图像F对应的小波系数是由理想像素为中心的局部区域(这里取3 ×3)的均值方差最大的图像A或B的小波系数决定，即 iiD, = D, if MSEA?MSEB (3-3) jFjAiiD,= D, else jF jB 在此源图像A和B在分解尺度方向上对应局部区域上的方差由MSEA 、MSEB分别表示，分解尺度j取1到N - 1 。方差MSE定义为: MN12MSEXX,,() (3-4) ,,,ijMN*,,11ij 在此，当前局部区域像素灰度值的平均值由x表示;x为当前局部区域内i ,j 14 的一个像素的灰度值;局部区域的行数和列数(这里为3) 由M、N分别表示; (5) 最后先确定融合图像F的各小波系数，随后进行逆小波变换，则将得到融合图像F。 3.3.3 低频系数融合规则 一方面保留图像的边缘等特征由所选择的小波系数(高频系数)来决定，同时图像的轮廓由尺度系数(低频系数)决定，因此为提高合成图像的视觉效果需要选择正确地尺度系数。于是一方面在考虑小波系数选择规则的前提下，另一方面还需要重点研究尺度系数的选择方案。 本文提出了三种方法，用于对低频段尺度系数的选择。 第一种方案重点考虑了两幅图像的相关性，同时采用选择和平均的方法根据相关性的不同。当两幅图像的相关性较弱时，就选择局部能量较大的点，当两幅图像的相关性较强时，就采用平均的方法。于是这种选择在很大程度上符合人眼对较显著的点比较敏感这一事实。并且可以估计，直接用平均法得到的融合图像效果没有采用这种方案获得的融合图像好。然而，第一种方案没有考虑到图像的边缘这些显著特征，这可能会影响融合图像的效果。于是我们就提出了第二种方案。 基于边缘的选择方案是第二种方案。定义一个变量E来表示图像X的尺度系数 222 (3-5) E(X,P),(F*C)(X,P)，(F*C)(X,P)，(F*C)(X,P)NNN123 ,,,,,,,,,,,,,,,,F,,1,,1,,1,2,2,2,,1,,1,,1,F,,1,2,,1,,1,2,,1,,1,2,,1,12其中* 表示卷积， 同 ,,,,,,,,F,,1,0,,1,0,4,0,,1,0,,1.3 样，可定义变量E ( Y, p) 来表示图像Y。图像在水平、垂直和对角线方向的边缘信息由变量E反映。同时可对两幅图像的尺度系数计算出变量E，并选择E较大的尺度系数作为合成图像的尺度系数，这是为了较好地保留原图像中的细节，并且这样就能在融合图像中最大程度的保留原图像的边缘信息。融合函数表达如下: (3-6) C(Z,P),W(X,P),C(X,P)，W(Y,P),C(X,P)NNN 其中， 1,E(X,P),E(Y,P),W(X,P),,,0,其他, 1,E(X,P),E(Y,P),W(Y,P),,,0,其他, 在多幅原图像中选取可能是边缘的点加以保留是第二种方案的重点，并且可 15 以预计这种方法得到的融合图像细节较为丰富，同时比较清晰。 第三种是根据采用平均的方法，可以用数学公式表示: (3-7) C(Z,P),0.5，C(X,P)，0.5，C(Y,P)NNN 如果低频系数采取平均法，同时不考虑图像的边缘等特征，图像的对比度在一定程度上可能会降低。于是第三种方案就是为解决此问题而提出来的。首先显著性用一个小区域内的能量来表示，并且图像X在p点处尺度系数的显著性用Q A ( X, p) 表示，则: 2A(X,P),,(q)C(X,q) (3-8) ,Nq,Q 在此ωq表示权值，其离p点越近，则权值越大。一样可定义( Y, p) 。( )A同时定义匹配矩阵R: 2(q)C(X,q)C(Y,q),,NNq,QR((P)), (3-9) A(X,p)，B(X,P) 在观察匹配矩阵各点的值在0和1之间变化时，当值接近1时可知相关程度高，当值接近零可知相关程度低。合成图像的尺度系数由显著性高的尺度系数来决定，当匹配矩阵在某一点的值较小时(小于某一阈值);两幅图像尺度系数由a 加权平均值决定，当匹配矩阵的值较大时。此时融合函数可表示为: (3-10) C(Z,P),W(X,P),C(X,P)，W(Y,P),C(X,P)NNN 3.4 本章小结 本章介绍了图像融合的概念及原理，以及几种基于小波变换的图像融合算法，并详细的介绍了基于小波变换的图像融合算法的流程，分别阐述了图像经小波分解后的高，低频系数融合规则。 16 第四章 实验仿真及分析 4.1 MATLAB软件简介 MATLAB是由美国MathWorks公司设计的商业性软件，它可以在分析数据、工程设计、开发新算法、以及其它高级程序语言和交互式环境中使用，其主要由Simulink和MATLAB两部分组成。同时它也是一种专业的用于科学计算方面的软 矩阵的方式。 MATLAB 将高性能的数值计算和可视化集成在件，处理数据通常用 一起，并提供了大量的内置函数，因而其被广泛地使用在设计与仿真工作、系统的调度、处理电信号、计算科学等相关领域的分析，并且如果要对 MATLAB 的功能进行相关扩充，可以通过利用 MATLAB 产品开放式的结构，于是一方面可以不断深化对问题的认识，另一方面可以提高产品自身的竞争能力通过不断完善 MATLAB 产品。 可以由用户直接使用的MATLAB 专业工具箱函数是由 M 语言开发的。同时这些工具箱所使用的算法是开放并且是可扩充的，用户一方面可以查看其中的算法，另一方面还可以针对一些算法进行相应修改，特别是用户可以开发自己的算法用来扩充工具箱的功能。到现今为止 MATLAB 产品的工具箱大约有四十个，它们涵盖了设计控制系统、数学分析、工程设计等相关领域。 同时Matlab具有强大的计算功能和丰富的工具箱函数，例如图像处理和小波工具箱包含了大多数经典算法，并且它提供了一个非常方便快捷的算法研究平台。本文通过Mtalab很好的完成了仿真。 4.2 图像的小波分解与重构 首先，通过运用二维小波变换对图像进行展开，图像经过小波变换后被分解成四个大小一样的子图像，在这四个子图像中包含了三个高频带和一个低频带，而在其中的三个高频带中包含了图像在水平，垂直及对角线方向上的细节信息。如果继续对低频分量进行下一层的小波分解，同样也得到了三高一低的四个频带。依此类推，如果对图像进行N层分解的话，就会得到(3N+1)个频带，其中包括3n个高频带和一个低频带。下式为小波变换的快速分解算法 a(m,n),hha(l,k) (4-1) ,,，,,j1l2mk2nj,,KZZK 1D(m,n),hga(l,k) (4-2) ,,j，1l,2mk,2njKZ,,ZK 17 1D(m,n),gha(l,k) (4-3) ,,j，l,mk,nj122KZ,,ZK 3D(m,n),gga(l,k) (4-4) ,,j，l,mk,nj122KZ,,ZK 123式中，D，D，D分别表示原始图像的低频分量，水平高频分量，aj，1j，1j，1j，1 垂直分量和对角高频分量。 下图为图像小波分解的塔形结构图: LLHL3 3 HL2 LHHH3 3 HL 1 LHHH2 2 LHHH 11 图4.1 图像小波分解的塔形结构图 图4.2 小波分解实例图 图像的小波重构就是利用信号的小波分解系数还原出原始信号的过程。小波重构利用了二维图像的行列可分离性，先对行列进行升2采样，然后再让它们与一维的滤波器进行卷积，依次递推便可得到重构原图像。下图为小波重构流程 2,1图，其中,为低通滤波器，,为高通滤波器，为在相邻两列间插入一列零，1,2为在相邻两行间插入一行零。 3G D(m,n)j，12,12 G 1,2 2H D(m,n)j，12,1 2 1G D(m,n)j，12,12 H 1,2 0H A(m,n)j，12,1 2 图4.3 小波重构流程图 图4.4 小波重构实例图 18 通过图像重构原理和实例图我们可以说明，通过小波重构可以将分解的信息重构为一幅图像。 4.3 基于小波变换的图像融合程序流程图 在图像融合中，小波变换较其它变换的优势在于:他可以把图像分解到不同的频率域中，同时通过在不同的频率域运用不同的融合规则，可以得到合成图像的多分辨率分解，因此可以在合成图像中保留源图像在不同频率域的显著特性。 这里以两幅图像的融合为例，流程图如图4.5所示: 开始 读取原图像A读取原图像B 对原图像A进行灰度化对原图像B进行灰度化 对原图像A进行二维离散小波分解对原图像B进行二维离散小波分解 读取输入矩阵的大小 对图像进行重构 融合图像 图4.5 图像融合流程图 19 4.4 实验结果 实验一: 在仿真中先对同一图像进行不同位置模糊化处理，然后对处理后的图片进行灰度化处理。从图片中我们可以看到，“原图像A”中左半部分字不清晰，而“原图像B”中右半部分字不清晰，我们现在要将两张图片融合得到一张清晰的图片。 图4.6 原图像 图4.7 模糊图像A 图4.8 模糊图像B 图4.9 融合图像 实验二: 用小波函数coif3对人物和风景进行融合，得到一幅新图像。 20 图4.10 原图像1 图4.11 原图像2 图4.12 融合图像 21 4.5 结果分析 (1) 从实验一仿真结果图片中可以看出，文中给出的方法可以很好地保留多幅原图像中的有用信息，得到多个目标聚焦都很清晰的融合图像。参加融合的图像必须经过配准，两幅图像是否配准，直接影响融合的结果。我们将图像进行小波分解，并对分解系数进行处理以突出轮廓部分，弱化细节部分，从实验的结果中，我们可以明确的看到，融合后的图象具有了两幅图象的特征;将两幅描述同一对象的模糊图象，可见到它们分别在不同的地方有些模糊。通过取细节和近似信号的最大值融合方法进行融合，可以从结果中看到融合后的图象清楚的表现了对象特征。 (2) 实验二用到小波函数coif3对人物和风景进行融合，进行了3层小波分解，根据实验二的实验结果可以看出，融合后的图像提取了两幅原图像各自显著的特征，得到了包含信息更多、质量更高的图像。 4.6 本章小结 本章主要是对实验结果的仿真及其分析，实验一和实验二分别采用了不同的融合方式，并对本次课题的可行性进行了验证。 22 第五章 总结与展望 本文给出的方法可以很好地保留多幅原图像中的有用信息，得到很清晰的融合图像。我们将图像进行小波分解，并对分解系数进行处理以突出轮廓部分，弱化细节部分，从实验的结果中，我们可以明确的看到，融合后的图象具有了两幅图象的特征;将两幅描述同一对象的模糊图象，可见到它们分别在不同的地方有些模糊。通过取细节和近似信号的最大值融合方法进行融合，可以从结果中看到融合后的图象清楚的表现了对象特征。 目前基于小波变换的图像融合技术已经成为社会的研究热点，通常这类算法是根据人眼对局部对比度的变化相比之下较敏感这一依据，同时依照一定的融合规则，选择出最显著的特征在所取的多幅原图像中，最后将这些特征保留在合成图像中。 课题依照小波变换的多分辨率理论研究，提出了一种基于小波变换的图像本 融合方法。通过采用小波系数的邻域方差来定义融合因子，这可以很好地应用小波变换的时-频局部特性。仿真实验结果表明，该方法具有良好的效果。 23 参考文献 [1] 阮秋琦.数字图像处理学[M].北京:电子工业出版社，2001( 黄贤武,王加俊.数字图像处理与压缩编码技术[M].成都:科技大学出版社，2000( [2] [3] 容观澳.计算机图像处理[M].北京:清华大学出版社,2000. [4] 夏良正.数字图像处理[M].南京:东南大学出版社，1999( [5] Kenneth R.Castleman著，朱志刚等译.数字图像处理[M](北京:电子工业出版社，1998( [6] 董辰辉,彭雪峰等.MATLAB2008全程指南[M].北京:电子工业出版社,2009. [7] 徐佩霞,孙功宪.小波分析与应用实例[M].北京:中国科学技术大学出版社,1996. [8] 桂林,周林,张家祥等.小波分析高级技术[M].西安:西安电子科技大学出版社,2006. [9] 赵兰. 数字图像处理与分析实例教程[M].北京:化学工业出版社,2009. [10] 黄爱民.数字图象处理与分析基础[M]. 北京:中国水利水电出版社，2005. [11] 黄涛. 数字图像的增强[M]. 北京:中国科学技术大学出版社,2009. [12] 陈超(MATLAB应用实例精讲[M](北京:电子工业出版社，2010( [13] 李成.图像增强与图像融合研究[M]. 西安:西安电子科技大学，2009. [14] 许录平(数字图像处理(MATLAB版)[M](北京:科学出版社，2011( [15] 陈永超(基于数字图像处理的研究,M,(北京:中国科学技术大学出版社,1996. 24 致 谢 在本文的撰写过程中，老师作为我的指导老师，她治学严谨，学识渊博，视野广阔，为我营造了一种良好的学术氛围。置身其间，耳濡目染，潜移默化，使我不仅接受了全新的思想观念，树立了明确的学术目标，领会了基本的思考方式，掌握了通用的研究方法，而且还明白了许多待人接物与为人处世的道理。其严以律己、宽以待人的崇高风范，朴实无华、平易近人的人格魅力，与无微不至、感人至深的人文关怀，令人如沐春风，倍感温馨。正是由于她在百忙之中多次审阅全文，对细节进行修改，并为本文的撰写提供了许多中肯而且宝贵的意见，本文才得以成型。 在此特向老师致以衷心的谢意～向她无可挑剔的敬业精神、严谨认真的治学态度、深厚的专业修养和平易近人的待人方式表示深深的敬意～ 25 附录 一层小波分解: clear all A=imread('n.jpg') %读入原图 C=double(A); %转浮点型 nbcol=size(A,1); [cA1,cH1,cV1,cD1]=dwt2(C,'db1'); %第一次分解 dec1d=[cA1,cH1;cV1,cD1]; %在同一窗口中显示以上图像 subplot(1,2,1),imshow(A),title('原图') subplot(1,2,2),imshow(dec1d,[ ]),title ('第一次分解后图像') 小波重构实现: clear all A=imread('n.jpg') %读入原图 C=double(A); %转浮点型 nbcol=size(A,1); [cA1,cH1,cV1,cD1]=dwt2(C,'db1'); %第一次分解 dec1d=[cA1,cH1;cV1,cD1]; %由二维小波分解重构原始图像 t1=size(dec1d) %第一次重构 X1=idwt2 (cA1,cH1,cV1,cD1,'db1',t1) %在同一窗口中显示以上各图像 subplot(1,2,1),imshow(dec1d,[ ]),title ('第一次分解后图像') subplot(1,2,2),imshow(X1,[ ]),title ('第一次重构') clear all %全部清除 clc x=imread('123.bmp'); %读取原图片123.bmp figure(1) %图片一 imshow(x) %显示图片x title('原图片') %图片x标题 x1=imread('1231.bmp'); %读取图片1231.bmp x1=rgb2gray(x1); %对图片x1进行灰度化 x1=double(x1)/255; figure(2) %图片二 imshow(x1) %显示图片x1 title('处理图片1') %图片x1标题 x2=imread('1232.bmp'); %读取图片1232.bmp x2=rgb2gray(x2); %对图片x2进行灰度化 x2=double(x2)/255; figure(3) %图片三 26 imshow(x2) %显示图片x2 title('处理图片2') %图片x2标题 [row,col]=size(x1); %读取输入矩阵的大小 x=[]; [ca1,ch1,cv1,cd1]=dwt2(x1,'db1'); %第一次分解单尺度二维离散小波变换 [ca2,ch2,cv2,cd2]=dwt2(x2,'db1'); %第二次分解 [row,col]=size(ca1); %读取输入矩阵的大小 for i=1:row for j=1:col if ca1(i,j)>ca2(i,j) ca(i,j)=ca1(i,j); else ca(i,j)=ca2(i,j); end ca(i,j)=(ca1(i,j)+ca2(i,j))/2; if abs(ch1(i,j))>abs(ch2(i,j)) ch(i,j)=ch1(i,j); else ch(i,j)=ch2(i,j); end if abs(cv1(i,j))>abs(cv2(i,j)) cv(i,j)=cv1(i,j); else cv(i,j)=cv2(i,j); end if abs(cd1(i,j))>abs(cd2(i,j)) cd(i,j)=cd1(i,j); else cd(i,j)=cd2(i,j); end end end x3=idwt2(ca,ch,cv,cd,'db1'); %图片重构 imwrite(x3,'wavefusionV1.bmp'); %将x3表示的图像存在默认目录下，名称为wavefusionV1.bmp，格式为BMP格式 figure(4) %图片四 imshow(x3) %显示图片 title('融合后图像') %图片x3标题 %用小波函数coif3对人物和景象进行融合的程序代码: f=imread('M1.jpg'); %读取图像M1 f=rgb2gray(f); [n,m]=size(f); if n>m 27 n=m; end f1=f(1:n,1:n); figure(1) imshow(f1,[]); title('原图像1'); axis square g=imread('M2.jpg'); %读取E盘中的图像M2 g=rgb2gray(g); if n>m n=m; end f2=g(1:n,1:n); for I=1:256 for j=1:256 if(f2(I,j)>100) f2(I,j)=1.2*f2(I,j); else f2(I,j)=0.5*f2(I,j); end end end figure(2) imshow(f2,[]); title('原图像2'); axis square [c1,s1]=wavedec2(f1,3,'coif3'); %用小波函数coif3对f1进行3层小波分解 sizec1=size(c1); for I=1:sizec1(2) c1(I)=1.2*c1(I); end [c2,s2]=wavedec2(f2,3,'coif3'); %用小波函数coif3对f2进行3层小波分解 c=c1+c2; c=0.5*c; %减小图像亮度 s=s1+s2; s=0.5*s; x=waverec2(c,s,'coif3'); %对融合的系数进行重构 figure(3) imshow(x,[]); title('融合图像') 28