彩色与多光谱图像处理

null《数字图像处理》研究生课程《数字图像处理》研究生课程第九章 彩色与多光谱图像处理 李俊山 主讲 第二炮兵工程学院null 彩色视觉是人眼对射入的可见光光谱的强弱及波长成份的一种感觉。9.1 彩色视觉 null9.1.1 三基色原理1. 三基色与三基色原理◆自然界中的绝大多数的颜色都可看作是由红、绿、蓝三种颜色组合而成；自然界中的绝大多数的颜色都可以分解成红、绿、蓝这三种颜色。这即是色度学中的三基色原理。 ◆ 一般就将红、绿、篮这三种颜色称为三基色。9.1 彩色视觉 null 红色 + 蓝色 = 品红色 （9.1 a） 红色 + 绿色 = 黄色 （9.1 b） 绿色 + 蓝色 = 青色 （9.1 c） 红色 + 绿色 + 蓝色 = 白色 （9.1 d） 红色 + 青色 = 白色 （9.2 a） 绿色 + 品红色 = 白色 （9.2 b） 蓝色 + 黄色 = 白色 （9.2 c） 所以，一般把青色、品红色和黄色称为红、绿、篮三色的补色。null 图9.1 相加混色的三基色及其补色的亮度比例nullR:200 G:50B:120相加灰色中涉及到灰色比例问题：null◆相减混色就是从白光中虑去某种颜色而得到另一种颜色。 ◆ 相减混色的基色为青、品红色、黄。 白色 – 红色 = 青色 （9.3 a） 白色 – 绿色 = 品红色 （9.3 b） 白色 – 蓝色 = 黄色 （9.3 c） 白色 – 绿色 – 红色 – 蓝色 = 黑色 （9.3 d）null ◆对不同颜料配色过程的理解： 品红色颜料+黄色颜料=红色颜料=>白色–绿色–蓝色 (9.4a) 青色颜料+黄色颜料=绿色颜料 => 白色–红色–蓝色 (9.4b) 品红色颜料+青色颜料=蓝色颜料=>白色–绿色–红色 (9.4c) 品红色颜料+青色颜料+黄色颜料=黑色颜料 =>白色–绿色–红色–蓝色 (9.4d) 9.1.1 三基色原理null图9.2 相减混色的三基色及其补色的关系 null1、相关概念 ◆对于无彩色（消色）图像来说，亮度（也即灰度）是唯一的属性。 ◆对于有彩色图像来说，通常用亮度、色调及饱和度表示颜色的特性。9.1.2 CIE色度图 null ◆在彩色图像中： 亮度反映了该颜色的明亮程度。颜色中掺入的白色越多亮度就越大，掺入的黑色越多亮度就越小。 色调用于描述纯色（如纯黄色、纯红色），反映了观察者接收到的主要颜色。 饱和度给出一种纯色被白光稀释的程度的度量，与加入到纯色（色调）中的白光成正比（由于加入了白光，观察者接收到的不再是某种纯色，而是反应该纯色属性的混合颜色）。9.1.2 CIE色度图 null ◆纯色（可见光谱中包含的一系列单色光）是全饱和的，随着白光的加入饱和度会逐渐降低，也即变成欠饱和。 ◆色调与饱和度两者合起来称为色度，颜色用亮度和色度共同表示。 9.1.2 CIE色度图 null（9.5）（9.6-8）显然有：（9.9）且2、CIE色度图 设X、Y和Z分别表示形成某种特殊颜色时需要的红、绿、蓝三基色的量值；x、y和z分别表示形成某种特殊颜色C时红、绿、蓝三基色所占的比例系数，则有： 9.1.2 CIE色度图 null9.1.1 三基色原理null9.2　彩色模型 目前常用的彩色模型可分成两类： （1）面向诸如彩色监视器、彩色视频摄像机和彩色打印机的硬件设备。面向硬件设备的彩色模型主要有RGB模型、CMY（青、品红、黄）模型和CMYK（青、品红、黄、黑）模型。RGB模型主要用于彩色监视器和彩色视频摄像机； CMYK主要用于彩色打印机。 （2）面向诸如彩色动画图形创作等的彩色处理应用。面向彩色处理应用的模型主要是HSI模型（hue-saturation-intensity，即色调、亮度和饱和度）。 null9.2.1 RGB彩色模型 RGB色系：null图9.4 RGB彩色立方体示意图 9.2.1 RGB彩色模型 null9.2.1 HSI彩色模型 HSI（hue-saturation-intensity）彩色模型比较适合于人用色调（H）、饱和度（S）和亮度（I）描述被观察物体颜色的解释，对于开发基于彩色描述的图像处理方法是一个理想的工具。 null9.2.1 HSI彩色模型 HSI色系 —— 亮度分量II 表示光照强度或称为亮度，它确定了像素的整体亮度，而不管其颜色是什么。I: 小 大null9.2.1 HSI彩色模型 HSI色系 —— 亮度(I)效果示意图null9.2.1 HSI彩色模型 HSI色系 —— 色度分量HH：表示色度，由角度表示。反映了该颜色最接近什么样的光谱波长。0o为红色，120o为绿色，240o为蓝色。null9.2.2 HSI彩色模型 HSI色系 —— 色度(H)效果示意图nullHSI色系 —— 饱和度分量S9.2.2 HSI彩色模型 S：表示饱和度，饱和度参数是色环的原点到彩色点的半径长度。 在环的外围圆周是纯的或称饱和的颜色，其饱和度值为1。在中心是中性（灰）色，即饱和度为0。null9.2.2 HSI彩色模型 图9.6 HSI彩色模型中的色调和饱和度null9.2.2 HSI彩色模型 HSI色系 —— 饱和度(S)效果示意图null9.2.2 HSI彩色模型 null9.2.3 RGB彩色模型到HSI彩色模型的转换 图9.7 RGB立方体旋转示意图 null（9.10）（9.11）（9.12）（9.13）9.2.3 RGB彩色模型到HSI彩色模型的转换 null（1）当0º≤H<120º：（9.14）（9.15）（9.16）9.2.4 HSI彩色模型到RGB彩色模型的转换 null（2）当120º≤H < 240º：（9.17）（9.18）（9.19）9.2.4 HSI彩色模型到RGB彩色模型的转换 null（9.20）（9.21）9.2.4 HSI彩色模型到RGB彩色模型的转换 （3）当240º≤H < 120º：（9.22）值得注意的是：300~360之间为非可见光谱色，没有定义。null9.2.5 其它彩色模型简介 1、CMYK色系—— 基本概念这种表色系用于印刷行业。 是一种减色系统，将从白光中滤出三种原色之后获得的颜色作为其表色系的三原色CMY。 K为黑色，为了印刷时对黑色可用黑色墨来印刷。 C：青色，从白色中滤去红色。 M：品红，从白色中滤去绿色。 Y: 黄色，从白色中滤去蓝色。null9.2.5 其它彩色模型简介 1、CMYK色系—— 着色原理既然是减色系统，其着色原理是基于光吸收的，这有别于RGB的光射入的方式。 C与M叠加：同时吸收了R与G，则为蓝色； C与Y叠加：同时吸收了R与B，则为绿色； M与Y叠加：同时吸收了G与B，则为红色。null9.2.5 其它彩色模型简介 2、YUV表色系—— 基本概念在这种表色系统中 Y：亮度；U，V：色差信号 目的是为了可以使电视节目可用同时被黑白电视及彩色电视接收。电视信号在发射时，转换成YUV形式；接收时再还原成RGB三基色信号，由显像管显示。null9.2.5 其它彩色模型简介 YUV表色系 —— 电视信号接收原理示意图Y,U,VYYY,0,0null图9.8 颜色间的互补关系 9.2　彩色变换 9.3.1 反色变换 反色是指与某种色调互补的另一种色调。 null9.3.1 反色变换（9.23） 设f(x,y)为输入彩色图像，彩色分量的量化级别为256，则反色图像g(x,y)与输入图像f(x,y)的R、G、B分量之间的关系可表示为： null （a）原彩色图像 （b）图(a)的负片效果 图9.9 彩色图像的反色变换 9.3.1 反色变换null9.3.2 彩色图像的灰度化 ◆将彩色图像转变为灰度图像的处理称为彩色图像的灰度化处理。 ◆将彩色图像转换为灰度图像的实质，就是通过对图像R、G、B分量的变换，使得每个像素点的R、G、B分量值相等。 ◆彩色图像的灰度化方法主要包括：最大值法、平均值法和加权平均值法。 null9.3.2 彩色图像的灰度化 (1) 最大值法 即将输入图像中的每个像素的R、G、B分量值的最大者赋给输出图像中对应像素的R、G、B分量的方法。用可表示为： (9.24)null9.3.2 彩色图像的灰度化 (2) 平均值法 即将输入图像中的每个像素的R、G、B分量的算术平均值赋给输出图像中对应像素的R、G、B分量的方法。用公式可表示为： (9.25)null9.3.2 彩色图像的灰度化 (3) 加权平均法 即将输入图像中的每个像素的R、G、B分量的加权平均值赋给输出图像中对应像素的R、G、B分量的方法 。用公式可表示为： (9.26)其中:null9.3.2 彩色图像的灰度化 人眼对绿光的亮度感觉仅次于白光，是三基色中最亮的，红光次之，蓝光最低。 如果权值ωG、ωR、ωB满足条件ωG>ωR>ωB，将会得到比较合理的灰度化结果。相关研究表明，当ωG=0.587、ωR=0.299、ωB=0.114时，得到的灰度化图像较合理，此时公式（9.26）就变为： (9.27)null （a）原图 （b）最大值法灰度化结果 （c）平均值法灰度化结果 （d）加权平均值法灰度化结果 图9.10 彩色图像的灰度化 9.3.2 彩色图像的灰度化 null9.3.3 真彩色转变为256色 ◆将真彩色图像转化为256色图像会有大量的颜色信息损失掉，因此，在转换过程中要找到合适的映射关系，使得变化后的256种颜色在原图像中最具代表性或出现的频率最高。 ◆两种常用的转化算法：中位切分法和流行色法。 null9.3.3 真彩色转变为256色 1. 中位切分法 中位切分法的基本过程是： 首先，将RGB彩色空间中的3个坐标轴进行均匀量化，把每个坐标轴分为256个级别，0为最暗，255为最亮，这样真彩色图像的各种颜色就可以用坐标空间的各个量化点来表示。 然后，将彩色立方体划分为256个小立方体，使各立方体包含相同的颜色数。 最后，求出这256个小立方体的中心点的颜色。 null （a）原真彩色图像 （b）转变成的256色图像 图9.11 利用中位切分法转换真彩色图像成256色图像的实例 9.3.3 真彩色转变为256色 1. 中位切分法null9.3.3 真彩色转变为256色 2. 流行色法 流行色算法的基本过程是： 首先，对原彩色图像中各颜色出现的概率进行统计。 然后，按照由大到小的顺序选择出前256种颜色。 最后，将其它颜色按照与这256种颜色就近的原则进行转换，用这256种颜色代替原真彩色图像中的颜色。 null（a）原真彩色图像 （b）转变成的256色图像 图9.12 利用流行色法转换真彩色 图像成256色图像的实例 9.3.3 真彩色转变为256色 2. 流行色法 null9.3.4 彩色平衡 ◆彩色图像数字化后，有时图像中的颜色会看起来有些不正常，即景物中物体的颜色偏离了它原来的真实色彩，最明显的例子是那些本来是灰色的物体被赋予了颜色。 ◆产生这种情况的原因是由于颜色通道中不同的敏感度、增光因子、偏移量等使图像的3个分量发生了不同的线性变换，导致图像的三基色“不平衡”。 null1. 白平衡法 所谓白平衡法，就是将景物中的白色物体在图像中还原为白色。 简单白平衡法的基本过程是： 首先，依据式（9.28）计算出色偏图像的亮度分量，求出图像的最大亮度Imax和平均亮度 ；其次，设定一个较大的阈值T（如0.95），求出图像中亮度值大于0.95Imax的点的集合；然后，认为这些点对应实际场景中白色的点，计算出这些点对应的R、G、B分量的均值 、 ，依据公式（9.29）确定出白平衡法的调整参数KR、KG、KB；最后，利用调整公式（9.30）对色偏图像进行调整。 9.3.4 彩色平衡 null（9.28）（9.29）（9.30）9.3.4 彩色平衡 1. 白平衡法 null （a） 原色偏图像 （b）白平衡法处理后的图像 图9.13 白平衡法对图像的彩色平衡 9.3.4 彩色平衡 1. 白平衡法 null（9.31）（9.32 ）9.3.4 彩色平衡 2. 最大颜色值法 (自学) null（a） 原色偏图像 （b）最大颜色值法处理后的图像 图9.14 最大颜色值法对图像的彩色平衡 2. 最大颜色值法 9.3.4 彩色平衡 null9.4　彩色图像增强 ◆在得到的彩色图像中，有时会存在对比度低、颜色偏暗、局部细节不明显等问题，为了改善图像的视觉效果、突出图像的特征，利于进一步的处理，需要对图像进行增强处理。 ◆对于彩色图像的增强依据处理对象的不同可分为：真彩色增强、伪彩色增强和假彩色增强三类。 null9.4.1 真彩色增强 ◆真彩色增强的处理对象是具有224种颜色的彩色图像（又称全彩色图像）。 ◆为了避免破坏图像的彩色平衡，真彩色的增强通常选择在HSI模型下进行。 ◆依据选择增强分量和增强目的的不同，可将真彩色增强分为亮度增强、色调增强和饱和度增强三种。 null1. 亮度增强 ◆亮度增强是仅对彩色图像的亮度分量进行处理的增强方法，它的目的是通过对图像亮度分量的调整使得图像在合适的亮度上提供最大的细节。 ◆彩色图像的亮度增强可以在其亮度分量上使用第四章介绍的灰度图像的增强算法，如灰度变换法、直方图增强法等。 9.4.1 真彩色增强 null（a）原彩色图像 （b）对比度拉伸的 （c）直方图均衡的 增强图像 增强图像 图9.15 真彩色图像的亮度增强实例 9.4.1 真彩色增强 1. 亮度增强null2. 色调增强 ◆色调增强是通过增加颜色间的差异来达到图像增强的目的，一般可以通过对彩色图像每个点的色度值加上或减去一个常数来实现。 ◆由于彩色图像的色度分量是一个角度值，因此对色度分量加上或减去一个常数，相当于图像上所有点的颜色都沿着图9.3.1的彩色环逆时针或顺时针旋转一定的角度。 ◆由于彩色处理色相分量图像的操作必须考虑灰度级的“周期性”，即对色调值加上120°和加上480°是相同的。 9.4.1 真彩色增强 null 原图像 （a）色度值加上 （b）色度值减去 120°的图像 120°的图像 图9.16 真彩色图像的色度增强实例 9.4.1 真彩色增强 2. 色调增强null3. 饱和度增强 ◆饱和度增强可以使彩色图像的颜色更为鲜明。 ◆饱和度增强可以通过对彩色图像每个点的饱和度值乘以一个大于1的常数来实现；反之，如果对彩色图像每个点的饱和度值乘以小于1的常数，则会减弱原图像颜色的鲜明程度。 9.4.1 真彩色增强 null 原图像 （a）饱和度值乘 （b）饱和度值乘 以3的图像 以0.3的图像 图9.17 真彩色图像的饱和度增强实例 9.4.1 真彩色增强 3. 饱和度增强null9.4.2 伪彩色增强 ◆伪彩色增强的处理对象是灰度图像。 ◆伪彩色增强就是将一幅具有不同灰度级的图像通过一定的映射转变为彩色图像，来达到增强人对图像的分辨能力。 ◆伪彩色增强可分为空域增强和频域增强两种，在这两种算法中，密度分层法、灰度级-彩色变换法和频率滤波法是三种较为常用的算法。 null9.4.2 伪彩色增强 1. 密度分层法 ◆密度分层法（又称强度分层法）是将灰度图像中任意一点的灰度值看作该点的密度函数。 ◆ 密度分层法的基本过程是： 首先，用平行于坐标平面的平面序列L1，L2，…,LN把密度函数分割为几个互相分隔的灰度区间。 然后，给每一区域分配一种颜色。 这样就将一幅灰度图像映射为彩色图像了。 null 图9.18 密度分层法空间示意图 图9.19 密度分层法平面示意图9.4.2 伪彩色增强 1. 密度分层法 null （a） 原灰度图像 （b） N=4的伪彩色图像 图9.20 密度分层法增强实例 9.4.2 伪彩色增强 1. 密度分层法 null9.4.2 伪彩色增强 2. 灰度级-彩色变换法 ◆灰度级-彩色变换伪彩色增强法的基本思想是：对图像中每个象素点的灰度值采用不同的变换函数进行3个独立的变换，并将结果映射为彩色图像的R、G、B分量值，由此就可以得到一幅RGB空间上的彩色图像。 ◆ 由于灰度级-彩色变换法在变换过程中用到了三基色原理，与密度分层法相比，该算法可有效地拓宽结果图像的颜色范围。 null图9.21 灰度级-彩色变换法示意图 9.4.2 伪彩色增强 2. 灰度级-彩色变换法 null （a） 原灰度图像 （b） 得到的伪彩色图像 图9.22 灰度级-彩色变换法实例 9.4.2 伪彩色增强 2. 灰度级-彩色变换法 null9.4.2 伪彩色增强 3. 频率滤波法 ◆频率滤波伪彩色增强法的基本思想是： 首先对原灰度图像进行傅立叶变换，然后用3种不同的滤波器分别对得到的频率（谱）图像进行独立的滤波处理，处理完后再用傅立叶逆变换将得到三种不同频率的图像映射为单色图像，经过一定的后处理，最后把这三幅灰度图像分别映射为彩色图像的R、G、B分量，这样就可以得到一幅RGB空间上的彩色图像null9.4.2 伪彩色增强 3. 频率滤波法 ◆与密度分层法和灰度级-彩色变换法两种算法相比，频率滤波法输出的伪彩色与灰度图像的灰度级无关，仅与灰度图像不同空间频率成分有关。 null图9.23 频率滤波法变换示意图 9.4.2 伪彩色增强 3. 频率滤波法 null （a） 原灰度图像 （b）得到的伪彩色图像 图9.24 频率滤波法增强实例 9.4.2 伪彩色增强 3. 频率滤波法 null9.4.3 假彩色增强 ◆假彩色增强是从一幅初始的彩色图像或者从多谱图像的波段中生成增强的彩色图像的一种方法，其实质是从一幅彩色图像映射到另一幅彩色图像，由于得到的彩色图像不再能反映原图像的真实色彩，因此称为假彩色增强。null9.4.3 假彩色增强 其意义在于： ◆画家通常把图像中的景物赋以与现实不同的颜色，以达到引人注目的目的。 ◆对于一些细节特征不明显的彩色图像，可以利用假彩色增强将这些细节赋以人眼敏感的颜色，以达到辨别图像细节的目的。 ◆在遥感技术中，利用假彩色图像可以将多光谱图像合成彩色图像，使图像看起来逼真、自然，有利于对图像进行后续的分析与解译。 null(9.33)9.4.3 假彩色增强 假彩色增强可以看作是一个从原图像到新图像的线性坐标变换。 null9.5　彩色图像的平滑 ◆与灰度图像的平滑相比，彩色图像的平滑处理相对比较复杂，除了处理的对象是向量外，还要注意图像所用的彩色空间，因为随着所用彩色空间的不同，所处理的向量表示的含义也不同。null（9.34） (9.35)9.5.1 基于RGB彩色模型的彩色图像平滑 设位于点(x,y)处的颜色向量为 ，则由灰度图像的平滑公式可以得到彩色图像的平滑公式为： 该平滑公式还可写成： null（a）原图像 （b） 图(a)的R分量 （c）图(a)的G分量 （d）图(a)的B分量 图9.25 RGB彩色图像及其各分量图像 9.5.1 基于RGB彩色模型的彩色图像平滑 null9.5.2 基于HSI彩色模型的彩色图像平滑 ◆HSI模型的彩色图像的3个分量H、S、I分别表示图像的色调、饱和度和亮度信息，如果象处理RGB图像那样利用式(9.35)对图像进行平滑，那么得到的图像的颜色将会因为颜色分量的混合而发生变化。 所以，HSI模型的彩色图像仅对图像的亮度信息进行混合才有意义。 null 原图像 (a)原图的 (b)原图的 ( C)原图的 H分量 S分量 I分量 图9.26 彩色图像的HSI分量图像 9.5.2 基于HSI彩色模型的彩色图像平滑 null（a）RGB模型平滑结果 （b）HSI模型平滑结果 （c）两种结果的差异图像 图9.27 彩色图像的平滑结果图像及其比较 9.5.2 基于HSI彩色模型的彩色图像平滑 null（9.36） 9.6　彩色图像的锐化 null（a）RGB模型锐化结果 （b）HSI模型锐化结果 （c）两种结果的差异图像 图9.28 RGB模型与HSI模型彩色图像锐化结果图像及其比较9.6　彩色图像的锐化 null（9.37）（9.38） 9.7　彩色图像的边缘检测 null（9.39）（9.40）（9.41）9.7　彩色图像的边缘检测 null（9.42）（9.43）9.7　彩色图像的边缘检测 null 原图像 (a) 彩色图像不正确的 (b)彩色图像正确的 边缘检测结果 边缘检测结果 图9.29 彩色图像的边缘提取 9.7　彩色图像的边缘检测 null9.8　彩色图像的分割 null（a） （b） （c） （d） （e） （f） 9.8.1 HSI模型的彩色图像分割 null图9.30 HSI模型彩色图像分割示例 （g） （h） 9.8.1 HSI模型的彩色图像分割 null （9.44）（9.45）9.8.2 RGB模型的彩色图像分割 null（a） （b） （c） 图9.31 RGB模型彩色图像分割示例 9.8.2 RGB模型的彩色图像分割 null9.9　多光谱图像处理 9.9.1 多光谱图像的基本概念 null （a） （b） 图9.32 多光谱图像与RGB彩色图像示意图 9.9.1 多光谱图像的基本概念 ◆光谱图像可以看作是两个空间变量和一个光谱变量构成的三维灰度值函数。 ◆多光谱图像是由可见光、近红外、短波红外、中波红外、热红外等多个波段的图像叠加而成，所以称为多光谱图像。 null表9.1 MMS与TM的主要技术参数 9.9.1 多光谱图像的基本概念 null（9.46）（9.47）9.9.2 多光谱图像的处理 null图9.33 几何校正示意图 9.9.2 多光谱图像的处理 null（9.48a）（9.48b）9.9.2 多光谱图像的处理 null图9.34 像元灰度重采样示意图 9.9.2 多光谱图像的处理 null（9.49）（9.50） 9.9.2 多光谱图像的处理 null（9.51） （9.52） （9.53） （9.54） （9.55） 9.9.2 多光谱图像的处理 null（9.56） （9.57） （9.58） （9.59） （9.60） 9.9.2 多光谱图像的处理 null图9.35 主成分分析原理图 x2x19.9.2 多光谱图像的处理 null9.10　高光谱图像处理 ◆高光谱遥感又叫成像光谱技术，是继多光谱遥感之后发展起来的新一代遥感技术。 ◆高光谱图像由成像光谱仪获取，它将传统的成像技术与地物光谱技术有机地结合在一起，可以获取同一地物的几十乃至几百个毗邻的窄带光谱段上的图像数据；即对每一像元可以得到从可见光到近红外几乎连续的光谱分布，既能获得图像也能获得光谱，是一种“谱像合一”的遥感器。 null9.10　高光谱图像处理 ◆第一代航空成像光谱仪拥有128个通道，光谱覆盖范围为12～24μm。 ◆第二代的航空可见光、近红外成像光谱仪有224个通道，光谱覆盖范围400～25000 μm （全部太阳光谱的辐射光谱范围）。 null9.10　高光谱图像处理 高光谱图像数据与多光谱图像数据相比具有以下的特点： （1）像元的波段数多，一般每个像元具有几十、数百、甚至上千个波段。 （2）光谱分辨率高，多光谱遥感的光谱分辨率在10-1λ数量级范围内，高光谱遥感的光谱分辨率在10-2λ数量级范围内。 （3）波段连续，有些成像光谱仪可以在350～2500nm的太阳光谱范围内提供几乎连续地物光谱。 （4）数据量大，随着波段数的增加，数据量成指数增加。 （5）信息的冗余增加，由于相邻波段的图像数据高度相关，因此，冗余信息也相对增加。 null(a) TM多光谱数据 (b) AVIRIS高光谱遥感数据 图9.36 多光谱与高光谱数据 9.10　高光谱图像处理 null9.10　高光谱图像处理 高光谱数据是一个光谱图像的立方体，它由以下三部分组成： （1）空间图像维。在空间图像维，高光谱数据与一般的图像数据相似。 （2）光谱维。从高光谱图像的每一个像元可以获得一个“连续”的光谱曲线。 （3）特征空间维。高光谱图像提供了超维特征空间。