基于雾气理论的视频去雾算法

基于雾气理论的视频去雾算法 郭 　　 ,蔡自兴 ,谢 　斌 (中南大学信息科学与学院 ,湖南长沙 410083) 　　摘 　要 : 　本文提出了两种基于雾气理论的视频去雾新算法 ,一种视雾气为覆盖在各帧图像上的一层遮罩被从原 视频中减除 ,一种视雾气为光路传播图被分离消除. 前者将 Retinex 算法得到的亮度图像与视频帧自身的深度关系相 结合求取雾气遮罩 ,并将此遮罩从原视频帧中分离以去除雾气 ;后者将由背景图像得到的视频“通用”传播图应用于视 频的所有帧以消除雾气. 实验证明两种算法均能有效地提高原有雾视频各帧的对比度和清晰度. 本文所提算法从雾气 的角度入手 ,无需借助参考图像 ,运算代价低 ,与一般视频去雾算法相比 ,在获得较优的去雾效果的同时 ,具有较好的 实用性和较快的处理速度. 关键词 : 　雾气理论 ; 视频 ; 去雾 ; 雾气遮罩 ; 传播图 中图分类号 : 　TP399 　　　文献标识码 : 　A 　　　文章编号 : 　037222112 (2011) 0922019207 Video Defogging Algorithm Ba sed on Fog Theory GUO Fan ,CAI Zi2xing ,XIE Bin ( School of Information Science and Engineering , Central South University , Changsha , Hunan 410083 , China) Abstract : 　In this paper ,we proposed two new video defogging algorithms based on fog theory. One is regarding fog as the veil layer to be subtracted ,and the other is taking fog as the transmission map to be separated from the original video. The former uses the luminance component image obtained by Retinex algorithm and the depth information of the original video frames to sepa2 rate the veil layer. The latter applies a single transmission map obtained from the background image to a series of video frames . Ex2 periments show that both algorithms can effectively improve the contrast and quality of the video frames . Compared with other state of the art algorithms ,our algorithms restore video frames from a perspective of fog with no reference image and low computation cost . The new algorithms can remove fog effectively as well as provide a good practicability and a fast speed. Key words : 　fog theory ; video ; defog ; veil layer ; transmission map 1 　引言 　　有雾视频清晰化是计算机视觉领域的一个重要问 题. 近年来 ,随着计算机软硬件技术的不断发展 ,对有雾 天气视频图像的景物影像进行去雾处理已经成为可能 , 这反过来又对去雾视频的清晰度和真实感提出了新的 要求. 在雾天情况下 ,由于场景的能见度降低 ,视频帧中 目标对比度和颜色等特征被衰减 ,因而无法满足室外视 频工作系统需要准确提取图像特征的需求. 因此如何自 动、实时地消除雾气对视频帧中场景目标的影响具有重 要的理论研究意义和实际应用价值. 目前 ,国内外学者对去雾算法的研究主要是针对单 幅图像 ,而对视频去雾方面的研究工作开展较少且远没 有达到成熟阶段 ,处理过程中对天气或场景信息的采集 具有很强的依赖性. 雾天视频的去雾主要建立在 前、背景分割的基础上 ,可分为两类. 第一类方法的基本 思想在于计算传播图 ,再利用该传播图对视频的每一帧 进行去雾处理. 如 Srinivasa G等人[1 ]通过在不同天气条 件下所采集的完全对应的场景图像得到前景目标对象 的深度 ; Gong Chen 等人[2 ]采用参考图像估算出传播图 , 再利用基于无迹卡尔曼滤波 (UKF) 的背景保持算法将 背景减除. 由于这些方法需要借助参考图像的要求过于 苛刻 ,因而在实际应用中难以实现 ;第二类方法首先将 背景图像与前景图像分离开来 ,分别采用相关去雾算法 进行清晰化处理 ,再将两者的处理结果相融合得到最终 的去雾视频 ,如 Jisha John 等人提出的基于小波融合的 雾天视频增强方法[3 ] . 此方法虽然去雾速度较快 ,但是 算法中相关阈值的选取需根据处理视频的不同而进行 人工调节 ,且处理后的结果有可能出现轻微的块状噪 声. 此外 ,Zhiyuan Xu 等人采用对比度约束的自适应直 收稿日期 :2010209226 ;修回日期 :2011202204 基金项目 :国家自然科学基金 (No. 90820302) 　 第 9 期2011 年 9 月 电　　子　　学　　报 ACTA ELECTRONICA SINICA Vol . 39 　No. 9 Sep . 2011 　 方图均衡化方法分别对前背景进行清晰化处理[4 ] ,此 方法的不足之处在于得到的去雾结果在颜色上不太自 然. 总之 ,视频去雾的研究还处于起步阶段 ,现有方法 无论是在效率、实用性还是处理的结果质量上都无法 令人满意. 针对目前视频去雾算法存在的问题 ,本文提出了 建立在雾气基础上的视频去雾方法. 这里的雾气 在本文算法中既可以看做是覆盖在视频帧上的一层遮 罩 ,又可以视为大气散射模型变形表达式中的光路传 播图. 相对于前人的工作 ,本文方法有以下创新点及优 势 : (1) 从雾气的角度考虑视频的去雾方法. 雾气如同 覆盖的一层遮罩从原有雾视频帧上消除 ,或是作为散 射模型表达式中的传播图被分离消除 ,从而拓展了视 频去雾问题的解决途径. (2) 有效地提高去雾处理的效 率. 算法由于采用了“通用”策略 ,将通过背景图像求取 的传播图用于视频的所有帧 ,大大降低了算法的运算 代价 ,保证了处理后其效果的一致性. 在获得较优的去 雾效果的同时 ,提高了算法的处理速度. 2 　雾气理论 2. 1 　视雾气为遮罩 将雾气视为遮罩的理论基础是 Retinex 模型. Retinex(视网膜“Retina”和大脑皮层“Cortex”的缩写) 是 Edwin Land(艾尔文·兰德) 提出来的一个关于人类视觉 系统如何调节感知到物体的颜色和亮度的模型[5 ] . Retinex 的基本原理是将一幅图像 S 分为亮度图像 L 和 反射图像 R 两部分 ,对于图像中的每一像素点 ( x , y) , S ( x , y) = R ( x , y) ·L ( x , y) ,通过降低亮度图像对反射 图像的影响而达到增强图像的目的. 对于一幅图像而 言 ,其亮度分量往往变化比较缓和 ,对应于图像的低频 部分. 将此变化缓和的亮度分量图像像素值的均值与 原有雾图像的信息相结合即可得到包含景深关系的雾 气遮罩. 2. 2 　视雾气为光路传播图 McCartney于 1975 年提出了大气散射模型[6 ] ,该模 型由衰减模型和大气光模型两个模型组成. 其中衰减 模型描述了光从场景点传播到观测点之间的削弱过 程. 大气光模型描述了周围环境中的各种光经过大气 粒子散射后 ,对观测点所观测到得光强的影响. 大气散 射模型用公式表示为 : I ( x) = Aρ( x) e - βd( x) + (1 - e - βd( x) ) A (1) 其中 I ( x) 为观测点接收到的点光强(即输入的有雾图 像) .ρ( x) 为场景反照率. d ( x) 是场景点到观测点的距 离 ,通常称为光程. A 为大气光 ,其代表了周围环境中 各种光的总强度.β称作大气的散射系数 ,它表示单位 体积的大气对光的散射能力. 从数学观点来看 ,去雾的 目的在于从 I ( x) 中求出ρ( x) , d ( x) 和 A 的值 , 则 Aρ( x) 即为所求的去雾复原图像. 从大气散射模型的角 度出发 ,定义 t ( x) = e - βd( x) ,则散射模型表达式变换如 下 : 1 - I ( x)A = t ( x) (1 - ρ( x) ) (2) 其中 , t ( x) 即为光路传播图 ,1 - ρ为逆反照率 ,其随反 照率的变化而相应改变. 进一步定义 B ( x ) = 1 - I ( x) / A , C ( x) = 1 - ρ( x) ,则 (2) 式变换为 : B ( x) = t ( x) C ( x) (3) 在求取大气光 A 后 ,即可从 I ( x) 中计算出 B ( x) . 由此根据式(3) ,去雾问题转变为从 B ( x) 中分离光路 传播图和逆反照率两分量的问题. 其中 B ( x) 表示人眼 未能捕捉到的光强所占总光强的比率 ,如图 1 ( a) 所示. 图 1 ( b) 为光路传播图 ,其表示从场景点到观测者之间 没有发生散射的残余光强所占的比率. 图 1 ( c) 为逆反 照率 ,由于反照率表示场景点入射光中被反射的比率 , 则逆反照率为入射光中被场景点吸收的比率. 因此 ,式 (3) 中的因子 B ( x) 可以看作是光路传播图与逆反照率 的乘积. 此过程与上面介绍的 Retinex 算法原理类似 ,若 将 B ( x) 视为输入图像 ,则可将传播图看作原图像的亮 度分量 ,将逆反照率视为原图像的反射分量. 传播图是景深的连续函数 ,尽管深度图存在不连 续性 ,但大部分情况下深度的变化都是平滑的 ,因此传 播图的变化也是平滑的 ,即传播图的变化是大规模的. 而雾气的存在是导致其对应的无雾图像亮度发生大规 模变化的主要原因 ,由此即可推出如下假设 : B ( x) 中大 规模的亮度变化是由反映雾气浓度变化的光路传播图 所导致的. 3 　视雾气为遮罩的去雾算法 3. 1 　去雾算法流程 该视频去雾算法的流程主要有两步 :一是利用 Retinex 算法将有雾视频各帧的亮度图像分离出来 ,并 结合原视频帧自身的深度信息得到该视频各帧的雾气 遮罩 ;二是在对数域中将原有雾视频的每一帧图像减 去其雾气遮罩以分离出反射图像 ,其目的在于消除每 帧图像中的雾气遮罩影响 ,从而获得场景目标的本来 面貌 ,并采用自适应对比度拉伸方法以获得进一步增 强后的去雾效果. 此算法的具体流程如图 2 所示. 0202 　　电 　　子 　　学 　　报 2011 年 3. 2 　雾气遮罩估计与去雾图像获取 对雾气遮罩的估计是该算法核心 ,视雾气为遮罩 的去雾算法将从三个颜色通道分别处理. 定义 F( x , y) 为差为σ的高斯低通平滑函数 ,首先将原有雾视 频帧与此平滑函数进行卷积运算 ,以获得该帧图像的 亮度分量图像 L^ ( x , y) ,此操作表示如下 : L ^ ( x , y) = I ( x , y) 3 F( x , y) (4) F( x , y) = ke - ( x 2 + y 2) /σ2 (5) 其中 , k 为归一化常数 ,使得系数和为 1 .σ为标准差 ,其 决定了平滑程度. 具体来说 ,假设平滑函数的窗口大小 为 v ×v ,则 k 的取值应满足使 F( x , y) 的和值为1 . 对于Π ( x , y) ,为了求得该视频帧的雾气遮罩 ‰L ( x , y) ,先计 算亮度分量图像 L^ ( x , y) 的均值 …L ( x , y) :…L ( x , y) = 1H 3 W ∑Hx =1 ∑Wy = 1 L^ ( x , y) (6) 注意到直接计算 L^ ( x , y) 的均值所得到的雾气遮 罩只适用于雾气分布均匀的情况 ,若处理雾气分布不 均的视频帧 ,则会导致最终去雾效果的颜色严重失真 , 因此本文所提算法考虑从视频帧自身的景深关系入手 求取雾气遮罩 ,其操作过程可表示为 : L′( x , y) = 255 - I ( x , y) 3 …L ( x , y) (7) 最后 ,将图像 L′( x , y) 转换到 YCbCr 颜色空间 ,并 提取出该空间的亮度分量 ‰L ( x , y) ,此亮度分量即为该 视频帧的雾气遮罩. 在获取雾气遮罩 ‰L ( x , y) 后 ,即可 将其在对数域中从图像 I ( x , y) 中分离出去. 然后经过 指数变换即可得到原图的反射分量图像. 图 3 显示了以上去雾过程. 其中图 3 ( a) 为原有雾 图像 ,图 3 ( b) 和图 3 ( c) 分别为估算的雾气遮罩和反射 分量图像. 从图 3 ( c) 可以看出 ,以上求得的反射图像整 体偏暗. 因此 ,本文方法采用自适应对比度拉伸方法[7 ] 提高图像的整体对比度 ,图 3 ( d) 即为此方法最终去雾 结果. 4 　视雾气为光路传播图的去雾算法 4. 1 　去雾算法流程 本文去雾算法流程如图 4 所示. 针对有雾视频 ,本 文所提方法首先借助由何恺明等人提出的暗原色先验 统计信息估算出大气光强值 A [8 ] ,进而经过计算求得 B ( x) . 再通过帧间差法检测运动目标 ,并进一步提取出 该视频的背景图像. 然后对此背景图像在 YCbCr 空间 的亮度分量进行多尺度 Retinex (MSR) 、参数调整、双边 滤波和全变分去噪滤波即可获得视作雾气的光路传播 图. 由此即可通过运算求得 C ( x) ,并进一步得到反照 率ρ( x) . 最后根据大气散射模型 ,将反照率ρ( x) 与大 气光 A 相乘即可求得去雾后的复原图像. 4. 2 　大气光强估计 为了计算 B ( x) ,必须首先估算出大气光值 A. 目 前已有许多方法解决这一问题. 如通过对雾天图像的 天空区域求均值来估算 A 值 ,但该方法的不足在于场 景中必须要有天空存在. J John 等[3 ]通过求取调整对比 度的代价函数的最小值或是利用 YIQ 模型的亮度分量 值来求取大气光值. 但这些估算 A 值的方法都不能在 提高能见度的同时保持图像的颜色逼真度. 何恺明提 出的 A 值估计方法[9]建立在暗原色先验统计的规律之 上 ,此方法适用于大多数实际场景. 从实际应用的角度 出发 ,本文算法即采用暗原色规律估算 A 值. 具体做法 为在暗原色图像中 ,将各像素点的亮度值按照递减的 顺序排序 ,确定数值大小为前 011 %的点在暗原色图像 中所处的位置 ,则这些位置所对应的原有雾图像区域 中的最大值即为大气光 A 的值. 按这种方法取得的 A 值可能不是整幅图像中的亮度最大值 ,从而避免了 A 值的错选. 4. 3 　雾气传播图估计 为了方便讨论 ,定义场景中的静止部分为背景 ,移 动目标为前景. 目前已有许多方法求取背景图像 ,如建 模的方法或简单的均值方法. 本文方法主要采用帧间 1202第 　9 　期 郭 　　 :基于雾气理论的视频去雾算法 差求取前景目标 ,然后进一步获得背景图像. 在得到背 景图像后 ,即可利用此图像求取视作雾气的光路传播 图. 注意到如果两个场景目标表面的辐照度发生大范 围的变化 ,则即使它们位于同一景深区域也可能反映 在传播图上具有不同的值. 而物体表面的辐照度可以 由亮度来衡量 ,因此可提出如下假设 :传播图的变化由 亮度引起. 本文方法即是通过图像的亮度分量来获取 其传播图 ,其估计方法的具体步骤如下 : 首先选取图像转换的颜色空间. 对图像而言 ,为了 将其亮度分量和色度分量分离开来 ,可以转换到 HSI、 YUV 颜色空间等 ,从而只针对亮度分量进行处理. 目前 常用的是 HSI 空间 ,但由于该空间与 RGB 之间的转换 需要对每一个像素点进行三角函数运算 ,在计算时间 和计算量上开销较大. 因此选取的颜色空间为 YCbCr 空间 ,主要原因是其与 RGB 之间的互换只涉及简单的 代数运算 ,计算量小 ,计算速度快. 其次在 YCbCr 空间的亮度分量上进行 MSR 处理. 该处理过程的数学形式如下 : 　　Rm ( x , y) = ∑ N n = 1 Wn (log Y( x , y) - log[ Fn ( x , y) 3 Y( x , y) ]) (8) 其中 Rm ( x , y) 是 MSR 在第 i 个色彩空间的输出 , N 为 尺度个数 , Wn 为对应于每一个尺度的权值 , Y( x , y) 为 亮度图像分布 , Fn ( x , y) 为对应权值 Wn 的第 n 个环绕 函数 ,选取高斯形式. 在对亮度分量进行处理时 ,环绕 函数尺度的选择应尽量包含各个范围的尺度. 实验表 明对于大多数图像而言 ,选取大、中、小 3 个尺度 ,并且 每个尺度的权重在保证和值为 1 的前提下根据保证色 彩均衡的标准来选取 ,然后采用调整参数 C 减去图像 中每一点的像素值来调整传播图. 大量实验证明 , C 值 取为 1109 时满足绝大多数情况 ,但是仅仅采用 MSR 算 法可能会使所获得的传播图包含多余细节 ,因此需要 对传播图进行平滑. 本文采用双边滤波器使传播图模 糊化的同时保留场景目标的边缘. 双边滤波器的特点 是对图像的每一点用其空间相邻且灰度相近的象素值 的平均值代替原来的值 ,从而达到滤波的效果. 该滤波 器是对图像的空问临近度和灰度相似度的一种折衷处 理. 在同一尺度下进行双边滤波时 ,小的边缘体现出的 灰度差异往往被空间临近度所掩盖 ,滤波结果是大的 边缘被保留. 正是这个原因 ,双边滤波可用来去除图像 的纹理 ,同时保留图像的形状特征. 本文方法采用双边 滤波的目的在于保留传播图中的场景目标边缘的同 时 ,消除其中可能导致图像复原错误的细节信息. 例 如 ,图 5 ( a) 为原有雾图像 ,图 5 ( b) 为未经滤波的传播 图 ,图 5 ( c) 为由图 5 ( b) 所得到的复原图像 ,图 5 ( d) 为 经过双边滤波获得的传播图 ,图 5 ( e) 为由图 5 ( d) 得到 的复原图像. 从图 5 ( a) 中可以看出红色的砖瓦与其间 的沟槽具有相同的景深 ,因此在传播图中不应有所区 分 ,但在图 5 ( b) 所示的传播图中仍能很容易地看到瓦 间的沟槽. 采用双边滤波后这一多余的细节就被很好 地消除了 ,如图 5 ( d) 所示 ,从而使最终的结果不存在光 晕伪影的现象 ,去雾效果图 5 ( e) 要优于图 5 ( c) . 在求取 传播图中采用的双边滤波其过程可定义为 : I ^ ( u) = ∑ p ∈N ( u) Wc ( ‖p - u ‖) Ws (| I ( u) - I ( p) | ) I ( p) ∑ p ∈N ( u) Wc ( ‖p - u ‖) Ws (| I ( u) - I ( p) | ) (9) 其中 , I ( u) 为原有雾图像 ,坐标 u = ( x , y) , N ( u) 为 u 的邻域. 空间邻域相似度函数 Wc ( x) 为标准差为σc 的 高斯滤波器 : Wc ( x) = e - x 2 / 2σ2 c . 灰度相似度函数 Ws ( x) 则为标准差为σs 的高斯滤波器 ,其通常定义为 : Ws ( x) = e - x 2 / 2σ2 s . 在实验中σc 和σs 分别设置为 3 和 012 , N ( u) 所表示的邻域的大小为 5 ×5. 双边滤波能有效地消除 所估算传播图中的多余细节 ,从而使经过该滤波所获 取的传播图能够较好地反映场景的景深信息. 对于监控视频而言 ,摄像头一般是固定的且安装 位置离地面距离较高 ,因此视频各帧的背景是不变的 , 并且前景目标与其背景之间在景深上的差异也通常较 小. 尽管针对单幅图像采用双边滤波求取传播图所获 得的最终去雾效果较好 ,但如果对每帧图像都采用此 滤波计算一次传播图必然需要耗费大量时间 ,从而无 法满足实际应用的实时性要求. 为了使一次计算得到 的传播图能应用到所有帧 ,此传播图应在反映景深信 息的同时 ,只包括场景目标的轮廓. 在此情况下 ,运动 的前景目标和图像的细节信息均可视作图像的“噪 声”. 由于基于 Rudin2Osher2Fatemi ( ROF) 模型的全变分 滤被证明对图像去噪较为有效 ,且对场景目标的边缘 无平滑影响 ,因此本文算法在利用双边滤波所获取的传 播图的基础上 ,又采用此全变分滤波器得到针对视频帧 的通用传播图. 图 6 表示视频片段 1 的去雾效果. 图中 , ( a) 和( d) 是从原有雾视频中任意选取的两帧. ( b) 是背 景图像经过双边滤波所得到的初始传播图. ( e) 是对 ( b) 进行全变分去噪滤波后得到的通用传播图. 该方法将由 背景图像得到的传播图应用于视频的所有帧 ,因此算法 速度快是其主要优点之一. 同时从视觉感知的角度来 看 ,最终的去雾视频帧也不存在重大失真. 2202 　　电 　　子 　　学 　　报 2011 年 4. 4 　场景辐照度复原 在求取大气光值 A 后 ,即可结合视频每一帧的图 像 I ( x) , 由式子 B ( x) = 1 - I ( x) / A 得到其对应的 B ( x) 图像. 再通过本文 413 节介绍的方法得到通用传 播图 t ( x) ,代入式 (3) 即可求得 C ( x) 图像 ,此图像相当 于从图像 B ( x) 中消除雾气 t ( x) 后得到的结果. 由此 , 最终的场景辐照度 J ( x) 可以表示为 : J ( x) = A (1 - C ( x) ) (10) 上式中的大气光值和传播图可分别由视频的第一帧和 背景图像估算出 ,然后即可应用于该视频的所有帧 ,从 而避免了对每一帧求 A 和 t ( x) 的重复运算. 在图 6 中 , ( c) 和 ( f ) 即为对任意选择的两帧( a) 和 ( d) 的场景辐照 度复原效果. 5 　实验结果及分析 　　视频去雾中有待进一步研究的问题还很多 ,特别 是各帧图像去雾效果的客观、定量评价问题尚未得到 很好的解决 ,原因如下 : (1) 没有一个理想图像可以作 为评价参考. 对视频去雾效果的评估不同于图像质量 评价或图像复原领域 ,在实际应用中与该视频各帧图 像场景完全相同的晴天参考图像无法轻易获得; (2) 任 何合理的评价测度都必须与人眼视觉系统相匹配 ,然 而视觉质量估计不是一个确定性过程. 等等这些原因 都使得对视频去雾的性能评估问题无法得到直接解 决. 为了对以上两种基于雾气理论的视频去雾方法进 行对比 ,本文主要考虑以下三种评价标准 :主观对比 ; 定量评估 ;运算速度. 5. 1 　去雾效果的主观对比 实验采用 Matlab 615 在 Pentium(R) D ,3100Ghz ,2GB 内存的 PC 机上对传统的视频去雾方法和本文提出的 从雾气角度出发的视频去雾方法进行了大量的对比实 验 ,图 7 即为采用文献[3 ]所代表的传统去雾方法和视 雾气为光路传播图的方法在去雾效果上的主观对比. 从图 7 中可以看出 ,文献[3 ]的传统去雾方法主要 存在两个主要问题 :一是该方法由于需对各帧的前景 子图像进行相关增强处理再与去雾处理后的背景图像 相融合 ,因而不可避免地会给最终的处理结果带来块 状噪声 ,如图 7 ( a) 所示 ;二是相关阈值选取所造成的运 动前景目标轮廓检测误差 ,如图 7 ( b) 所示. 本文所提出 的基于雾气理论的视频去雾方法不存在上述这些问 题 ,因此从主观上来看能获得比传统视频去雾方法更 优的处理效果. 实验证明 :将雾气视作遮罩或是看做传 播图的方法均能使原有雾视频各帧的对比度有较大程 度的提高. 5. 2 　去雾效果的定量评估 为了能客观地考察两种方法的去雾性能 ,考虑从 大气能见距离的定义[9 ]出发进行去雾效果的定量评 估. 根据能见度的定义 ,采用 Koheler 提出的基于对数图 像处理模型 (LIP) 的分割算法[10] ,得到去雾前后的视 频帧图像中局部对比度大于 5 %的边缘集 ,这些边缘即 为该帧图像的可见边. 图 8 给出了传统去雾方法[6 ]和本 文所提出的基于雾气理论的两种算法的可见边计算结 果. 由于此性能评价方法建立在大气能见距离定义的 基础上 ,综合考虑了能见度的因素 ,因此评估结果与人 眼视觉感知的结论相一致. 　　一旦得到局部对比度大于 5 %的对比度图 ,即可采用 以下两个指标从不同角度客观评价帧图像的去雾效果. (1) 新可见边集合数目比 e : 　　e = nr n0 (11) (2) 去雾前后平均梯度比 €r : 　　€r = …gr…g0 (12) 其中 , n0 和 nr 分别表示原有雾帧图像 I0 和去雾图像 Ir 中可见边的数目. 新可见边集合数目比 e 主要衡量在 去雾图像中生成新可见边的能力. …g0 和 …gr 分别表示图 3202第 　9 　期 郭 　　 :基于雾气理论的视频去雾算法 像 I0 和 Ir 的平均梯度. 去雾前后平均梯度比 €r 主要用 来评估算法的平均能见度增强效果. 对于每种算法 ,若 e、€r 值大于 1 ,则说明相对于原有雾图像 ,处理后的图 像具有更多的可见边和更高的能见度 ,且 e 和€r 值越 大 ,去雾效果越好. 采用这些评价指标对文献[ 3 ]的方 法和本文所提出的两种视频去雾方法进行定量评估 , 图 9 是对视频片断 1 (共 50 帧) 的计算结果. 此外 ,还分 别对三段视频片断求取了以上两个指标的平均值 ,实 验结果如图 10 所示. 从图中可以看出 ,文献[3 ]的方法 和本文提出的视雾气为遮罩以及视雾气为传播图的算 法的 e、€r 值都大于 1 ,说明这些算法均能有效地提高原 有雾视频各帧的对比度和清晰度. 同时相比之下 ,文献[3 ]的方法中其 e 和€r 值均小于基于雾气理论的两种去雾方法. 而对于本文所提出的两种去雾方法而言 ,前者比后者具有更多的可见边和更大的平均梯度值. 以上这些结论在图 7 和图 8 的视觉效果中也得到了证实. 究其原因 ,主要是视雾气为传播图的方法出于运算速度的考虑 ,采用“通用策略”将同一光路传播图应用于视频的所有帧 ,但各帧的雾气分布是存在细微差别的 ,因而最终的去雾结果有待完善. 而视雾气为遮罩的方法由于对视频的每一帧都求取了雾气遮罩以用于后续的操作 ,因而此算法能取得相对较优的去雾效果. 5. 3 　运算速度 对有雾视频进行去雾处理所需的时间长短取决于 该视频帧图像的大小以及场景的复杂程度. 传统去雾 方法由于需要提取视频背景图像和各帧的运动前景子 图像 ,再将两者的增强处理结果相融合 ,因而所需的运 算时间是三种算法中最多的. 而对于视雾气为遮罩的 去雾方法而言 ,由于算法需对每帧图像估算雾气遮罩 和进行积累直方图运算 ,因而需要耗费一定的时间. 相 比之下 ,视雾气为光路传播图的去雾方法结合大气散 射模型 ,并采用通用的传播图 ,其复杂度仅是视频帧总 像素数目的线性函数 ,这就使该方法的运算速度要远 远快于其它方法. 表 1 是以上这些算法的运算速度对 比表. 表 1 　运算速度 (帧/ 秒) 视频 序列 大小 文献[6 ]代表 的传统方法 视雾气为遮 罩的方法 视雾气为传 播图的方法 片段 1 480 ×270 ×50 0152 5 12 片段 2 350 ×197 ×80 0149 4 25 片段 3 210 ×118 ×100 0148 4 66 6 　总结与展望 　　视频去雾是计算机视觉领域的一个重要问题 ,具 有重要的实际应用价值. 本文提出了基于雾气理论的 视频去雾算法 ,即视雾气为遮罩或视雾气为光路传播 图的算法. 这些算法脱离了视频去雾的常规做法 ,考虑 从雾气的角度研究视频的去雾问题 ,从而拓展了此问 题的解决途径. 实验证明两种算法均能有效地提高原 4202 　　电 　　子 　　学 　　报 2011 年 有雾视频各帧的对比度和清晰度. 同时 ,视雾气为遮罩 的算法能取得相对较优的去雾效果 ,而视雾气为传播 图的算法则处理速度相对较快. 在实际应用中可根据 需要选取相应的算法. 我们未来将调节色彩的白 平衡算法结合到本文的方法中去 ,在改善去雾结果色 彩的同时达到最优的去雾效果;另外在积累直方图运 算或全变分去噪滤波方面 ,可以采用基于图形硬件的 加速算法 ,以提高算法整体的效率 ,达到实时处理. 参考文献 [1 ] S G Narasimhan , S K Nayar. Contrast restoration of weather degraded images [J ] . IEEE Transaction on Pattern Analysis and Machine Intelligence ,2003 ,25 (6) :713 - 724. [2 ] Gong Chen , Heqin Zhou , Jiefeng Yan. A novel method for moving object detection in foggy day [ A ] . Proceedings of the 8th ACIS International Conference on Software Engineering , Artificial Intelligence , Networking , and Parallel/ Distributed Computing [ C ] . Qingdao , China : IEEE Computer Society , 2007. 53 - 58. [3 ] J J one ,M Wilscy. Enhancement of weather degraded video se2 quences using wavelet fusion[ A ] . Proceesings of the 7th IEEE International Conference on Cybernetic Intelligent System [ C ] . London ,U K:IEEE Computer Society ,2008. 1 - 6. [4 ] Zhiyuan Xu , Xiaoming Liu , Xiaonan Chen. Fog removal from video sequences using contrast limited adaptive histogram e2 qualization [ A ] . Proceedings of International Conference on Computational Intelligence and Software Engineering [ C ] . Wuhan , China :IEEE Computer Society ,2009. 1 - 4. [5 ] E H L ,J McCann. Lightness and retinex theory [J ] . J ournal of Optical Society of America ,1971 ,61 (1) :1 - 11. [6 ] E J McCartney. Optics of Atmosphere :Scattering by Molecules and Particles [ M ] . New York :J ohn Wiley and Sons ,1976. 23 - 32. [ 7 ] Dongbin Xu , Chuangbai Xiao. Color2preserving defog method for foggy or haze scenes [ A ] . Proceedings of the 4th Interna2 tional Conference on Computer Vision Theory and Applications (VISAPP) [ C ] . Algarve , Portugal : IEEE Computer Society , 2009. 69 - 73. [8 ] Kaiming He , Jian Sun , Xiaoou Tang. Single image haze re2 moval using dark channel prior[ A ] . Proceedings of IEEE Con2 ference on Computer Vision and Pattern Recognition ( CVPR) [ C ] . New York , USA : IEEE Computer Society , 2009. 1956 - 1963. [9 ] CIE 17. 4 - 1987 , International Lighting Vocabulary[S ] . [10 ] R Kohler. A segmentation system based on thresholding [J ] . Graph Model Image Processing ,1981 ,15 (2) :319 - 338. 作者简介 郭　　　女 ,1982 年生于湖南长沙. 中南大 学信息科学与工程学院博士研究生. 研究方向为 数字图像处理、虚拟实验环境. E2mail :guofancsu @163. com 蔡自兴　男 ,教授、博士生导师 ,国际导航与 运动控制科学院院士、中国人工智能学会副理事 长、中国自动化学会理事. 1938 年生于福建莆 田. 主要从事人工智能、机器人、智能控制等方面 的研究工作. 谢　斌　男 ,1983 年生于湖南长沙. 中南大学信息科学与工程学 院讲师、博士. 研究方向为智能机器人、信号处理. 5202第 　9 　期 郭 　　 :基于雾气理论的视频去雾算法