基于互相关系数和交叉投影的车辆阴影消除

基于互相关系数和交叉投影的车辆阴影消除 Vo l110 No16 Feb12010 第 10卷 第 6期 2 010年 2月 科 学 技 术 与 工 程 ( ) 1671 - 1815 2010 6 21430204 Sc ience Techno logy and Enginee ring Ζ 2010 Sci1Tech1Engng1 基于互相关系数和交叉投影的车辆阴影消除 宋延珍李孝安 () 西北工业大学计算机学院 ,西安 710129 摘 要 在交通视频监控系统中 ,运动车辆存在的阴影严重影响了系统的检测效果 ,而单一的阴影消除算法不能有效地消除阴影 。为解决该问题 ,提出了一种分两步完成的运动车辆阴影消除方法。该方法首先利用阴影和背景亮度之间的互相关系数 进行初步阴影消除 ,然后根据车辆近似为矩形区域的特点采用垂直 2水平交叉投影的方法确定车辆 /阴影间的分割线 。实验结 果明该方法能有效地消除车辆阴影 。 关键词 交通视频监控系统阴影消除互相关系数交叉投影 中图法分类号 TP391141; 文献标志码 A 近年来 ,交通视频监控技术以其处理速度快、监相似性 ,两个信号越相似 ,互相关系数的值越接近于视范围广 、获取交通参数多等优点成为了许多城市 1。由此 ,我们首先采用阴影亮度和背景亮度的互相 交通管理体系中的重要技术之一 。该技术以计算机 关系数消除阴影区域。由实验得知 ,该方法能够有 图像处理为基础 ,对车辆进行检测识别 ,其关键环节 效地消除大部分阴影像素 ,但仍留有部分阴影像素 是运动车辆的提取 。但在实际应用过程中运动车辆 点 ,依然影响着车辆的准确分割定位。随后 ,本文利 常常伴有阴影 ,且阴影与车辆本身的运动特征相同 , 用垂直 2水平交叉投影的方法确定车辆 /阴影分割 使得阴影也被当作运动目标提取出来 ,导致提取的 线 ,提取出运动车辆。实验证明本文方法准确有效。 车辆形状扭曲或多车辆间的粘连 ,严重影响后续车 辆分类和跟踪的可靠性。 近年来 ,国内外学者提出了多种阴影消除方法。 1 Phong光照模型文献 [ 1 ]的方法认为阴影降低了所覆盖区域的亮 度 ,但色度和饱和度在一定范围内变化 ,从而在 H S I 在交通视频监控系统中 ,点光源认为是太阳 ,环颜色空间上对阴影进行检测 。文献 [ 2 ]的方法认为 境光则为天空折射的太阳光 ,及周围物体漫反射的 阴影区域是半透明区域 ,保留了背景的纹理信息 ,采 太阳光 。根据 Phong光照模型 ,物体被感知的亮度 I 用梯度算子 ,以度量平坦度的方式去除阴影。 [ 3 ]由对点光源的漫反射、镜面反射及对环境光的漫反 本文依据 Phong光照模型 得出阴影亮度与背 景亮度近似成线性关系。经典概率论认为成线性关 射组成 ,即 [ 4 ] 系的两个随机变量其互相关系数 为 1。在信号处 n θ α( )I = Ik+ Ikco s+ Ikco s 1 理中 ,互相关系数经常被用来衡量两个信号之间的 a a l d l s ( ) 式 1 中 k , k , k 分别为物体对环境光的漫反射系a d s 数 ,对太阳的漫反射系数及对太阳光的镜面反射系 θ 数 ; I , I 分别为环境光及太阳光强度 ; 为太阳光与a l α 物体表面法线之间的夹角 ; 为反射光与视线间的 夹角 ; n 为镜面反射参数。 考虑到实际自然场景中 2009 年 10 月 2 日收到 ( ) 第一作者简介 : 宋延珍 1983 —,河北人 ,硕士研究生 ,研究方向 : 多 绝大部分区域为非光滑 媒体智能信息处理。 n α 区域 ,镜面反射分量 Ikco s= 0 。漫反射系数取 l s 决于物体表面特征 ,所以物体对环境光的反射系数降低误检率且提高处理速度 。 k和对太阳光的漫反射系数 k是相同的 ,即 k= k。 a d d a 阴影的形成是因为物体遮挡了点光源的直接照射 , 2. 2 基于交叉投影确定车辆 /阴影分割线( )其被感知的亮度为 I= Ik。结合式 1 可得 : s a a 经基于亮度互相关系数的阴影消除后 ,车辆包 I a ( )= I 2 II, = P θ I co s+ I s含有车辆本身的绝大部分像素和少量的阴影像素 , l a 反映在投影值曲线上就是车辆和阴影间存在明显的 I a ( ) 式 2 中 , P =? [ 0, 1 ] 。( ) 分割线 。分割线的特点为 : 1 投影值会在分割线 θ Ico s+ I l a上产生突变 ,本文用相邻坐标投影值之间的差值表 在小区域内 ,阳光与物体表面法线之间的夹角( )示 ; 2 分割线两边的投影值总体相差较大 ,本文用 θ可看作是近似不变的 ,因此我们可以得到结论 : 在 ( ) 投影值的均值来表示 ; 3 由于在实际的交通监控 小区域范围内阴影与背景之间的亮度近似成线性 系统中影响准确提取车辆的阴影较大 ,分割线距离 关系。 目标边界应有一定距离 ,本文用分割线到其中一条 边界的距离与两个边界之间距离的比值表示阴影大 小和目 标 大 小 的 比 例 , 设 该 比 值 的 最 小 阈 值 为 2 阴影消除( ) T 0 < T < 1 。下面以垂直投影为例分割线的 确定方法 : 2. 1 基于亮度互相关系数的阴影消除在目标的最小外接矩形内 , 设其大小为 M ′× 将目标前景和相应背景分别标记为 C 和 B ,对 ( ) N ′,计算垂直投影函数 fx : y N ′- 1 于窗口为奇数的区域 ,大小设为 M ×N ,中心像素点 ( ) x, y 的前景亮度和背景亮度的互相关系数可定 义为 : ( )( )4 ( ) fx = O b jx, y , x ? [ 0, M ′- 1 ] y ? 1 = 0 y CB - CB ijijij ij ??? M i, j i, j i, j 为目标点 ,1 , x, y ρ( )x, y = CB ( )( ) 式 4 中 , O b jx, y =2 2 2 非目标点。 x, y CB B - MN C - MNB ijijij, 0 ??i, j i, j ( ) ( ) 相邻坐标垂直投影的差值 d if x 可以由式 5 ( )3 ( ) ( ) 求出 。标记出所有满足条件 6 , 7 的横坐标 i ? 1 1 B = ( ) B , 式 3 中 , C =, ijC ij ? , i} 。若 i为空集 , 则表示没有垂直分割 { i, i, ?n 1 2 M N M N i, j i, j 线 ,即车辆在水平方向上没有剩余阴影 。若 i非空 , 1M - 1M - ?i , x - , x +则在这些坐标中寻找使左右两边投影直方图的均值 22 相差最大的坐标点 i′为车辆与阴影之间的垂直分割 N - 11 N - ?j y - , y +线的横坐标。i 两边投影值的均值差由式 ?计算 2 2得到 。 由上述 Phong光照模型分析可知 : 阴影亮度和 背景亮度的互相关系数的绝对值应该ρ( )x, y ( )d if x = , x ? [ 0, M ′- 2 ]CB ( )( )fx + 1- fx y y 趋近于 1 ,而车辆和背景的应该很小 ,从ρ ( ) x, y CB ( )5 而我们设定门限值 T h 。如果大于 T h ,ρ ( ) x, y 1 CB ( ) ( ( ) )m ax f x ( ) d if x >6 y 3 则将其判定为阴影像素 ;否则将其判定为目标车辆 。 ( ) 因为在目标区域中比背景亮度高的像素点肯定 m in x, M ′- x ( )> T 7 M ′不属于阴影区域 ,所以在实际应用中我们可以只在 1432 科 学技术与 工 程 10卷 i - 1 M ′- 1( ) 的最小外接矩形 ;图 1 c的灰色区域是采用基于亮( ( ))fx fx y y ??度互相关系数消除阴影后的运动目标 。可见该方法 ( ) ( ) m ea n _d iff i= x = 0 8 x = i′- 消除了绝大部分阴影像素 ,同时保留了足够的车辆 M ′- ii 像素点 ;而基于交叉投影的方法则准确地检测出了 假定分割线两边均值较大的一边为车辆目标所 车辆 /阴影分割线 , 成功地将剩余阴影像素分离出 在区域 ,在此区域内还需确定水平分割线 。确定水 去 ,车辆 /阴影分割线用两个像素宽的黑色直线表 平分割线的方法与确定垂直分割线的方法类似 ,不 ( )示 ,并在图 1 a中用白色线条画出消除阴影影响后 再累述 。 提取的目标车辆最小外接矩形 。视频序列二存在车 为解决实际交通场景中由于阴影导致的车辆粘 辆粘连的情况 ,其阴影消除效果如图 2 所示。 (连问题 ,我们统计初次判断出的非目标区域 即分割 )线两边均值较小的区域 的像素个数 ,如果大于设定 的最小目标像素数 N,则在该区域内继续进行交 m in R 表示车辆的实际位置矩形区域 , R若以 rea l seg 叉投影操作 ,直至分割出的非目标区域像素数小于 表示去阴影后分割出的车辆矩形区域 。车辆定位精N。m in ,其中 RA Ε 80 % 表示定 度 RA =/ R rea l ? RR rea l seg 位准确 ,可用于车辆跟踪 、分类 。定位率为车辆定位 准确的帧数除以含有该车辆的总帧数 ; 误定位率指 视频中车辆错误定位的帧数和总帧数的比值。将视 3 试验结果及分析 () 频序列一中白色车辆 上 记为车辆 1、白色车辆 ()下 记为车辆 2、视频序列二中绿色大车记为车辆 为验证本文算法的有效性 ,采用西安市某路段 的两段交通视频作为实验样本 ,给出实验结果分析 3、黑色小车记为车辆 4 ,其定位率统计表如下所示 , 及统计意义上的定位精度 。在实验中 ,互相关系数 可见车身颜色与阴影相差较大的车辆编号为 1、2、3 的窗口大小为 3 ×3 ,门限值 T h 为 0. 90 ,阴影目标 车辆正确定位率较高 ,由于车辆并非总是直线运动 , 有时车身方向与垂直方向夹角较大 ,从而导致少量 1 的比例阈值 T 为 ,最小目标像素数 N为 30 。m in 20 的错误定位。由于车辆 4较小且车身亮度与阴影亮 度相近 ,车身上部分像素被当作阴影消除 ,造成车辆 过分割 ,使得车辆定位率下降。 表 1 车辆定位情况统计表 ( ) ( ) ( ) a当前帧b车辆检测c去阴影效果 车辆含有该车正确定位定位率错误定位误定位率 视频序列一去阴影效果图 图 1编号 辆的帧数 车辆帧数 车辆帧数 / % / % 1 83 79 95. 18 4 4. 82 2 87 84 96. 55 3 3. 45 3 67 64 95. 52 3 4. 48 4 59 50 84. 74 9 15. 26 ( ) ( ) ( ) a当前帧b车辆检测c去阴影效果 视频序列二去阴影效果图 图 2 4 结论 视频序列一的车辆阴影效果如图 1 所示。图 本文提出了一种交通视频监控中基于前景亮度( )( )1 a为当前帧 ;图 1 b显示了背景差法检测出的运 和背景亮度互相关系数和垂直 2水平交叉投影的运 动区域 ,用灰色表示 ,此时没有进行阴影消除操作 , ()( )车辆形变严重 ,在图 1 a用黑色线条画出此时目标 下转第 1442 页 ( ) the 33 rd A nnual H awaii In t’l Conf on System Sc ience s. M au i: IEEE—669Mob ile Comp u ting, 2004; 3 4 : 660 Comp u te r Soc ie ty, 2000: 3005 —3014 4 H e inze lm an W , Chand raka san A , B a lak rihnan H. A n app lication2 3 Youn is O , Fahm y S. H eed: a hyb rid ene rgy2efficien t d istribu ted sp ec ific p ro toco l a rch itec tu re s fo r w ire le ss m ic ro sen so r ne two rk s. IEEE clu ste ring app roach fo r ad2hoc sen so r ne two rk s. IEEE Tran sac tion on ( ) Tran s on W ire le ss Comm un ica tion s. 2002; 1 4 : 660 —670 C luster ing A lgor ithm Ba sed on M ax im um 2vote for W ireless Sen sor Networks L I Guang2lin, ZHU Yi2an, SUN Zhan2zh i ( ) Schoo l of Comp u te r, No rthweste rn Po lytechn ica l U n ive rsity, X i’an 710129 , P. R. Ch ina [ A b stra c t] In c lu ste ring w ire le ss sen so r ne two rk s, the se lec tion of c lu ste r head s wou ld d irec tly affec t the ne two rk’s life tim e. A c lu ste ring a lgo rithm ba sed on m axim um 2vo te is p re sen ted. Th is a lgo rithm con side red the re sidua l ene rgy of node s and ne two rk topo logy. Each node wa s cho sen to c lu ste r head acco rd ing to the vo te s of a ll h is ne ighbo r node s. Th is a lgo rithm is en tire ly d istribu ted and indep enden t of the ne two rk ’s size and struc tu re. Sim u la tion re su lts show tha t th is a lgo rithm is sca lab le and h igh ly ene rgy u tilized and a lso can extend the ne two rk’s life tim e sign ifican tly. ()[ Key word s] m axim um vo te s c lu ste ring a lgo rithm w ire le ss sen so r ne two rk s W SN () 上接第 1432 页 动车辆阴影消除方法 。实验证明该方法可有效消除 2 李忠武 ,高广珠 ,余理富 ,等. 图像序列目标检测中阴影的消除. 计 ( ) 算机应用研究 , 2004; 21 5 : 205 —206 阴影对车辆提取定位的影响。如何有效区分黑色车 3 杜有田 ,陈 峰 , 徐文立. 基于区域的阴影检测方法. 清华大学学 辆和阴影是下一步研究的重点 。 ( ) 报 , 2006; 46 1 : 141 —144 4 高广珠 ,李忠武 , 余理富 ,等. 归一化互相关系数在图像序列目标 ( ) 检测中的应用. 计算机工程与科学 , 2005; 27 3 : 38 —41 参 考 文 献 1 郭, 刘富强 ,黄宇晖 ,等. 基于 H S I颜色空间的车影去除方法 ( ) 的改进. 辽宁工程技术大学学报 , 2008; 27 4 : 568 —571 Veh icle Shadow Rem ova l Ba sed on Cross2correla tion and O rthogona l Projection SON G Yan2zhen, L I X iao2an ( ) Schoo l of Comp u te r Sc ience and Enginee ring, No rthwe ste rn Po lytechn ical U n iversity, X i’an 710029 , P. R. Ch ina [ A b stra c t] Focu sing on the p rob lem tha t the shadow s coup led w ith moving veh ic le s have se riou s influence on ob jec t de tec tion and segm en t in traffic video su rve illance, a two2step a lgo rithm of shadow remova l is p re sen ted. In the m e thod, by adop ting the c ro ss2co rre la tion be tween illum ina tion of shadow and tha t of background, mo st shadow p ixe ls a re d irec tly e lim ina ted, and then, the sp lit line be tween veh ic le and shadow is de te rm ined u sing ho rizon ta l2 ve rtica l o rthogona l p ro jec tion. Exp e rim en ta l re su lts demon stra te tha t the a lgo rithm remove ca st shadow effec tive ly. c ro ss2co rre la tion [ Key word s] traffic video su rve illance system shadow remova l o rthogona l p ro jec tion