基于总变分模型的光照不变人脸识别算法

基于总变分模型的光照不变人脸识别算法 中国图象图形学报Vo .l 14 , No. 2 第 14卷 第 2期 2009年 2月Feb. , 2009 Jou rna l of Im age and Grap h ic s 基于总变分模型的光照不变人脸识别算法 张熠张桂林 () 华中科技大学图像识别及人工智能研究所图像信息处理与智能控制教育部重点实验室 , 武汉 430074 摘 要 提出了一种基于 L1总变分模型的对数商图像光照不变人脸识别算法 。用 L1 总变分模型作为低通滤波算子对图像平滑滤波 ,得到图像光照分量的估计 ,然后在对数域中定义原图像与其光照分量的商为光照归一化图 像 ,并用该图像作为光照不变量进行人脸识别 。基于 L1总变分模型的平滑滤波具有较好的边缘保持作用 ,能有效 地消除光晕现象 ,并且参数设置简单 。在 Ya leB 和 CMU P IE 人脸图像库上的试验结果表明 ,该算法能有效地提高 人脸识别系统在不同光照条件下的识别率 。 关键词 商图像 总变分模型 光照归一化 人脸识别 ( ) 文章编号 : 100628961 2009 02 20208 206 中图法分类号 : TP391文献标识码 : A An Illum ina t ion In va r ian t Fa ce Recogn it ion A lgor ithm Ba sed on To ta l Va r ia t ion M ode l ZHAN G Yi, ZHAN G Gu i2lin ( S ta te Educa tion Comm ission Key L abora tory for Im age P rocessing and In telligen t Con trol, Institu te for Pa ttern R ecogn ition and )A rtif icia l In telligence of Huazhong U n iversity of S cience and Technology, W uhan 430074 A b stra c t A n illum ina tion inva rian t face recogn ition a lgo rithm ba sed on L1 to ta l va ria tion mode l is p ropo sed. It e stim a te s the illum ina tion from im age s u sing L1 to ta l va ria tion mode l a s a low p a ss filte r. Then in log fie ld, the log quo tien t im age is defined a s the quo tien t of the o rigina l im age and its illum ina tion and is u sed a s no rm a lized illum ina tion inva riance fo r face recogn ition. TV 2L1 ba sed smoo th ing filte r p re se rve s the edge s be tte r and can remove ha lo effic ien tly. Its p a ram e te r se lec tion is a lso simp le r. Exp e rim en ta l re su lts on Ya leB and CMU P IE face da taba se s show tha t the a lgo rithm can effec tive ly imp rove the face recogn ition ra te unde r va rying ligh ting cond ition s. Keyword s quo tien t im age, to ta l va ria tion mode l, illum ina tion no rm a liza tion, face recogn ition [ 2 25 ] 照变化的处理算法 ,典型的可以分为 4 类 : 一是 抽取图像的光照不变特征 ; 二是研究图像的光照归 1 引言 一化表示 ;三是建立图像在所有可能光照条件下的 对光照变化的研究在计算机视觉和模式识别中图像模型 ;四是利用形状和反射率参数已知的人脸 [ 2 ] 是一项非常重要的任务 ,特别是在人脸确认或人脸 3维模型来去除光照影响 。例如光照锥方法 、球[ 3 ] [ 4 ] 面谐波方法 、基于商图像的方法 和 3 维模型方 识别系统中 ,当图像中存在非均匀光照影响时 ,现有 [ 5 ]法 等 ,然 而 这 些 方 法 或 者 仅 对 较 小 光 照 变 化 适 的人脸 识 别算 法如 本 征 脸 E igenface、F ishe rface、贝 应 ,或者需要有大量不同光照条件下的训练集图像 , 叶斯双子空间 、主动表面模型方法 、弹性模量匹配 、 支持向量机等方法的性能都会 出现 较大 幅 度的 下 ,或者需要准确的图像分割 、或者需要估计光源方向 [ 1 ] 降 。近年来 ,研究人员提出了各种针对图像中光 图像对齐等预处理 ,都对图像数据很高 ,计算量 收稿日期 : 2007 204 212;改回日期 : 2007 211 201 ( ) 第一作者简介 :张 熠 1978 , ,女 。华中科技大学模式识别与智能系统专业博士研究生 。主要研究领域为图像处理 、模式识别 、人脸 识别等 。 E2m ail: z—y@ sohu. com 大 ,无法满足现实任务下的要求 。,持了具有分类能力的图像细节 。该算法模型简单 作为预处理技术 ,图像的光照归一化算法具有 需要设置的参数少 ,并且能有效地消除归一化图像 实时 、简单的优势 ,它通过图像变换从非均匀光照图 中的光晕现象 ,从而提高人脸识别系统在不同光照 条件下的识别率 。像中去除光照的影响得到无光照变化图像 。目前 , 研究人员已提出了许多光照归一化算法来对一幅含 [ 4 , 6 ] 有非均匀光照影响的图像进行归一化 。总体来 2 总变分 2L 1 模型 ( TV2L 1 ) ( )( )说 ,这些方法模拟图像 I x, y 为光照分量 L x, y 和 ) ( ( ) ( ) ( ( ) 反射分量 R x, y 的乘积 I x, y = L x, y ?R x, 总变分模型由 R ud in, O she r和 Fa tem i RO F 等) y , 假定光照分量 L 变化缓慢而反射分量 R 变化剧 人提出 ,是图像复原领域的经典模型 ,主要解决从观 烈 , 通过估计光照分量 , 进而得到图像的反射分量 , 测图像中恢复原始图像的图像逆处理问题 。图像逆 [ 7 ] ( ) 以反射分量 R x, y 作为光照不变量实现图像的光 ()处理问题 也称为反卷积问题 属于病态问题 ,传 照无 关 处 理 。然 而 , 从 I 恢 复 R 是 一 个 病 态 问 统的规整化方法是加入解的平滑性约束 ,然而实际 [ 7 ] 题 , 假设光照分量的变化远远缓慢于反射分量的 图像中总有许多边缘和点构成的细节 ,解的平滑意 变化 , 同态滤波算法在图像对数频率域进行高通滤 味着损失这些有用信息 ,而总变分模型则是一种在 波 , 从而分离出高频的反射分量 R 作为光照无关量 图像平滑的同时以保存图像细节为目标的规整化方 [ 8 ]的估计 。类似地 , L and等人的“R e tinex”模型 用低 法 ,因此 ,可以利用它作为低通算子来对图像滤波 , 通滤波估计光照分量图像 L 。然而这种光照分量变 ( ) 以达到边缘保持的图像平滑效果 。设 i x, y 为已 化缓慢的假设对于自然光照场景图像并不满足 , 如 知观测图像 , 它可以是原始图像也可以是原始图像清晰的阴影边缘会造成光照分量的突变 。因此 , 普 的增强图像 , 含有噪声污染或运动模糊 。根据总变 通的低通滤波操作会在图像的高频纹理细节区域产 ( ) ( ) ) ( 分模型 , 可以表示为 i x, y = u x, y + v x, y , 其 生光晕 。为消除光晕现象 , 研究人员现已提出了许 ( )( ) 中 u x, y 表示待恢复图像 , v x, y 表示噪声和细节多针对滤波的改进算法 , 如 Job son的多尺度 R e tinex ( ) 纹理 , x, y 表示像素点 。可以通过解如下变分最[ 9 ] [ 4 ]() 方法 , Tum b lin 等人的低曲率图像简化 LC IS方 u : 优化问题从 i估计 [ 10 ] 法 ,然而这些方法只能部分消除光晕 ,但存在参 λ ( )A u +dx dy1 m ini - u L 1 数选择困难 ,参数个数多的缺点 。最近 , W ang等人 Ω?u [ 6 ] ( ) 提出了自商图像模型 SQ I,该模型用图像和自 A u 是待恢复图像 u 在, 第 1 项正则化项式中 身加权高斯平滑图像的商图像 作为 光照 归 一化 结 Ω? 果 。这种方法处理简单 ,可以应用于任何单幅图像 , Ω 其支撑域 中的总变分 , A 为图像梯度算子 , 支撑然而加权的高斯滤波器参数的选择比较困难 ,并且 2 Ω 域 为整个图像 。相对于传统 A u 梯度平方 Ω?加权的高斯平滑不能很好地保存低频光照分量场中 () 的正则化对较大梯度变化的大惩罚 平方惩罚 , 总的显著边缘细节 。为了对图像进行边缘保持的平滑 变分正则化项对所有图像灰度变化加以均匀惩罚 , 滤波 , Chen等人提出了用总变分模型来进行图像分 ( ) 最小化该项使解图像 u x, y 满足平滑性约束的同 [ 11 ] 层及背景校正的算法 。 为了克服低通滤波存在时具有一定的大边缘保持特性 。第 2项为保真项用 的问题 ,本文提出了一 以度量解图像和观测图像的相似程度 , 使得解图像 种在图像对数域中用总变分 2L1 模型作为边缘自适 λ在范数距 离 下最 大地 接 近观 测 图 像 。为 非 负 实 数 , 控制了正则项和保真项的相对关系 , 当度量范数 应低通滤波算子来估计光照分量的方法 ,并定义图 为 L2时即为经典图像去噪的 RO F模型 ,为 L1 时为 ()像与其总变分平滑图像的对数商图像 LQ I为光照 TV 2L1 模 型 。通 过 对 L1 , L2 模 型 的 分 析 研 究 表 归一化结果图像 ,然后利用得到的商图像作为人脸 [ 4 ] 明 ,由于 L2 范数对大的 i - u 差值惩罚大于小的 图像的光照不变量来进行人脸识别 。利用总变分模 差值 , 因而适合用于去除造成像素灰度突变的噪声 。型作为滤波算子进行图像平滑具有很好的边缘保持 特性 ,即对平滑加以局部的适应性控制 ,使得在图像 中国图象图形学报第 14卷210 δ ε L1 范 数 度 量 的 凸 优 化 问 题 等 价 于式中 ,> 0 为小的正常量以避免分母为零 。初始性 。因此采 用 求解 :化解图像为观测图像 i, 经过 N 次迭代收敛得到具 ( ) 有局部边缘自适应性的平滑图像 u x, y , N 为迭代 ( )m in A u λ dx dy i - u 2 + 次数 。u Ω? ( ) λ 设 F x, y, u, u, u= A u +i - u 表示 x y 3 对数商图像光照归一化能量函数 , 其中 u, u表示 u 在 x, y 方向上的偏导 , x y ) ( 则变分问题 m in F x, y, u, u, udx dy的 解满足如 x y 当图像中存在较大非均匀光照影响时 , 图像内 u Ω? 下 Eu le r2L agrange方程 : 容往往被覆盖在较暗的区域 , 基于对数变换的图像 增强技术可以有效地扩展低值 灰度 而 压缩 高值 灰 5 5 ( )3 F- F- F= 0度 , 使低值灰度的图像细节得到增强 。因此 , 对于已 u u u x y 5x 5y ( ) ( ) 知的观测图像 I x, y , 进行对数增强得到 i x, y = 5F5F 2 2( ( )) ( ) log I x, y , 并用 i x, y 作为待研究图像 , 根据假 代入 : | A u | = + u, F = , F= , F= u x y u u u xy5u 5u x 设有 5F , 并化简得到 :( ) ( ) ( )( ) 8 i x, y = r x, y ? l x, y 5u y ( ) 式中 , r x, y 为反射分量 , 由成像物体表面反射率和 A u i - u Δ λ H = d iv ( )+= 04 ( ) | A u | | i - u |材质决定 , l x, y 为光照分量 , 其性质取决于光源 。 一般认为反射分量远远小于光照分量 , 且光照分量T ( ) ( ) 式中 , A u 为梯度矢量 A u x, y = u, u, d iv为 x y 与图像的灰度值较为接近 。用总变分模型作为低通 T ( ( ( ( ( ) ) )) )d iv f 矢量散度 :设 f x, y = fx, y , fx, y , 则 1 2 ( ) 滤波算子 F x, y , 得到光照分量的估计为 5f 5f 1 2( )= + 。展开式 4 中的 H 如下 :^ 5x 5y ( ) ( ) ( ) ( ) ( )9 l x, y = u x, y = i x, y 3 F x, y T ()3 表示信号卷积 , 定义对数商图像 LQ I为 u u i - u yx λ H = d iv +, | i - u | | A u | | A u | ( ) ( ) i x, y i x, y ( ( )) = Ix, y =10 LQ I uu xy( ) u x, y ^ ( )l x, y 5 5 2 2 2 2 u+ uu+ u x yx y i - u λ= + +( )( )式中 , u x, y 为由 i x, y 用第 2 节 TV 2L1 模型估计 x 5y 5| i - u | 2 2 得到的具有局部边缘适应性的平滑图像 。商图像的 uu- 2 uuu+ uu xx y x y xy y y x i - u = λ +光照归一化作用来自于假设 :图像中大范围变化缓 2 2 2 ( )ui - u + u x y慢的低频成分是由光照变化影响的结果 , 用类低通 ( )5 滤波算子滤波得到的图像可以被认为反映了光照的 使用梯度下降法构造迭代方程并离散化为变化图像 , 因此 , 用平滑图像做逐像素的商运算就实 ( ) ( )n + 1 n 现了针对光照的归一化 , 从而得到图像的光照不变 ( ) u - u n ( )= H = i 6 u ,( ) n n = 0 u ) ( 表示I x, y 。而与自商图像的各向异性高斯算 LQ I Δ t 子滤波方法不同的是 , 用 TV 2L1 模型估计光照变化 Δ( ) n 步 的 迭代 表 ,t为步长 , 代入式 5 得到第式中 图像 , 既能消除普通低通算子作用在高频区域留下 达式 :的光晕现象并有一定的边缘保持特性 , 这样更符合 ( ) ( )n + 1 n u - u 人眼的对边缘信息知觉敏感度大的视觉特性 。同时Δ tλ λ该模型参数的设置也非常简单 , 只有一个参数 , ( ) ) ( n2 n 2 ε) (( ε) (( ) +- 2 uuu+ uu) +uu x y xy yy xxx y的选择与图像尺度有关 , 与图像中人脸各部件相对 = + ( ) ( ) n2 n2 ( ) ( ) ε+ u+ u y x大小有关 , 对于本文使用 48 ×42 大小的图像 , 根据 ( )n i - u ( )λ n试验选取 = 115,2。图 1 为 CMU P IE中人脸图像 λ( )= i 7 u, n = 0 ( ) n2 δ( λ) i - u +用本文方法选取不同 处理的结果 。 λ 图 1 P IE图像不同 处理结果 λF ig11 R e su lts on P IE im age w ith d iffe ren t λ λ 从图中看出 , 决定了总变分项和保真项的相解光照图像越模糊 , 而 增大时 , 解图像越接近原 λ对比重 , 当 取值较小时 , 平滑的总变分项占主导 ,始图像 , 平滑越弱 。 中国图象图形学报第 14卷212 表 1 模板匹法在 Y a leB库上的识别率( 图 2为 Ya leB 人脸图像库中 B 01 P00 Ya leB 库 Ta b11 Recogn it ion ra te u s in g tem p la te )第 01 号对象的第 00 号姿态 , 00 姿态为正面人脸 m a tch in g on Y a leB 从 4 个子集中选出的人脸图像用各种光照归一化方 单位 : % 1 2 3 4 测试集法处理的对比结果 。从图中看出 ,直方图均衡只能 None 100 94117 183 128 6029有限地提高图像对比度 ,而用加权高斯滤波方法得 H E 100 97150 80100 50171 到的自商图像虽然能较好地去除光照影响 ,但是高 98133 95147 SQ I 100 100 斯低通滤波对清晰阴影边缘的放大和模糊将会直接 LQ I 100 100 99164 97172 影响识别结果 。而本文对数商图像的结果则有明显 表 2 模板匹配方法在 P IE库上的识别率改进 。 Ta b12 Recogn it ion ra te u s in g tem p la te m a tch in g on P IE 单位 : % 4 试验结果 None H E SQ I LQ I 33189 55118 91160 95173 识别率 为了验证算法的 有效 性 , 本文 分别 采 用 Ya leB [ 12 ] 人脸图像库和 CMU P IE光照变化人脸图像库进 行识别率测试 。其中 Ya leB 中包括 10 个对象 ,选取 ( ) 每人的 45 张正面样本集 P00 并除去 6 张损坏图 像 ,共 444 张图像用来试验 ,所有人脸图像仅含有光 ()照角度变化 ,并根据变化角度 相对于光轴方向 分 为 sub se t01 < 12 , ? 20 ?< sub se t02 < 25 , ? 35 ?< sub se t03 < 50 ,? 60