多姿态人脸识别综述

模式识别与人工智能Vol.28 No.7PR&AIJul. 2015 * 第28卷 第7期2015年7月多姿态人脸识别综述 邹国锋1 傅桂霞1 李海涛1 高明亮1 王科俊2 1(山东理工大学电气与电子工程学院 淄博255049)2(哈尔滨工程大学自动化学院 哈尔滨150001) 摘 要 多姿态人脸识别已成为人脸识别研究的重要方向之一.简要回顾人脸识别研究进展,针对近年来国内外出现的多姿态人脸识别技术和方法进行简单介绍和系统分类,各种方法的优缺点,并做出简要评价.阐明多姿态人脸识别技术所面临的挑战,展望未来多姿态人脸识别研究的发展方向. 关键词 多姿态人脸识别,二维单视图,二维多视图,三维多姿态人脸识别 中图法分类号 TP391.41DOI 10.16451/j.cnki.issn1003-6059.201507005 ASurveyofMulti-poseFaceRecognition 1(CollegeofElectricalandElectronicEngineering,ShandongUniversityofTechnology,Zibo255049)2ZOUGuo-Feng1,FUGui-Xia1,LIHai-Tao1,GAOMing-Liang1,WANGKe-Jun2(CollegeofAutomation,HarbinEngineeringUniversity,Harbin150001) ABSTRACT Multi-posefacerecognitionhasbecameoneofimportantresearchdirectionsoffacerecognition.Inthispaper,theresearchprogressoffacerecognitionisbrieflyreviewed.Multi-posefacerecognitiontechniquesandmethodsathomeandabroadinrecentyearsareintroducedbrieflyandcategorized made.Thechallengesofmulti-posefacerecognitiontechnologyareelucidated,andthedevelopmentdi-rectionofthefutureresearchonmulti-posefacerecognitionisdiscussed. 3DMulti-poseFaceRecognitionsystematically.Theadvantagesanddisadvantagesofeachmethodareanalyzed,andabriefevaluationisKeyWords Multi-poseFaceRecognition,TwoDimensionalSingleView,TwoDimensionalMulti-view, *国家自然科学基金项目(No.51407112)、山东省优秀中青年科学家科研奖励基金项目(No.BS2014DX009)资助收稿日期:2014-10-20;修回日期:2015-01-07作者简介 邹国锋(通讯作者),男,1984年生,博士,讲师,主要研究方向为人脸识别、生物特征识别、智能监控.E-mail:zgf841122@163.com.傅桂霞,女,1985年生,博士,讲师,主要研究方向为智能监控、智能机器人.李海涛,男,1984年生,博士,讲师,主要研究方向为智能仪器仪表.高明亮,男,1984年生,博士,讲师,主要研究方向为运动目标与跟踪.王科俊,男,1962年生,教授,博士生导师,主要研究方向为模式识别、视频监控、神经网络、生物信息学等. 614模式识别与人工智能 28卷 1 引 言 人脸识别研究最早可追溯到1888年Galton[1] 发表于Nature上的,他利用一组数字代表不同的侧面人脸特征,并从心理学的角度分析人类自身的人脸识别能力.1910年,Galton[2]提出利用人脸面部的关键点及关键点之间的距离构成表示人脸的特征向量,并利用该向量进行身份识别,这是基于几何特征人脸识别方法的雏形,但并不是真正的自动人多姿态人脸识别研究的人员快速了解本领域的研究状况和最新进展. 2 基于二维单视图的多姿态人脸识别 自20世纪60年代自动人脸识别技术提出以后, 到20世纪90年代末三维人脸识别技术成为人脸识脸识别(AutomaticFaceRecognition,AFR). 最早的自动人脸识别研究起源于20世纪60年代,代表性成果是1965年Chan等[3]在PanoramicResearchIncorporated上发表的技术报告.国内人脸识别研究起步较晚“,1979年《自动化学报》发表一篇内期刊第一次出现人工智能国外研究情况综述“人脸识别”[4]”的概念,这是能检索的国.1992年,洪子泉等[5]发表于《自动化学报》的[6]“用于图象识别的图象代数特征抽取”及郑坚平等发表于《计算机工程》的“正面人脸图像识别”,是国内人脸识别研究领域检索到最早的学术论文. 在过去的几十年中,人脸识别技术越来越多受 到国内外研究者的关注[7-8]以来,人脸识别技术的研究和应用都取得巨大进步.尤其是20世纪90年代, 涌现出一大批从事人脸识别研究的高校和科研院所,且每年都有大量的学术论文发表.与此同时,人脸识别技术逐渐走向产品化,不断有商业性人脸识别系统进入市场.但受到人脸识别方法的限制,大部分人脸识别产品只能在用户配合的情况下使用,这大大限制人脸识别技术的应用范围和发展步伐.目前,非配合、非受控环境下的人脸识别逐渐引起研究者的关注,但受限于采集环境,获取的人脸图像经常存在多种姿态变化、光照变化、表情变化、遮挡干扰等,针对这些干扰因素,研究者也开展大量相关的研究. 由于姿态变化给人脸识别研究带来巨大的挑战及其本身具有的重要意义,近年来,多姿态人脸识别逐渐成为人脸识别研究领域的一个重要方向.在多姿态人脸识别的研究中,国内外学者取得众多的研究成果.基于这些研究成果,本文系统总结多姿态人脸识别研究的进展状况,并将当前已有的多姿态人脸识别方法概括为3类:1)基于二维单视图的多姿态人脸识别;2)基于二维多视图的多姿态人脸识别;3)基于三维人脸的多姿态人脸识别.同时,鉴于当前国内还没有与多姿态人脸识别研究相关的综述性论文,本文系统分析已有的相关方法,并展望未来多姿态人脸识别的发展方向,希望有助于国内从事 别研究的热点,这30年间人脸识别方法的研究主要基于二维人脸图像.随着计算性能不断提高,二维人脸识别方法的研究得到飞速发展.与此同时,基于二维图像的多姿态人脸识别研究也涌现出众多的新思路和新成果.本文根据多姿态人脸识别中使用的标准人脸或训练人脸是否为单幅图像,将基于二维图像的多姿态人脸识别分为基于二维单视图的多姿态人脸识别和基于二维多视图的多姿态人脸识别. 单视图(单样本)人脸识别,是指每人仅存储一幅人脸图像作为标准样本或训练样本,以此识别姿态、光照变化的人脸图像[9-10]的多姿态人脸识别是一种特殊单样本人脸识别问.而基于二维单视图题.根据单视图人脸利用方式不同,基于单视图的多姿态人脸识别分为基于单视图生成虚拟多视图的多姿态人脸识别和基于单视图姿态校正的多姿态人脸识别. 2.1 基于单视图生成虚拟多视图的多姿态人脸识别 因为基于二维单视图的多姿态人脸识别训练样本较少,无法充分获取人脸特征信息用于识别,所以研究者提出通过样本扩增将单视图人脸识别转化为多视图人脸识别的思路.按照样本扩增方法不同,本文将已有方法归类为直接针对二维人脸进行变换的样本扩增和通过三维人脸模型变换的样本扩增.2.1.1 直接针对二维人脸变换的样本扩增 式函数的最小二乘拟合方法2003年,朱长仁等[11]提出基于二元高次多项 ,利用单视图人脸通过变形生成多姿态人脸,并利用原有单视图人脸和生成的虚拟多姿态人脸构成训练样本库,最终通过融合决策进行多姿态人脸识别.此方法避免对人脸多个视角进行拍摄构造多视图训练集的困难,相比单视图人脸直接作为训练样本的经典人脸识别算法,识别正确率也有较大提高.张生亮[12]利用镜像变换2DPCA和尺度变换产生虚拟样本作为训练样本集和2DLDA抽取人脸特征用于识别,采用 高识别率,但算法要求测试样本与训练样本具有较,获得较 期 邹国锋等:多姿态人脸识别综述615 好的一致性,否则识别效果下降.2013年,张尤赛等[13]采用局部加权平均算法,使用人脸正面单视图生成多姿态人脸图像(如图1所示),构成多姿态人脸样本库,然后采用PCA提取人脸特征用于识别,算法能在只拥有少量正面训练样本甚至单样本的情况下识别多姿态的人脸,在实际应用中具有良好的适应性.但算法产生虚拟样本的过程耗时较多,如果需要产生较多数量的多姿态人脸,则对算法的实时性有较大影响 . 针对样本扩增的研究较多,而针对姿态变化二维单样本人脸进行姿态校正的难度较大,研究成果相对较少.根据校正是否针对某种特定姿态,校正方法分为不针对特定姿态变化的校正和针对某种特定姿态2.2.1 变化的校正. 不针对特定姿态变化的校正 从单张旋转人脸合成正面人脸用于识别的方法,识别率有较大提高,但该方法适用于图像具有相同光2004年,杜成等[17]基于线性物体类理论提出 (a)Original(a)原图 image(b)Virtual(b)虚拟样本 Samples Fig.1 图Part1 of基于thevirtual2D单视图产生的部分虚拟样本 samplesbasedon2Dsingleview 2.1.2 通过三维人脸模型变换的样本扩增 2004年,武芒等[14]提出基于正投影视图的多姿态人脸识别算法,采用正投影视图生成特定的三维人脸模型,并对三维模型进行任意角度的投影,产生多姿态二维人脸,最后将正投影视图和产生的二维人脸都作为训练样本用于识别,较好地改善多姿态人脸识别的效果.2005年,Jiang等[15]提出基于三维重建人脸图像的多姿态人脸识别,该方法基于一幅正面、中性表情、正常光照二维人脸重构出一幅三维标准人脸模型,然后分别将姿态、光照、表情等干扰因素加入该标准模型,形成多样的复杂训练样本,并采用PCA、LDA完成特征提取.基于CMU-PIE人脸库的识别实验验证方法的可行性,但该方法需要原始二维人脸图像为正面、中性表情、正常光照,否则无法获得较好的三维人脸模型HMM算法利用单张正面人脸与提出单样本可变光照、.胡峰松等[16]基于Candide3姿态人脸识别算法模型建立特定,该人脸三维模型,然后对三维人脸模型进行各种角度的旋转,得到姿态不同的人脸,将产生的多姿态人脸同原始人脸都作为训练数据,为每人建立独特人脸的HMM用于识别.该算法能较好适应姿态不同条件下的人脸识别,但在三维模型构建时对自动配准的精度要求较高,而HMM是一个较复杂的模型,需要设置较多的参数,对于如何有效地将HMM与人 脸识别相结合缺乏相应的理论依据2.2 基于单视图姿态校正的多姿态人脸识别 . 因单样本人脸识别受样本数量不足的限制,故 照、自然表情的情况,对于旋转角度过大导致无法准确定位特征点的情况效果不佳.孙志远等[18]提出基于独立成分分析ICA)取不同姿态人脸的特征子空间的正面人脸合成方法(Independent,首先利用ComponentAnalysis,,然后利用通过训练ICA和PCA提 得到的姿态转换矩阵合成其相对应的正面人脸,并在此基础上使用小波对人脸图像进行预处理,根据姿态转换矩阵得到的正面人脸特征系数直接进行分类对比,识别率得到提高.但当姿态人脸旋转角度较2大时.2.2 ,正面人脸合成的效果并不明显针对某种特定姿态变化的校正 . 正方法2009,该方法通过单幅二维人脸图像计算垂直姿年,Lin等[19]提出快速半三维垂直姿态校 态变化角度,利用该角度将垂直旋转的人脸校正到接近正面的人脸,对校正后的人脸采用Gabor变换进行特征提取.该方法运算复杂度较低,实时性较好,但由于校正方法对于面部特征的要求较高,当人脸有较多特征被遮挡或不可见时,校正效果较差,识别效果相应变差.与人脸垂直姿态校正不同,2013年,王科俊等[20]提出人脸的平面旋转校正方法———融合Adaboost和分块积分投影的眼睛快速精确定位方法,并利用定位的双眼坐标实现平面旋转人脸的校正(如图2所示),校正效果较好,大为改善人脸识别的性能.但该方法只能实现双眼可见的平面倾斜人脸图像的校正,存在一定的局限性. 上述基于二维单视图的部分多姿态人脸识别方法的实验结果对比如表1所示 . 图2 文献[20]中人脸平面旋转校正效果 Fig.2 Correctionreference[20] resultsoffaceplanerotationin 616 表1 方法 模式识别与人工智能 基于二维单视图的多姿态人脸识别方法实验结果对比 人脸库 样本数量 识别率/%88.0074.4062.9089.0098.9086.1591.00 Table1 Comparisonofexperimentalresultsofmulti-posefacerecognitionmethodsbasedon2Dsingleview 二元高次多项式拟合[11] 镜像与尺度变换[12]局部加权平均[13]正投影视图[14]基于HMM模型[16]基于ICA的正脸合成[18]半三维垂直姿态校正[19] ORLFERET子库 ORL自建库ORLFERET子库自建库 301400200100100 幅训练,50幅测试幅训练,1000幅测试幅训练,200幅测试幅训练,180幅测试幅训练,270幅测试 28卷 生成虚拟样本姿态校正 600幅训练,170幅测试20幅标准,88幅测试 3 基于二维多视图的多姿态人脸LinearRegression,LLR)的人脸姿态校正,将人脸Chai等[22]提出一种基于局部线性回归(Local 识别 二维多视图的多姿态人脸识别不再受限于人脸 数量,因此,基于多视图的多姿态人脸识别涌现出较多研究成果.针对多视图人脸处理方式不同,本文将这些方法分为3类:1)基于姿态变化多视图校正出正面人脸的多姿态人脸识别;2)基于姿态变化多视图产生虚拟样本的多姿态人脸识别;3)针对姿态变3化多视图的新特征提取方法.1 基于姿态变化多视图校正出正面人脸的多姿 . 态人脸识别 基于姿态校正的多姿态人脸识别是经典的二维人脸处理方法1)基于点分布模型的人脸姿态校正,主要方法如下.Jimenez等 [21] 采用多幅稀疏人脸网格图构建点分布 .Gonzalez- 模型,并确定相应的姿态参数,利用这些姿态参数控制头部表观形状变化.然后通过将人脸网络图的姿态参数设置为正面人脸的典型值或将某个网络的参数调整为另外一个网络的姿态参数,实现人脸姿态校正.在获得姿态校正网络后,利用人脸的对称性,通过薄板样条为基础的变形合成虚拟人脸视图.最后采用CMU-PIEGabor变换进行特征提取,实现人脸识别,一种常用的统计学方法2)基于线性回归的人脸姿态校正人脸库的实验结果验证方法的有效性. ,通过寻找自变量和因变量.线性回归是 之间的关系进行线性建模,基于线性回归的人脸识别是通过大量的侧脸与对应的正脸进行训练,得到侧脸与正脸间的关系,进而由侧脸估计出正脸.假设 正脸集合为xP0=(xP合为xPk=(xP10,xP00 数,xP1k,xP2k,…,xP2Nk,…,xPN),对应的侧脸集ik是正脸xP),N为训练集中正脸的个i0对应的侧脸图像.线性回归即假设 侧脸和正脸之间存在线性映射:xP0=AxPk线性变换矩阵.对于任意侧脸,都可估计出对应的,其中A为正脸. 图像划分为若干子区域,然后求取非正面姿态样本子区域向正面姿态样本子区域的映射关系,利用训练得到的映射关系实现测试人脸姿态校正.这种基于局部区域的校正能有效补偿姿态变化的影响,但当偏转角度较大时效果不佳,特别是当只有一只眼睛可见时识别率极低.2011年,谭晓衡等[23]在局部线性回归算法的基础上,通过引入一个局部常量因子,对不同水平旋转角度的侧脸进行姿态估计得到其正脸,改进后的算法对人脸识别率有较大改善,这表明采用局部常量化和线性化分析,能较好弥补侧脸到正脸变换的非线性信息丢失等[24]3)提出基于子区域关联映射的多姿态人脸识别基于子区域映射的人脸姿态校正. .陈华杰 ,该算法将人脸分割为若干子区域,将姿态变化对图像的影响分解为关联子区域的形状映射与纹理映射.基于二维耦合成分分析构造非正面人脸和正面人脸关联子区域间的映射关系,利用该映射关系实现非正面姿态向正面姿态人脸的校正.关联子区域映射能有效补偿姿态变化带来的影响,对姿态变化敏感度较低,但映射关系求取耗时较多,有待进一步改善.2013年,Ho等[25]基于Markov随机域和信念传播算法利用给定的非正面人脸重构虚拟正面人脸,首先将人脸图像划分为许多重叠的网格,将所有的局部网格与数据库中标准正面人脸的网格进行对齐处理,然后取其中最优的网格作为合成正面人脸的子区域.该方法避免人为选取面部标记点和对姿态角的估计型的匹配过程是将待测图像和模型之间的差最小化4)基于主动外观模型的姿态校正,实验结果证明该方法的有效性.主动外观模 . 的过程,主要通过改变模型参数实现,表达式如下:移m x沂S[A0(x)+移i=1 姿iAi(x)W(x;P)) 其中,0 S0是平均形状,A0(x)是平均纹理-I(,A(x)]2 是在 , 平均形状上的纹理向量,姿i是纹理参数,W(x;P)为 期 邹国锋等:多姿态人脸识别综述617 形状向量中像素点,由P控制,I(W(x;P))是该像素点的纹理向量. 将主动外观模型应用于人脸姿态校正,是在对图像进行匹配之后,只保留图像在平均正面形状S0上的投影,经处理后的图像可有效消除姿态影响,改善识别效果.Sarfraz等[26]提出基于统计外观模型的姿态人脸识别方法,该方法首先提取多姿态人脸图像的扩展尺度不变特征变换(ScaleInvariantFeatureTransform,SIFT)特征,基于该特征和非正面视角人脸利用多元回归方法合成正面人脸用于识出一种基于正弦变换的人脸姿态校正与识别方法,首先采用多幅正面人脸图像训练分类器,测试过程将具有姿态变化的人脸通过正弦变换校正出正面人脸,然后采用训练的分类器进行分类识别.该方法的测试人脸姿态角的估计无一定的理论依据,只能人为设定旋转角度的大小,效率较低.张疆勤等[33]对人脸进行因子分析,分离出人脸姿态因子,得到合成的正面虚拟人脸,然后利用稀疏表示方法在虚拟正面人脸上进行分类识别.该方法较好地解决人脸的7)其他姿态校正方法.2010年,龚卫国等[32]提 别,该方法对于左右摇摆角度超过45°的人脸图像识别效果明显变差Guillemaut,而且无法处理俯仰变化的情况.脸姿态校正等[27]利用改进的活动外观模型进行人,该方法需事先定位特征点,但对大角度旋转图像效果不好.赵恒等[28]提出基于主动表观模型(ActiveAppearanceModel,AAM)的图像对齐和局部匹配人脸识别算法,能增强人脸识别算法对姿态表情变化的鲁棒性.通过AAM快速准确地定位人脸特征点,将人脸旋转到标准正面人脸模型.然后,采用基于信息熵的Gaborjet加权方法用于人脸识别.使用AAM校正后的人脸图像,联合熵加权Gabor方法和加阈值提出完全自动的姿态归一化算法5)基于主动形状模型的姿态校正Borda改善姿态对人脸识别的影响,基于多视图的随.Ding等. [29] 机森林嵌入主动形状模型,提出寻找二维人脸特征点与三维人脸模型之间姿态独立对应关系的方法,将二维人脸图像中的像素映射到三维模型中,经旋转获得正面视角人脸.该方法对左右旋转50°以内的人脸图像处理效果较好,无法处理其他姿态的人脸旋转.deMarsico等[30]将人脸姿态和光照变化的质量评估指标用于指导人脸姿态和光照归一化,姿态校正中采用堆叠整齐的主动形状模型Trimmed人脸图像的质量评估ActiveShape(Stacked,丢弃质量较差的图像Model,STASM).同时经过,这在一 定程度上提高人脸识别系统识别效果6)基于三维人脸模型的姿态校正. .An等[31]设 计一种基于纹理映射的增强型多姿态人脸识别方法,首先基于三维椭球体模型对姿态变化的二维图像进行三维人头重建,并建立三维人头人脸区域和二维人脸图像之间的纹理映射关系,然后对三维人头模型进行姿态估计并进行相应的校正,再按照已知的映射关系将校正后的三维人头向二维平面投影,获得正面二维人脸图像用于识别.但对于左右摇摆角度过大的姿态变化,该方法在映射过程中有效信息丢失严重,导致图像严重失真,识别效果变差. 姿态变化问题,同时对人脸的遮挡问题也具有较好3的鲁棒性.2 基于姿态变化多视图产生虚拟样本的多姿态. 人脸识别 基于多视图的样本扩增方法能使样本中包含更多的多姿态人脸信息,按样本扩增过程中是否借助三维人脸模型,将基于多视图产生虚拟样本的多姿态人脸识别分为基于二维姿态变化人脸产生虚拟样本的多姿态人脸识别和通过三维人脸模型变化产生3虚拟样本的多姿态人脸识别.2.1 基于二维姿态变化人脸产生虚拟样本的多 . 2012姿态人脸识别 策融合的多姿态人脸识别方法年,李全彬等[34]提出基于水平镜像和决 ,该方法采用水平镜像变换产生更多的训练样本(如图3所示),按照姿态范围Gabor,将所有训练样本分为7个子集间.测试过程提取输入图像及其水平镜像图像的特和2DPCA进行特征提取,生成7个特征子空,然后利用征,并分别向7个特征子空间投影,根据投影距离,采用决策融合方法获得最终识别结果.该方法运算简单,识别系统的训练效率和识别效率都有一定提高.但对于非对称人脸的情况,水平镜像处理通常引入干扰信息,影响识别效果 . 图3 水平镜像产生的虚拟样本 Fig.3 Virtualsamplesproducedbyhorizontalmirror 3.2.2 通过三维人脸模型变化产生虚拟样本的多2003姿态人脸识别 态不变人脸识别年,Lee,等[35]提出基于三维形变模型的姿 通过边缘模型、颜色区域模型和线框模型共同描述人脸的形状和特征信息.为使模型 618模式识别与人工智能 28卷 与任意姿态的人脸图像匹配,通过旋转、平移和尺度变换,将三维模型投影到不同的二维视角,生成多个人脸图像.人脸形状变化可通过模型的形变参数计算得出.对于未知人脸,通过与已知人脸进行模型匹配和系统合成估计出其姿态,而合成的图像则包含人脸的三维形状和纹理特征.但颜色区域模型易受光照影响,鲁棒性不佳,且算法运算复杂度较高,实时性较差. 4所示,首先确定三维人脸模型的几个大视角,然后获得这些三维人脸的二维投影人脸,然后根据视角不同将这些二维人脸进行归类,形成姿态空间.在姿态空间中,对二维人脸进行PCA降维,获取姿态特征脸.识别过程中对测试二维人脸进行姿态估计和模糊角度判定,然后根据估计出的姿态,在与其相对应姿态空间中搜索候选个体,将候选个体对应的三维人脸向判断得到的模糊角度附近进行二维投影,获得二维虚拟图像,最后对比测试人脸图像与虚拟图像,得出识别结果. Tang等[37]利用二维人脸重构三维虚拟人脸,杨军等[36]提出多姿态分层人脸识别方法,如图 化为某一角度下两幅照片的比对.这种采用二维人脸重构三维虚拟人脸进行识别的思路在一定程度上改善姿态变化对人脸识别的影响,但三维人脸重建运算较复杂,计算量较大 . 将人脸库中的三维人脸向这些视角进行投影变换, Fig.4 Flowchartoflayeredfacerecognition 图4 分层人脸识别的流程图 偏移角和俯仰角生成大量的虚拟二维人脸,然后将图像用于训练改进的两因子模型,并进行多姿态人脸识别.该方法能缓解人脸特征对姿态变化较为敏感的问题,对姿态变化具有一定的鲁棒性. 上述基于二维多视图的部分多姿态人脸识别方法的实验结果对比如表2所示. 2012年,袁理等[38]通过控制三维人脸模型的 将三维人脸旋转形成三维人脸库后进行二维投影,构建二维多姿态人脸库,将多姿态人脸识别问题转 表2 基于二维多视图的部分多姿态人脸识别方法实验结果对比方法 人脸库 样本数量 识别率/%79.2083.9383.3383.8071.2588.0090.8090.0092.50 2 Comparisonofexperimentalresultsofsomemulti-posefacerecognitionmethodsbasedon2Dmulti-view 传统LLR[22]改进的LLR[23]子区域关联映射[24]随机森林AAM[29]正弦变换校正[32]因子分析校正[33]水平镜像[34]姿态分层方法[36]两因子模型法[38] CMU-PIECMU-PIEPICSFERET子库FERET子库 XJTUORLBJUTFERET子库 476幅训练,408幅测试476幅训练,408幅测试44幅训练,24幅测试200幅训练,1200幅测试120幅训练,160幅测试9500幅训练,2100幅测试240幅训练,280幅测试120幅训练,570幅测试100幅训练,600幅测试 姿态校正 产生虚拟样本 3.3 针对姿态变化多视图的新特征提取方法除了基于多视图的姿态校正和样本扩增方法 外,更多的研究者直接针对多幅具有姿态变化的人3.3.1 脸图像提出新的特征提取方法. 基于传统子空间方法的多姿态人脸识别 2002年,Lu等[40]将多姿态人脸作为分布于高维非线性空间的点,提出采用基于核的判别分析方法进行特征提取,有效抽取多姿态人脸的非线性特征,避免小样本问题.实验表明在多姿态人脸识别中,非线性特征提取比线性特征提取具有更大优势.2008年,Liu等[41]给出一种多视角人脸数据库构建方法,并基于采集的多视角人脸图像提出多数表决ICA识别算法,取得较满意的识别效果.但实验结果是基于自建人脸库,未给出其他多姿态人脸图像数据库的 受到人脸质量评估指标计算合理性的影响较大. 子空间分析方法是一种经典的人脸识别方法,在多姿态人脸识别中同样发挥重要作用.1999年,陈熙霖等[39]提出针对多姿态人脸的多候选类加权识别方法,采用经典PCA进行特征提取,并结合图像质量评价结果,达到较好的识别效果,但识别效果 期 邹国锋等:多姿态人脸识别综述619 识别效果.Kisku等[42]研究一种融合PCA与典型相关分析的多视角人脸识别方法,首先通过Gabor滤波器提取人脸局部特征,然后采用PCA和典型相关分析对Gabor特征进行进一步降维,形成低维Gabor特征脸和Gabor典型相关脸,最后采用加权平均融合策略将特征脸和典型相关脸进行融合实现人脸识别.该方法经Gabor变换、PCA和典型相关分析降维、特征融合等多步运算,算法较复杂,运算效率较低,且无法克服大角度人脸识别困难.Khaleghian3.3.3 的人脸识别算法,首先在定位后的人脸图像中标定目标区域,并将目标区域划分为特征子区域.然后以特征子区域的边缘奇异点作为向量的起点和终点进行正交采样得到基向量,将目标区域内所有基向量组建向量簇,通过对基向量的多维复合得到向量簇内所有极大梯度向量.最后,以极大梯度向量作为元素组建复合梯度向量,并统计复合梯度向量的维度2011年,王志宏等[48]提出基于复合梯度向量 基于局部特征分析的多姿态人脸识别 等[43]提出增强型因子分析算法用于克服人脸识别中的大角度姿态变化,但该算法训练得出的分类器性能受限于参数的变化,且针对Adaboost算法与因子分析算法的有效结合尚需更为完善的研究.2012年,Sharma等[44]提出基于耦合潜在子空间的判别分析方法,认为不同姿态人脸图像的投影方向在某一潜在空间中具有最大相关性,首先针对不同姿态的人脸图像通过典型相关分析进行投影降维,然后在低维空间中采用LDA识别投影图像.该方法在基于典型相关分析的投影时要求两幅人脸具有相同的左右摇摆角度,难以在实际应用中做到.3.3.2 基于流形学习算法的多姿态人脸识别 2009年,Gao等[45]提出张量脸和视角流形模型 结合的多视角人脸识别,该方法对训练图像进行张量分解,得到类别系数矩阵和视角系数矩阵,利用视角系数构造视角流形模型,识别时利用测试图像和视角流形模型求取类别系数向量,与已知的类别系数向量对比得到分类结果.该方法只考虑人脸图像左右摇摆的视角变化,未考虑其他的姿态变化,并不能广泛应用于多姿态人脸识别.姜珊等[46]结合局部保持投影和张量脸进行多姿态人脸识别,通过张量分解得到图像的类别系数,然后运用局部保持投影将图像映射到二维空间,在二维空间寻找测试图像最近的两个姿态修正张量脸算法的类别系数用于识别,与张量脸算法相比有效改善人脸识别效果,但需要图像姿态变化平滑连续,当训练图像和测试图像角度相差较大时效果变差.Li等 [47] 提出融合张量脸 姿态估计与流行学习的多视角人脸识别,首先通过局部嵌入分析计算测试样本在训练样本集中的最近姿态人脸,然后采用局部线性嵌入降低张量脸和测试样本对应姿态人脸的维数,利用降维结果进行识别.该方法有效克服人脸图像张量表示时的非线性问题,识别率较张量脸方法有显著提高.但受训练集中多姿态样本的限制,当计算得出的最近姿态人脸与测试样本相差较大时,识别效果变差. 和梯度信息,利用复合梯度向量、复合梯度向量维度和梯度识别人脸.该算法克服特征域旋转、光照变化及多姿态等对人脸识别的影响,具有较快的识别速度和较高的识别精度.平强等[49]把人脸姿态和光照变化作为一个全局最优问题,提出基于仿射最小线性重构误差的人脸识别.该算法对人脸进行分块,利用仿射变换模型描述测试图像和注册图像中人脸姿态变化情况.在识别阶段,通过计算最优仿射变换模型参数寻找测试图像和注册图像的最优匹配块,并利用注册图像中最优匹配块的线性组合拟合测试图像中对应的块,根据拟合误差进行人脸识别.算法在处理光照问题的同时补偿姿态变化造成的局部区域对齐误差,获得更好的全局识别性能,但未体现人脸形状信息在识别中的作用.Xian等[50]采用简单有效的SIFT方法提取多姿态人脸特征,构造多姿态人脸特征库,通过特征库中每个特征向量与其他向量的点积运算得出鲁棒的特征用于识别,并通过SIFT特征的加权策略改善识别效果.张剑等[51]提出姿态无关多姿态人脸识别SIFT,在训练阶段利用样本图像的行定量表示特征构造词汇树,并利用保局投影进行维度约减,基于该词汇树对每幅图像进;在识别阶段,通过提取待识别图像的SIFT特征,利用已有词汇树表示图像,并通过保局投影得到低维特征,采用K近邻方法进行识别.该方法在人脸姿态不确定3时能有效提高识别准确率.3.4 基于深度学习的多姿态人脸识别 . 深度学习作为机器学习研究中的新领域,在图像识别中获得成功,且在多姿态人脸识别中也有一些(Deep应用.2011年,Lin等[52]将深度信的低分辨人脸识别BeliefNetworks,念网络,采用高分辨率和低分辨率人脸DBN)应用于具有姿态变化图像作为训练样本,通过深度信念网络有效克服因姿态变化引起的非线性问题,该方法在较大姿态变化的人脸识别中获得较好的识别效果.2013年,Zhu等[53]采用深度学习网络学习获得一种新的人脸身份保持特征,作为一种全新的人脸特征表示,该特征 620模式识别与人工智能 28卷 有效克服大角度姿态变化和光照对人脸识别的影响,MultiPIE人脸库上的识别结果证明方法的良好性能.2014年,梁淑芬等[54]将LBP特征和深度信念网络结合应用于非限制条件下的人脸识别,如图5所示.该算法首先采用局部二值模式提取人脸的纹理信息,然后将纹理信息作为深度信念网络的输入实现分类识别.该算法提取层次性和结构性更强的人脸特征,可获取非限制条件下人脸图像的特征信息.柴瑞敏等[55]将Gabor小波与深度信念网络结合进行人脸识别,首先将人脸图像进行分块和Gabor提高识别率,但网络训练中需设置较多参数,训练耗时. 2010年,Gernoth等[57]提出将姿态变化的人脸 图像进行形状和纹理分离处理,并利用纹理信息进行人脸识别的思想.该方法首先将人脸图像分解为若干个不规则的局部区域,并采用自适应余弦变换提取这些区域的纹理信息,而这些信息包含用于人脸分类所需的足够特征,且对于姿态和形状变化独立,识别效果有一定的改善,但若能将形状信息也作为一种特征用于识别将会进一步改善识别效果. 特征提取,然后采用受限玻尔兹曼机对Gabor人脸进行编码,学习数据的本质特征,最后结合Gabor特征和深度信念网络实现多通道人脸识别.基于深度学习算法或深度网络训练进行的人脸识别效果较好,但网络训练耗时严重,且网络结构确定困难,这将是今后深度学习算法在图像识别应用中的研究重点 . 图5 DBN深度学习网络 Fig.5 DBNdeeplearningnetwork 3.3.5 其他新的特征提取方法 Transform,2006年Quantization,WT),陈蕾等[56]提出基于小波变换(Wavelet 和学习矢量量化(LearningVector 首先通过小波变换对图像进行降维LVQ)网络结合的多姿态人脸识别,然后将降维后,的人脸特征用于训练学习矢量量化网络,得到最优网络模型用于多姿态人脸识别.学习矢量量化网络能发挥竞争学习和有监督学习二者的优点,有效 Castillo,首先需要将具有左右摇摆变化的多姿态人脸等[58]提出宽基线立体大姿态变化人脸 识别图像对齐,然后基于动态规划方法找出姿态变化的人脸图像和正面人脸图像之间一种立体匹配的关系,然后利用两幅人脸图像的匹配度数值进行最终的识别2012. 年,Zhang等[59]提出联合动态稀疏表示模 型,该方法充分利用多视角人脸之间的相关性,取得一定效果,但算法针对的多视角人脸识别需要特定的采集环境捕获人脸图像,且和真正的多姿态人脸识别相比仍有一定差距. 针对姿态变化多视图的新特征提取方法的实验结果对比如表3所示. 表3 姿态变化多视图的新特征提取方法实验结果对比Table3 Comparisonextractionofexperimentresultsofnewfeaturevariation methodsbasedonmulti-viewofpose方法人脸库样本数量 识别率/%核判别分析[40]UMIST120455幅训练幅测试 66.30增强因子分析[43] FacePix 273088.60张量脸与LPP结合[46]CMU-PIE2700幅训练720幅测试180幅训练幅测试 80.00张量脸与LLE结合[47] FacePix 3600925幅训练83.69仿射最小重构误差[49]CMU-PIE99.45SIFT词汇树[51] ORL 4221402幅注册幅测试320幅训练幅测试85.90LBP与DBN结合[54]LFW子库80幅测试82.77Gabor与DBN结合[55]UMIST2713310幅训练200幅测试97.00WT与LVQ网络[56] ORL 100幅训练50幅测试50幅训练幅测试98.00联合动态稀疏表示[59]CMU-PIE 2000476幅训练幅测试 73.00 期 邹国锋等:多姿态人脸识别综述621 4 三维多姿态人脸识别 20世纪90年代末,研究者开始探索如何利用人 的自动人脸标记注释进行姿态估计,然后在相应的有限姿态搜索范围内与三维人脸数据对比,取得较优的识别率,但运算复杂,需采用并行化策略进行完善.4.3 Passalis等[65]提出利用人脸的对称性克服姿态其他三维多姿态人脸识别方法 脸的三维信息提高系统的识别性能.按照三维人脸数据获取方式不同,三维多姿态人脸识别可分为直接和间接两大类方法.直接三维多姿态人脸识别是指通过特定设备直接采集三维人脸数据用于识别,间接三维多姿态人脸识别是指通过三维合成方法构造得出三维人脸数据,再进行人脸识别.变化导致三维人脸数据丢失的问题.首先采用一种鲁棒的标记点检测算子获取三维人脸标记数据,然后用检测到的原始数据构建人脸模型,再利用人脸4.1 直接三维多姿态人脸识别 集三维人脸信息Fransens等[60]利用三维人脸采集设备直接采,实现三维人脸的识别,实验结果表明该方法对于正面和准正面视角人脸都能达到较好的识别效果,但特殊的三维人脸采集设备价格昂贵,而且构建三维人脸数据库需要的数据量较大,对存储空间要求较高,实际中难以应用.4.2 间接三维多姿态人脸识别 2005年,Ishiyama等[61]提出构造三维人脸表面模型的方法,该模型由三维形状和测地线光照基构成.测地线光照基主要用于描述人脸表面的光照变化,外观模型通过姿态优化可自动对齐到目标图像,模型调整过程中产生的残余误差可用于分类识别.算法在包含200人的光照姿态人脸数据库上取得较理想的识别效果2007年,尹宝才等. [62]提出三维形变模型和部 件技术结合的多姿态人脸识别,利用形变模型重建三维人脸,依据分片原则将三维人脸划分为各个部 件,把部件的几何和纹理信息作为识别特征.采用两层分类法,第1层以每个部件作为弱分类器,统计其识别率;第2层根据每个部件的识别率决定其在整体分类中的权值,基于整脸信息进行识别.该方法在一定程度上克服姿态变化的影响,取得较好的识别效果. Zhang研究一种三维人脸的平均处理机制等[63]针对人脸识别中的3种特定姿态变 化场景,.算法首先基于多姿态训练样本构造三维平均形状模型,然后再将平均纹理信息映射到平均形状模型中形成平均三维人脸模型用于识别.算法在构造三维平均人脸模型时,训练样本姿态被限制在0°~30°的角度变化范围内弹性模型生成三维人脸Prabhu,等未考虑大角度姿态人脸. [64]针对每幅二维图像采用三维通用 ,不同姿态视角的二维图像生成的三维人脸模型构成一个新的训练样本集.在 识别阶段,首先对测试人脸图像采用基于线性回归 的对称性调整人脸模型,并将人脸模型转化为一幅几何图像和一幅正常图像,最后将两幅图像采用小波变换进行特征提取用于人脸识别.算法对于人脸采集过程中存在数据丢失的问题起到一定的补偿作用. 叶长明等[66]针对三维人脸成像系统所获得的不同姿态下的三维人脸深度图,提出傅里叶描述子与等高线人脸识别方法.利用微分几何理论校正三维深度人脸,再使用曲面等高线和傅里叶描述子实现三维人脸面部特征的提取.算法在时间开销方面优于常规特征脸识别方法,但对姿态变化较大的人脸识别效果仍不理想Zhang等. [67]基于三维人脸表面信息,采用特征 脸和稀疏表示进行多姿态人脸识别,首先通过局部均值曲线运算将三维人脸表面映射为二维人脸属性信息,然后基于二维人脸属性信息图像采用PCA和稀疏表示实现人脸识别.方法避免繁琐的人脸对齐操作,取得一定的识别效果,但无法克服大角度姿态变化的人脸识别. 5 多方向 姿态人脸识别的未来研究鉴于多姿态人脸识别的重要性,已有较多专项 研究,并取得一些研究成果,但其仍面临许多重大挑战.以下内容将对未来的多姿态人脸识别研究产生较重要影响维人脸识别方法对姿态变化人脸图像识别效果较1)多姿态人脸采集方法的研究. .当前,许多二 差,其主要原因是无法充分获取多姿态人脸样本.在人脸检测阶段,已有的检测算法通常无法自动获取任意姿态的人脸图像,这可能导致训练(标准)样本与测试样本的姿态差距较大,使训练得出的模型无法推广到新的姿态人脸图像,影响识别准确度. 三维多姿态人脸图像的采集需要特殊的设备或 622模式识别与人工智能 28卷 特殊的环境,当前对于三维采集设备的研究尚处于起步阶段,相应的产品也较少,北京博维恒信科技发展有限公司推出的3DCamega系列脸型(头部)扫描系统是国内首套具有自主知识产权的脸型(头部)三维数字化测量系统(http://www.3dcamega.com/tviews.asp?id=371).该扫描系统通过计算机对两台或多台光学三维扫描仪进行联动控制快速扫描,再通过计算机软件实现自动拼接,获得精确完整的彩色点云数据.该系统由于结构复杂,价格远高于普通的图像采集设备,目前并未得到广泛应用.因视图的多姿态人脸识别;2)基于二维多视图的多姿态人脸识别;3)基于三维人脸的多姿态人脸识别.由于当前国内还没有与多姿态人脸识别研究相关的综述性论文,因此本文对已有相关方法的优缺点进行系统分析和综合评价.最后,结合当前多姿态人脸识别面临的挑战,展望未来多姿态人脸识别的研究方向.总之,随着模式识别理论、计算机视觉、图像处理、机器学习等与人脸识别相关学科的不断发展和众多研究人员的不懈努力,多姿态人脸识别问题会得到较好较快的解决. 此,研究全自动的二维和三维人脸检测算法,开发实用性更强、价格更低廉的图像采集设备具有重要的理论意义和实用价值识别方法的研究是当前模式识别领域的研究热点2)多姿态人脸特征提取方法的研究. .尽管人脸 ,但较多的研究仍是针对理想状况下的人脸识别.当前对于多姿态人脸识别问题开展的相关研究通常只针对某几种姿态或特殊情况下的多姿态人脸,这些研究成果具有重要意义,但对其他姿态变化的人脸识别并不具备通用性,因此研究具有更广泛通用性和鲁棒性的多姿态人脸特征提取算法,对于改善多姿态人脸识别的效果,提高多姿人脸识别的效率具有更重要的价值. 随着深度学习算法在图像识别中的应用获得成功,基于深度学习算法的人脸特征抽取和识别将会成为未来重要的研究方向,特别是由于深度学习理论尚不成熟,仍有许多问题需要解决,如,初始网络结构的确定,网络结构的自适应调整,训练过程的优化,相关算法训练过程效率的提升等研究3).由于当前人脸识别的应用正由理想环境转变综合考虑多种干扰因素下的人脸识别系统 . 为非受控、非限制环境中的人脸识别,因此在非受控、非限制环境下应当综合考虑多姿态与其他影响人脸识别的干扰因素(光照、表情、遮挡等),将干扰人脸识别效果的众多因素相结合,用于人脸模型的构建和人脸特征提取方法的改进,从而设计出与实际应用环境更为接近的人脸识别系统,并在“平安城市”、“智慧城市”建设中大显身手. 6 结束语 近年来,多姿态人脸识别逐渐成为人脸识别研 究领域的重要方向,本文针对多姿态人脸识别研究中取得的众多研究成果,进行系统总结,将当前已有的多姿态人脸识别方法概括为3类:1)基于二维单 参 考 文 献 [1]Galton(973):F.173-177 PersonalIdentificationandDescription.Nature,1888,38[2]GaltonNature,F.1910,Numeralised83(2109):Profiles127-130forClassificationandRecognition.[3]Bledsoetem:SomeWPreliminaryW,ChanH.Results.AMan-MachineTechnicalReport,FacialRecognitionPRI19A.Sys-Alto,USA:PanoramicResearchIncorporated,1965Palo [4] tomaticaLiCC,(李家治Sinica,WangY,汪云九1979,J,Tu,涂序彦5(1):XY,et,等.74-87al.Artificial人工智能国外研究情况综述(inChinese)Intelligence.ActaAu-动化学报,1979,5(1):74-87).自[5]HongRecognition.ZQ,YangActaJAutomaticaY.AlgebraicSinica,Feature1992,Extraction18(2):233-238ofImages(for in Chinese) (学报洪子泉,1992,,杨静宇18(2):.用于图象识别的图象代数特征抽取233-238) .自动化 [6]ZhengFrontSide.JP,ComputerYouWY.Engineering,Recognizing1992,aTypical18(1):Human1-6Face(inChinese) fromthe (18(1):郑坚平1-6) ,尤婉英.标准正面人脸图像的识别.计算机工程,1992,[7]PatternLiWJ,RecognitionWangCJ,andZhangArtificialW,etalIntelligence,.ASurveyof2006,Face19(1):Recognition. 66(inChinese)58- (工智能李武军,,2006,王崇骏19(1):,张炜,58-66) 等.人脸识别研究综述.模式识别与人 [8]ZhangPatternXRecognition,Z,GaoYS.2009,Face42(11):Recognition2876-2896 acrossPose:AReview.[9]gleTanXY,ChenSC,ZhouZH,etal.FaceRecognitionfromaSin-[10](9):ImagePerPerson:ASurvey.PatternRecognition,2006,39Wang1725-1745 UsingKSingleJ,DuanTrainingSL,Sample.FengWPatternX.ASurveyRecognitionofFaceandRecognition Intelligence,2008,21(5):635-642(inChinese)Artificial式识别与人工智能(王科俊,段胜利,冯伟兴,2008,.单训练样本人脸识别技术综述21(5):635-642) .模 [11]ZhugleCR,WangRS.Multi-poseFaceRecognitionBasedonaSin-(inView.Chinese) ChineseJournalofComputers,2003,26(1):104-109 期 邹国锋等:多姿态人脸识别综述623 (朱长仁,王润生.基于单视图的多姿态人脸识别算法.计算机学报,2003,26(1):104-109) [12]ZhangSL.VariousPoseFaceRecognitionwithOneFrontTraining Sample.ComputerApplications,2006,26(12):2851-2853(inChinese) (张生亮.单样本多姿态人脸识别研究.计算机应用,2006,26[13]ZhangYS,YangS.Multi-poseFaceRecognitionBasedonVirtual (12):2851-2853) [22]ChaiXJ,ShanSG,ChenXL,etal.LocalLinearRegression (LLR)forPoseInvariantFaceRecognition//Procofthe7thInternationalConferenceonAutomaticFaceandGestureRecogni-tion.Southampton,UK,2006:631-636 [23]TanXH,ZhangJH.Multi-poseFaceRecognitionBasedonLLR 392-394(inChinese) Algorithm.ApplicationResearchofComputers,2011,28(1):(谭晓衡,张建慧.基于LLR算法的多姿态人脸识别.计算机应SamplesScience74-79(inandofLocalChinese) Technology:WeightedNaturalMean.ScienceJournalEdition,ofJiangsu2013,University21(1):of(法张尤赛.江苏科技大学学报,杨姝.局部加权平均虚拟样本的多姿态人脸识别算:自然科学版,2013,21(1):74-79)]WuBasedM,onWangOrthogonalY,LiuViews.ZJ,Journaletal.Multi-poseofXidianUniversity,FaceRecognition 31(4):597-601,621(inChinese) 2004,(算法武芒.西安电子科技大学学报,王燕,刘志镜,等.基于正投影视图的多姿态人脸识别 :自然科学版,2004,31(4):Jiang597-601,DL,621) forHuYX,YanSC,etal.Efficient3D798 FaceRecognition.PatternRecognition,2005,38Reconstruction (6):787-HuantFFaceS,ZhangMJ,ZouBJ,etalJournalRecognitionofComputers,BasedonHMM.2009,withPoseandIlluminationInvari-32One(7):Sample1424Per-1433Person.Chinese) Chinese(in(姿态人脸识别胡峰松,张茂军.计算机学报,邹北骥,等,.2009,基于HMM32(7):的单样本可变光照1424-1433)、DuVariations.C,SuGJournalD,LinXG,etal.SynthesisLaser,ofFace2004,Image15with(12Pose 1498-1501(inChinese) ofOptoelectronics·):(光杜,2004,成,苏光大15(12):,林行刚1498-1501) ,等.多姿态人脸图像合成.光电子·激SunSynthesisZY,ofWuFaceXJ,ImagesWangwithST,PoseetalVariations..FaceRecognitionComputerBasedEnginee-on ringandApplications,2008,44(23):197-200(inChinese)别方法研究(孙志远,吴小俊.计算机工程与应用,王士同,等.基于多姿态人脸图像合成的识 ,2008,44(23):197-200) LinFaceZRecognitionX,YangWModuleJ,HoforCC,Intelligentetal.FastRobotVertical-Pose-Invariant 4thGuard//ProcoftheWellington,InternationalWangNewConferenceZealand,onAutonomousRobotsandAgents.LocationKJ,ZouGF,FuG2009:X,et613-617 alAided879(inDesignandFaceChinese) &ComputerPlaneRotationGraphics,Correction..AnApproachofFastEye 2013,25Journal(6):of865Computer--872,(旋转校正方法王科俊,邹国锋.计算机辅助设计与图形学学报,傅桂霞,等.一种快速眼睛定位与人脸平面 ,2013,25(6):Gonzalez-Jimenez865-872,879) FaceD,Alba-CastroSymmetry.RecognitionthroughPointDistributionJL.TowardModelsPose-InvariantandFacial2-D 2007,2(3):IEEE413-429TransonInformationForensicsandSecurity,用研究,2011,28(1):392-394) [24]ChenHJ,WeiW.Mapping.Multi-poseJournalFaceofRecognitionImageandBasedGraphics,onCorrela-12(7):tiveSub-region1254-1260(inChinese) 2007,(图象图形学报陈华杰,韦巍,.2007,基于关联子区域映射的多姿态人脸识别12(7):1254-1260) .中国[25]HoHT,RandomChellappaFields.R.IEEEPose-InvariantTransonImageFaceRecognitionProcessing,2013, Using [26]Sarfraz22(4):MarkovmaticPoseM1573-1584 S,InvariantHellwichFaceO.StatisticalRecognitionAppearance//ProcModelsofthe8thforAuto-InternationalIEEE tion.Amsterdam,ConferenceTheonNetherlands,AutomaticFace2008.&DOI:Gesture10.Recogni-1109/[27]AFGR.Guillemaut2008.RecognitionJY,04813387 KittlerJ,SadeghiMroamerican2006:79-88 CongressUsingFrontalinPatternFaceModelT,etal.GeneralPoseFace Recognition.//ProcCancun,ofthe11thMexico, Ibe-[28]ZhaochingH,YuP.AAM-BasedAlignmentandLocalWeightedics,MethodforFaceRecognition.JournalofImageandGraph-Mat-(脸识别赵2013,恒,.俞18(12):1582-1586(inChinese) 中国图象图形学报鹏.基于主动表观模型姿态矫正和局部加权匹配人,2013,18(12):1582-1586)[29]DingPose-RobustL,DingXQ,FangC.ContinuousPoseNormalizationfor 2012,19(11):Face721-724 Recognition.IEEESignalProcessingLetters, [30]deforMarsicoM,NappiN,RiccioD,etal.RobustFaceRecognition Systems,Uncontrolled163 Man,andPoseCybernetics:andIlluminationSystems,Changes.2013,IEEE43(1Trans):149-on[31]AntureKMappingH,Chung//MProcJ.ofPose-Robustthe17thIEEEFaceInternationalRecognitionBasedSymposiumonTex-on [32]Gong2008:Robotand65-70 HumanInteractiveCommunication.Munich,Germany, RecognitionWG,HuangXY,LiWH.FacePoseCorrectionforFacial Applications,Based(2010,on46(22):SineTransform.213-216ComputerEngineeringand别研究龚卫国.计算机工程与应用,黄潇莹,李伟红.基于正弦变换的人脸姿态校正及识(inChinese) ,2010,46(22):213-216)[33]ZhangFactorJAnalysisQ,LiaoandHB,SparseLiY.Representation.Multi-viewFaceRecognitionBasedon andApplications,2013,49(5):154-159(inComputerChinese)Engineering脸识别(张疆勤.计算机工程与应用,廖海斌,李原.基于因子分析与稀疏表示的多姿态人 ,2013,49(5):154-159) [34]LiQB,LiuJG,HuangZ.Multi-viewFaceRecognitionBasedon [14[15][16][17][18][19][20][21] 624模式识别与人工智能 HorizontalMirrorImageandDecisionFusion.ComputerApplica-tionsandSoftware,2012,29(12):33-35,80(inChinese)(李全彬,刘锦高,黄智.基于水平镜像和决策融合的多姿态人脸识别方法.计算机应用与软件,2012,29(12):33-35,80) 28卷 (姜珊,王羽,田春娜.基于张量脸的多姿态人脸识别算法.科学技术与工程,2009,9(15):4381-4385) [47]LiWQ,ChenDS.Multi-poseFaceRecognitionCombiningTen-ConferenceonComputerScienceandAutomationEngineering.Shanghai,China,2011,IV:543-547 [35]LeeMW,RanganathS.Pose-InvariantFaceRecognitionUsinga 3DDeformableModel.PatternRecognition,2003,36(8):1835-1846 sorFaceandManifoldLearning//ProcoftheIEEEInternational [36]YangJ,LiuZF,ZhangXQ,etal.PoseInvariantFaceRecogni-[48]WangZH,YuanH,JiangWT.AFaceRecognitionAlgorithm BasedonCompositeGradientVector.ActaAutomaticaSinica,tion(1):Based(光电工程杨军140-145on3D,刘直芳(inModel.Opto-ElectronicEngineering,2009,36,2009,,张秀琼Chinese) 36(1):,等140-145) .基于三维模型的多姿态人脸识别.TangtiontionalBasedHL,YinonBC,SunYF,etal.Pose-InvariantFaceRecogni-YuanModelL,Science,aChenQ2010,SingleH,Yan7(12):View.JournalofInformation&Computa-YC,2369-2376 etal.ScienceinMulti-poseFaceRecognition.ApplicationGeomaticsandofTwo-Factors InformationChinese) ofWuhanUniversity,2012,37(5):546-549,585(in(的应用袁理,.陈庆虎武汉大学学报,鄢煜尘,·等信息科学版.两因子模型在多姿态人脸识别中,2012,37(5):546-]549,Chen585) JournalXofL,ImageShanandSG,Graphics,GaoW.1999,Pose-Varied4A(10):Face818Recognition. Chinese)-824(in(报陈熙霖,1999,,山世光4A(10):,高818-824) 文.多姿态人脸识别.中国图象图形学LuBasedJW,PlataniotisKN,IEEEApproachforMulti-viewVenetsanopoulosFaceImageRecognitionAN.AKernelProcessing.//ProcMachine Rochester,oftheUSA,Liu2002,InternationalI:265-268 ConferenceontionXSystemJ,DangUsingJW,Multi-viewsYangF,etDatabaseal.Development//ProcofofFacethe3rdRecogni-InternationalConferenceonSignal-ImageTechnologiesandIEEEnet-BasedKiskuRecognitionDR,System.MehrotraShanghai,H,China,2007:1013-1019 Inter-Feature12.824087 Weighting.byFusionProceedingsofRattaniPCAandA,etal.MultiviewGaborFace ofSPIE,Canonical2009.CovariateDOI:10.through1117/ KhaleghianLargetheIEEEPoseS,WorkshopVariationsRabieeHonviaR,ApplicationsBoostedRohbanTiedMH.ofFactorFaceComputerAnalysisRecognitionVision.//Procacross Kona,ofUSA,Sharma2011:RecognitionA,Haj190-195 MA,ChoiJ,etal.Computer1095-1110 VisionUsingandCoupledImageLatentUnderstanding,SpaceRobustDiscriminantPoseInvariant2012,116Analysis.Face (11): GaoSubspaceXB,Tian.Multi-viewFaceRecognitionModeling.Neurocomputing,BasedonTensor 2009,Jiang72(16Analysis/17/18):andView3742-3750 ManifoldonTensorfacesS,WangY,Algorithm.Tian.ScienceMulti-viewTechnologyFaceRecognitionandEngineering, Based 2009,9(15):4381-4385(inChinese) 2011,(自动化学报王志宏37(12):,袁,姮2011,,1445-1454姜文涛(inChinese) 37(12):.基于复合梯度向量的人脸识别算法1445-1454) .[49]PingstructionQ,ZhuangLtion.ActaErrorElectronicaFaceS,RecognitionYuNH.AffineMinimumLinearRecon-Sinica,2012,under40Varying(10):Pose1965and-1970Illumina-Chinese) (in(性重构误差人脸识别算法平强,庄连生,俞能海.姿态和光照可变条件下的仿射最小线.电子学报,2012,40(10):1965-[50]Xian1970) RecognitionXB,WuConferenceonviaHWaveletRobustJ,ZhangAnalysisSIFTMFeatureX,etalandPattern/./AProcNovelMulti-poseFace Recognition.oftheInternationalChina,2013:32-37 Tianjin,[51]ZhangviaSIFTJ,HeVocabularyH,ZhanTree.XS,etJournalal.Pose-InvariantofComputer-AidedFaceRecognition ComputerGraphics,2013,25(11):1694-1700(inChinese) Design&(脸识别张剑,.何计算机辅助设计与图形学学报骅,詹小四,等.用SIFT词汇树实现的姿态无关的人,2013,25(11):1694-[52]1700) LintionsMUsingZ,FanDeepX.LowBeliefResolutionNetworksFace//ProcRecognitionofthe4thwithInternational PoseVaria- [53]Zhu2011,CongressZY,III:onLuo1522-1526 ImageandSignalProcessing.Shanghai,China, vingFaceSpaceP,/Wang/ProcXofG,theetalIEEE.DeepInternationalLearningIdentityConferencePreser-ComputerVision.Sydney,Australia,2013:113-120 on [54]LianSF,LiuYH,LiLC.FaceRecognitionunderUnconstrained 2014,Based35(6):onLBP154-160andDeep(inLearning.Chinese) JournalonCommunications,(下人脸识别算法梁淑芬,刘银华.,通信学报李立琛.基于,2014,LBP35(6):和深度学习的非限制条件154-160) [55]ChaiWaveletRM,tions,andCaoDeepZJ.BeliefFaceNetworks.RecognitionJournalAlgorithmBasedonGabor (方法柴瑞敏2014,.计算机应用,曹振基34(9):.2590-2594(inChinese) ofComputerApplica-,基于2014,Gabor34(9):小波与深度信念网络的人脸识别2590-2594) [56]ChenonL,HuangXW,SunB.Pose-VariedFaceRecognitionBased (21):WTandLVQNetwork.ComputerEngineering,2006,32(47-49(inChinese) 别陈.计算机工程蕾,黄贤武,,孙2006,兵.基于32(21):WT和47-49) LVQ网络的多姿态人脸识[57]GernothVariationsT,UsingGoossenShape-AdaptedA,GrigatRTextureR.FaceRecognitionunderPose 17thIEEEInternationalConferenceonImageFeaturesProcessing.//ProcofHongthe [37][38][39[40][41][42][43][44][45][46]