多姿态眼球中的瞳孔定位算法

第23卷第8期 计算机辅助与图形学学报 V01．23No．8 2011年8月 JournalofComputer—AidedDesign8．ComputerGraphics Aug．201l 多姿态眼球中的瞳孔定位算法 王先梅，杨 萍，王志良 (北京科技大学计算机与通信工程学院电子信息系 北京 100083) (plum—wang@tom．com) 摘要：针对当前基于普通光源的瞳孑L定位算法主要适用于眼睛开度较大、眼球较完整的问题，提出一种适用于多 姿态眼球的瞳孑L定位算法．该算法在采用Adaboost进行人脸检测后，利用多分辨率ASM技术进行面部关键点分析 并实现眼睛定位；在眼睛定位的基础上，利用滑动窗口技术遍历整个眼部图像，并根据眼睛的灰度分布特点采用2级 灰度信息分析的方法进行瞳孔定位．实验结果表明：在光线分布比较合理的情况下，采用文中算法不仅可以在眼睛 开度正常、瞳孔较完整的情况下进行瞳孔定位，肖瞳孑L位于眼睛边缘、眼睛开度较小等瞳子L不完整的情况下也具有 良好的定位效果． 关键词：多姿态眼球；瞳孑L定位；主动形状模型；灰度分布 中图法分类号：TP39l PupilLocalizationforMulti—viewEyeballs WangXianmei，YangPing，andWangZhiliang (DepartmentofElectroniclnfimmationEngineering。SchoolofComputerandCommunicationEngineering，UniversityofScienceand TechnologyBeijing，Beijing100083) Abstract：Thispaperdescribesapupillocalizationapproachthatiscapableofprocessingmulti—view eyeballundernaturallightenvironment．Intheproposedmethod，theAdaboostalgorithmisusedto detecthumanfaceandthemulti—resolutionASMmethodisusedtolocatethefacialfeaturepoints． Theneyeimagescanbeobtainedbyfoureye’Sfeaturepoints．Afterthelocationoftheeyes，asliding windowtechniqueisemployedtoanalyzetheeyes’grayinformationdistribution．Thelocalarea coveredbytheslidingwindowwithlowestgrayintensityisassumedtobethepupilcandidatearea． Finally，asimilarlocalareaanalysistechniqueisdevelopedtoadjustthepositionofthepupilcandidate area．Experimentsonmulti—vieweyeballsshowthattheproposedmethodcaneffectivelylocalizethe pupilnomatterthepupiliscompleteorincomplete． Keywords：multi—vieweyeball；pupillocalization；activeshapemodel；graydistribution 认知心理学的研究成果表明：眼睛是人类心理 活动的一个重要外在表现‘1|．因此眼睛状态分析是 心理学、情感计算、和谐人机交互等领域的重要研究 内容．眼睛状态分析主要包括眼睑运动分析与眼球 运动分析两部分。其中瞳孔定位算法是眼球运动分 析的重要内容，是眼球运动快慢和视线方向估计的 基础． 根据光源性质的不同，可以将当前的瞳孔定位 算法分为基于红外光源的定位算法陪钉与基于普通光 源的定位算法睁80两大类．红外瞳孔定位算法在检测 收稿日期：2010-10—26；修回日期：201卜05—13．基金项目：国家“八六i”高技术研究发展(2007AA012160)．王先梅(1974一)，女，博 士，副教授。主要研究方向为模式识别、人机交互；杨萍(1986～)。女．硕士研究生，主要研究方向为图像处理、人机交互；王志良(1956～)．男。 博士，教授，博士生导师．主要研究方向为人工心理、人机交互、物联网技术． 万方数据 1428 计算机辅助设计与图形学学报 第23卷 效果、跟踪稳定性和运行时间方面都有良好的性能， 但系统复杂，造价昂贵．基于普通光源的瞳孑L定位算 法对硬件系统要求低，主要包括霍夫变换法[4]、变形 模板法‘争6|、边缘特征分析法‘川、对称变换法‘81，以及 这些方法的综合利用[9]．霍夫变换法和对称变换法 的优点在于抗干扰能力强，具有很好的鲁棒性，但是 计算量大、运算速度慢、对存储空间需求大；变形模 板法具有运算速度快的优势，但是它用模板匹配图 像瞳孑L，由于不同图像眼睛大小不一，所以其准确度 存在一定差异；边缘特征分析法通过灰度投影曲线 确定瞳孔和眉毛区域，算法速度快，缺点是对图像要 求严格，当头部倾斜度过大等情况下适应性不强．现 有的瞳孔定位算法还有一个共同的缺点是：它们主 要适用于眼睛开度较大、眼球完整的情形，当眼球位 于眼睛的不同边缘或者眼睛开度较小(例如眯眼)时 眼球的结构已经不完整，常规定位方法的定位效果 不好，甚至失效． 针对常规的瞳孔定位算法不适用于多姿态眼球 的缺点，本文对多姿态眼球中的瞳孑L定位算法进行 了探索，提出一种利用主动形状模型(activeshape models，ASM)算法与区域灰度信息进行瞳孔定位 的算法．首先利用Adaboost和多分辨率ASM实现 人脸检测和面部关键特征点定位，获取人的眼部图 像；然后基于眼部图像灰度分布的特点，利用多级灰 度信息对眼部图像进行分析并完成瞳孑L的定位．该 算法具有计算简单、快速、鲁棒性好、硬件系统要求 低的特点，不仅能较好地实现正常情况下的瞳孑L定 位，当瞳孔位于眼睛边缘(例如尽力向上、向左、向右 看)以及眯眼时也具有良好的定位效果． 1 系统原理 人眼的外观由巩膜、虹膜和瞳孔三部分构成，其 中虹膜与瞳孔组成了眼球．巩膜是眼球外围的白色 部分，约占总面积的30％；眼睛中心为瞳孑L部分，约 占5％；虹膜位于巩膜和瞳孔之间，包含了最丰富的 纹理信息，占据65％．在人眼图像中，瞳孔的灰度值 最小，巩膜的灰度值最大，虹膜的灰度值介于二者之 间．由于眼睛不同部分之间的灰度存在着较大差异， 因此可以利用灰度信息对眼部图像进行分析，并完 成瞳孑L的定位． 本文所采用的系统主要分为眼睛定位与瞳孑L定 位两大部分，其结构如图1所示． Adaboost人脸检测 直方图均衡 + ◆ 1图片／视频流}叫ASM面部特征点定位——_I一 基于滑动窗口的灰度分析 ● 士 眼睛图像的获取 基于相似灰度分布的瞳孔调整 眼睛定位 瞳孔定位 图1 瞳孔定位系统的结构 1)眼睛定位．眼睛定位的主要目标是从输入的 图像或视频流中检测出眼睛的位置，包括人脸检测、 面部特征点定位、人眼图像的获取三部分．其中人脸 检测采用Adaboost算法，面部特征点定位采用 ASM算法．由于ASM对初始位置的依赖性比较 高，因此将Adaboost人脸检测的结果作为ASM模 型定位的初始模型位置可以加快ASM算法收敛的 速度． 2)瞳孔定位．在眼睛定位的基础上，通过对眼 部图像的灰度分析完成瞳孔的精确定位，主要包括 基于直方图均衡的图像对比度增强、基于滑动窗口 进行灰度信息分析的瞳孑L粗定位以及利用相似灰度 分布的瞳孔位置调整三部分． 2眼睛定位 眼睛定位主要是通过ASM算法进行的．ASM 是由Cootes等[1们提出的，用于精确定位目标对象 和特征配准．ASM的应用主要分为2个阶段：训练 阶段统计模型的建立与搜索阶段的形状匹配．在训 练阶段，通过对训练集中的大量样本形状实例进行 统计，建立反映目标形状变化规律的形状统计模 型——点分布模型，同时利用标定点所在轮廓法线 方向上的灰度信息来建立反映灰度分布规律的局部 灰度模型．在搜索过程中，首先利用训练得到的局部 灰度模型进行搜索，之后利用形状模型来对搜索到 万方数据 第8期 王先梅。等：多姿态眼球中的瞳孔定位算法 1429 的形状进行近似表达，并对其合理性进行判断．通过 循环迭代。最终得到理想的匹配结果．ASM训练得 到的平均形状模型能很好地覆盖各种人脸几何外形 子空闻，具有较高的定位精度．但是AsM也有一些 需要改进的地方，如平均模型对初始化位置非常敏 感、匹配速度慢等． 为了克服AsM算法对初始搜索位置敏感的缺 点，本文采用Adaboost算法定位的人脸区域作为 AsM初始搜索区域，从而将AsM的初始搜索位置 固定在人脸检测的范围内．为了加快搜索速度，采用 多尺度框架进行最优形状匹配的搜索过程． 2．1基于Adabozat的人脸检舅 在人脸检测的训练过程中，采用Lienhart等“” 提出的14种Haar特征对人脸进行描述，利用 GentleAdaboost弱学习算法[1”从一个较大的特征 集中选择少量最优的关键特征，将其组合产生一个 不太高效的强分类器；再用级联方式将选出来的强 分类器合成一个更加复杂的瀑布型级联分类器，使 图像的背景区域快速淘汰，最终得到图片中人脸的 位置． 2．2基于多尺度搜索的ASM搜索原理 多尺度搜索的基本思想是：开始时在一个粗糙 的图像中搜索目标，当得到适当的结果后就以当前 结果作为下一尺度匹配过程的初值，继续在大尺度 上迭代匹配，直到收敛．由于在小尺度灰度模型的匹 配过程中。每个特征点的搜索范围相对大尺度情况 下要大得多，这样就可以有效提高匹配的速度no]． 在构造形状子空间模型的过程中，人脸模型记 为M(s；口)[s]+sf，其中s表示基准形状，5表示缩 放因子，口表示旋转因子，S—Ixlf’Y，，，z“，强，⋯， ‰，Y。]7表示模型中心．假设ns为当前点两边所 取样本点的数目，N一为每层所允许的最大迭代次 数，L～为允许迭代的最大层数．s。表示每次迭代所 产生的形状，基于多分辨率框架的ASM搜索算法 过程步骤如下： Stepl．设定层数变量r=L～． Step2．当L≥0时t Step2．1．在金子塔第L层图像中计算形状子空问模 型点的位置，用平均形状作为初始形状si．o； Step2．2．对s．中的每个关键特征点搜索在其两边轮 廓法线上”。个像素点作为候选点，具有最小马氏距离的那 个候选点作为该关键点的新位置．从而得到g； Step2．3．以s：为目标调整平移、旋转和伸缩等变换 参数以及形状参数(S，0，5．岛)．获得当前形状S+-=M(5， 口)·[s]+墨。并使S+I与毹最佳匹配} Step2．4．如果S和s件，之间差别足够zb(算法收敛。 占关键点总散P由．以上的关键点的搜索得到的量优点在离 当前点的-dZ个像素范圈内)．或此层叠代次数已达到 N一．则该层算法收敛．执行下一步，否剜转Step2．2} Step2．5．如果L>O剜L呻(L—1)． Step3．算法结束，第0层收敛得到结果便是最终的定位 结果． 经反复实验，本文所用的关键参数取值如下： Lw，一4，n．=6，N一一10，Pdine一0．9． 图2所示为一个用68个点描述的ASM定位 效果图，每个眼睛用5个点表示，其中第5个点是眼 睛的中点． 落蔫巾?霹■ ^ASM标定人脸储个点b肼医曩关曩目寻征赢j辱记 图2 ASM定位示意图及眼睛区域的关健点标记 2．3眼部图像的获取 假设每个特征点的坐标表示为[只．z～Py3，则 眼部图像E及其尺寸可以表示如下： 左＼右眼宽度．Wd=IP29．z—Pmzl。W。一 l P32．z—P“．zl； 左＼右眼高度．Hd=IP30．Y—PmYl，H。一 IP35．，一P33．，l# 左眼图像．n(z，y)一U{f(x’，Y’)}，0≤z≤ Wd。O≤Y≤HtI，z’>P27．z&工7 P28．y&y’P34．工＆oT’ P33．y&Y’