视线跟踪系统中眼睛睁闭检测算法研究

视线跟踪系统中眼睛睁闭检测算法研究 第 17 卷 第 1 期 电路与系统学报Vol.17 No.1 February，2012 2012 年 2 月JOURNAL OF CIRCUITS AND SYSTEMS 文章编号:1007-0249 (2012) 01-0017-07 * 视线跟踪系统中眼睛睁闭检测算法研究 # 邓宏平～李斌～姚鹏～吴伟～王建宇～庄镇泉 (中国科学技术大学 电子科学与技术系微软教育部重点实验室，安徽 合肥 230027) 摘要:眼睛睁闭检测在视线跟踪系统中具有重要意义。为提高检测的准确性，提出了一种基于 Harris 算子的检测 。该方法首先利用 Harris 算子计算图像的角点量，然后搜索图像中角点量最大的位置，以该位置为中心，设置一 个区域，统计该区域内角点量总和占整幅图像角点量总和的比例，通过将该比例与阈值相比较来确定眼睛的状态。实 验结果表明，本算法具有较高的鲁棒性和准确率，并能满足实时性。 关键词:眼睛状态检测;Harris 算子;角点量 中图分类号:TP751 文献标识码:A 1 引言 视线跟踪技术是近年来兴起的人机交互方式，通过分析由摄像头获取的眼部图像，可以计算出人 眼凝视的位置，进而起到利用眼睛控制鼠标的功能 。视线跟踪在军事、残疾人辅助、心理学研究和网 页分析等方向有着重要应用。凝视点的位置，是通过眼部图像中瞳孔中心的位置，结合瞳孔图像到场 景图像之间的映射矩阵计算出来的。瞳孔中心位置与凝视点位置之间存在一一对应关系。因此，在视 线跟踪的过程中，能否实现瞳孔中心的准确定位，将会直接决定人机交互的质量。 现实生活中，人的眼睛会有随机性的眨眼活动，当眼睛闭合时，系统将无法获取瞳孔中心的准确 位置，因此也无法对凝视点位置进行精确地定位。此时，就有可能造成视线跟踪的中断，无法完成正 常的人机交互。另外，在视线跟踪系统中，通常需要凝视某一对象一定时间，才实现鼠标单击。在此 期间，如果出现眨眼情况，凝视点位置将会产生偏移，则有可能造成错误的单击。因此，必须能够识 别出当前帧中眼睛的状态，才可避免此种情况的发生。对于闭眼的情形，可以将前一帧图像的瞳孔中 心位置作为当前帧瞳孔中心位置，或者不作计算，从而不会影响系统的正常工作。 当前眼睛状态检测主要有以下几个难题。第一，光照的影响。不同的视线跟踪系统，采用的照明 系统可能不同，如可见光、红外光等，光源的位置也不尽相同，有前方、斜上方等。因此，采集到的 眼部图像的光照分布各有不同，即便同一幅图像内，不同区域的亮度也有较大差别，因此在对图像进 行二值化等操作时，很难选取有效的阈值。第二，眼睑和睫毛的干扰。眼睑和睫毛具有很低的灰度。 很多基于边缘的算法会将眼睑和睫毛误认为是瞳孔边缘，从而造成误判。因此如何降低各种因素的干 扰，是提高眼睛状态检测正确率的关键。 [1~8][9~15]目前常见的眼睛状态检测方法可以分为两大类:基于图像的方法和基于学习的方法。基于 图像的方法充分利用了睁眼和闭眼时，眼部特征的差异，如是否能检测到虹膜边缘，眼睑的方向是否 相同，上下眼睑的距离等。这类方法的优点是算法比较容易实现，速度也较快，但容易受到眼睑、睫 毛和镜面反光等干扰，准确率不高。基于学习的方法把眼睛状态的检测当作一种分类问题来处理，通 过提取特征，利用分类器进行学习，根据学习结果实现眼睛状态的检测。这类方法需要选择有效的特 征，并选择大量的样本进行训练，才能得到比较理想的分类器。 文献[1~3]首先提取眼部图像的轮廓，然后通过 Hough 变换检测虹膜边缘。Hough 变换轮流对图像 中的所有边缘点进行拟合，然后在空间中寻找最优的圆形作为虹膜的边缘。图像中边缘点的数量 * 收稿日期:2010-04-23 修订日期:2010-05-29 基金项目:获得国家自然科学基金广东联合基金资助(U0835002);国家自然科学基金资助项目(60902062) # 通信作者:E-mail:denghp@mail.ustc.edu.cn 决定了算法的速度。在提取边缘的过程中，眼睑和睫毛的边缘很难完全滤除，容易被误认为是虹膜边缘，从而降低了算法的准确率和速度。此外，Hough 变换需要预先估计瞳孔半径，但在实际跟踪过程 中，瞳孔会受光照等因素的影响而发生显著的变化，很难准确地估计其大小，这也增加了 Hough 变换 的难度。此外，Hough 变换只能用来检测圆形瞳孔，当眼睛转动较大时，摄像机平面与眼球平面出现 较大交角，瞳孔边缘就会呈现出椭圆形状，此时，Hough 变换将失效。文献[4]中介绍了两种方法:一 种是先对眼部图像进行二值化，然后利用水平投影曲线进行判断;另一种方法是先提取眼部图像的边 缘，然后利用水平投影曲线进行判断。这两种方法虽然速度较快，但二值化过程容易受到光照的影响， 边缘的求取又容易受到睫毛以及眼睑方向等因素的影响，因此水平投影曲线并不能正确地反应眼睛的睁闭状态。例如，当眼睑发生较大倾斜时，睁眼与闭眼情况下得到的投影曲线，几乎没有太大差别。 该方法也失去了意义。文献[5]利用径向对称变换检测瞳孔是否存在，从而判断眼睛的睁闭状态。绝大 多数情形下，瞳孔都具有较好的径向对称性，在经过径向对称变换后，瞳孔中心处将出现高亮的点。 因此，通过判断变换后图像中瞳孔中心处的亮度，就能实现睁闭眼检测。但该方法与 Hough 变换一样， 都不易准确地估计出瞳孔半径的大小。文献[6,7]首先对眼部图像进行二值化，然后对上眼睑进行拟合。 如果拟合出来的曲线开口向下，则为睁眼，反之为闭眼。该方法的难点是难以选取有效的阈值，而且曲线拟合容易受到睫毛等非眼睑边缘点的干扰，拟合的准确度不高。文献[8]首先求取眼部图像的边缘， 然后利用来定位上下眼睑和虹膜。但模板法计算量比较大，难以满足实时性要求。 文献[9]首先对眼部图像进行 Gabor 卷积，然后利用神经网络进行分类。 文献[10,11]利用眼睛几何特征作为特征值，然后利用三层 BP 网络进行分类。 文献[12~14]采用 SVM 进行眼睛状态的识别。文献[15]利用 AdaBoost 作为训 练器，来对眼睛状态进行分类。这类方法鲁棒性较强，缺点是收集样本需要 花费大量的时间和精力，成本较高。 为提高眼睛状态检测的准确率，本文充分利用视线跟踪系统中的辅助手 图 1 瞳孔区域的光斑 段，并结合高效的算法，来提高稳定性。在本文的系统中，在眼睛前方有一 个用于照明的红外灯。由于角膜的反光性，会在眼睛上留下一个高亮的光斑，如图 1 所示。光斑的亮 度和大小都非常稳定。而当眼睛闭合时，光斑将会消失。因此，通过对光斑的检测，可以实现眼睛状 态的快速检测。 图像二值化不能用于光斑检测，这是因为在很多情形下，眼部图像的光照不均，造成二值化阈值 [16]不易选择。考虑到光斑区域的灰度在各个方向上变化都很剧烈，可以采用 Harris 角点检测算子来进 行处理(眼睑和睫毛不具有这种特性)。本文就是基于这种算法思想来实现眼睛状态检测的。 利用自 己的视线跟踪系统采集了大量的眼部图像用于实验，实验结果表明该方法成功的消除了光 照、眼睑合睫毛等因素的影响，检测的准确率比目前常用的方法都要高，并且由于 Harris 算子计算简 单，在速度上完全达到了实时性要求。 预处理 计算角点量 搜寻最大值 统计比例 判断闭眼 2 算法 算法如图 2 所示。 图 2 算法流程图 首先对图像进行预处理(平 滑)，降低噪声带来的干扰。然后利用 Harris 算子计算角点量。搜寻图像中角点量最大的位置(光斑)， 以该位置为中心，设置邻域，统计该位置邻域内角点量总和占整幅图像角点量总和的比例。然后将该比例值与阈值相比，便可判断眼睛的睁闭状态。 2.1 Harris 角点检测算子 角点经常被用来提取图像中的特征。C. Harris 将图像中点分为角点、边缘和平地三种。角点是指 在各个方向上灰度变化都非常剧烈的点。角点量用来衡量灰度变化的剧烈程度，角点量越大的点，灰 第 1 期 邓宏平等:视线跟踪系统中眼睛睁闭检测算法研究19 [16] 度变化也越剧烈。角点量利用图像的梯度计算得到，方法如下: 2(1) cim , Ix2*Iy2, Ixy*Ixy, k*(Ix2 ， Iy2) Ix2 , Ix*Ix , g ( x, y) 其中，(2) Iy2 , Iy*Iy , g ( x, y) (3) Ixy , Ix*Iy , g ( x, y) (4)g ( x, y) 是一个高斯平滑模板，Ix 和 Iy 分别是图像 I 的水平和垂直梯度， , 表示卷积，k 为常数，通常 取 0.04，cim 表示角点量图像。水平梯度 Ix 与垂直梯度 Iy 利用梯度模板与图像 I 卷积得到，方法如下: Ix , I , [,1,1] (5) T(6) Iy , I , [,1,1] 在视线跟踪 系统采集的眼部 图像中(如图 3 所示)，光斑在各 个方向上灰度变 化都很大，属于 (a) 睁眼图像 (b) 1 倍大小 (c) 0.5 倍大小 (d) 0.25 倍大小 强角点，睫毛和 图 3 不同的缩放尺度对结果的影响 眼睑处灰度有一定的变化，属于弱角点，而皮肤或瞳孔内部，灰度变化缓慢，属于平地，角点量很小。 在睁眼情形下，由于光斑的存在，角点量幅值很大且集中在光斑处，其余区域诸如眼睑和睫毛等弱角点，虽然也有一定的角点量，但与光斑相比，可以忽略不计。在闭眼情形时，图像中不存在强角点， 整幅图像的角点量都很小，并且较为分散。通过比较两种状态下角点量分布情形的差异，来实现眼睛 状态的快速检测。 2.2 Harris 算子的在睁闭眼检测中的应用 在使用 Harris 算子之前，还需要对图像进行适当的预处理，否则无法得到理想的角点量图像。首 先，对图像进行高斯平滑，以滤除噪声，噪声点属于弱角点，如果图像中存在较多的噪声，可能会导 致角点量分散，从而被误判为闭眼。高斯平滑的方法如下: (7) I ( x, y) , I ( x, y) , G(r ) σ 2 , ( r , r) 0 2 2, G (r ) , ，1/ 2, , ，e (8) 其中，σ G(r) 是标准差为 , 高斯卷积核。 , 其次，需要对图像进行必要的缩放。如图 3 所示，分别将图 3(a)缩放到 1 倍大小、0.5 倍大小和 0.25 倍大小，然后利用 Harris 算子进行处理，可以观察到不同的结果。在原图大小时，光斑位置处的 角点量接近 0，0.5 倍大小时，光斑位置角点量增大，缩放到 0.25 倍大小时，光斑才呈现出角点的特 性，此时，整个图像的角点量集中在此区域。 这种现象是角点本身特征决定的，角点是一种点特征，角点量的计算依赖于梯度。而梯度的计算 是通过相邻像素相减得到的。原图中，光斑直径有 20 个左右像素大小，此时光斑区域内部灰度变化很 小，而在光斑边缘区域，灰度出现较为平缓的变化，梯度值并不大，因此最终的角点量值并不大。而 随着图像的缩小，光斑边缘处的“过渡区”变窄，梯度值开始变大，角点量也随之变大。当图像缩放 到 0.25 倍大小时，光斑的大小只有 4~5 个像素，此时，相邻像素之间的灰度相差很大，梯度值较大， 此时的光斑已经成为强角点，因此在角点量图像中，该处的强度值高度集中。 [17]根据 Lindeberg的尺度空间理论，Harris 算子计算出来的角点量，与图像的尺度有关，并且会在 某一个尺度下，出现一个极大值。极大值对应的尺度被称为特征尺度。 (9) L (,,,; t ) , , L(,,,; t ) , (, g (,,,; t )) * f (,,,) α β α β α β x y x y x y , ,式(9)可以用来说明尺度因子对 Harris 算子的影响。L 表示 Harris 算子等微分算子，t 表示尺度， xy 表示在 x 方向上的 , 次微分和 y 方向上的 , 次微分，在 Harris 算子中， , 和 , 都为 1。 f ( x, y) 表示图 像，g 表示高斯函数。在 , 、 , 、f 都确定的情形下，L 的最大值由尺度 t 决定。在本文的实验中，当 t 取 4 时，光斑 区域的角点量可 以达到最大值。 最终的处理 结果如 图 4 所 (a) 闭眼图像 (b) 闭眼图像角点量 (c) 睁眼图像 (d) 睁眼图像角点量 示。图 4(a)是闭 图 4 睁眼图像和闭眼图像的角点量 眼情形的眼部图 像。由于闭眼图像中不存在强角点，角点量都很小，为了观察此时角点量分布状况，对变换后的角点量图像进行灰度拉伸，将灰度的变化范围拉伸到 0 至 255，如图 4(b)所示。此时，角点量较为分散， 没有出现角点量高度集中的情形。图 4(c)是睁眼情形下的眼部图像，图 4(d)是其对应的角点量图像。 此时，由于光斑区域灰度变化较大，该区域的角点量远高于其他区域，角点量主要集中在光斑区域。 2.3 眼睛状态的判别 在得到角点量图像之后，需要选择一个合理的指标量，然后设定阈值。以判别眼睛的睁闭状态。 有两个可供选择的指标量:最大角点邻域内角点量的总和 Cms，最大角点邻域内角点量总和占全图角 点量总和的比值 Cmsr。 这两个指标量可以通过下面的方法得到。首先在角点量图像 cim 中搜寻最大角点量 pos的位 cim max 置。 (10) pos, arg max{cim( x, y)} cim max ( x, y ),I 然后以 pos为中心，设置一个窗口 W(宽度可设为 7)。统计窗口 W 内角点量总和 Cms。 cim max (11) Cms , cim( x, y) , ( x, y ),W 窗口 W 内角点量总和占全图角点量总和的比例 Cmsr 可以通过公式(12)得到: Cms (12) Cmsr , cim( x, y), ( x , y ),I 其中，I 表示整个图像区域， cim( x, y) 表示 ( x, y) 位置处像素的角点量。 把眼睛状态检测当作分类问题时，指标量就是特征值。衡量一个指标量是否适合的标准，是比较 睁眼与闭眼情形下，指标量分布的间隔程度。若某一指标量在睁眼和闭眼情形下没有较大差异，分布 曲线有较大的交叠部分，则不利于阈值的设置，最终的分类效果也不理想。但如果得到的指标量分布 曲线彼此间隔很大，两种状态下几乎没有交叠，具有较好的区分度，则能够很好地实现分类，并且具 有很好的泛化能力。 为比较 Cms 和 Cmsr 的优劣，利用实验的方法观察它们在所有测试图像上的强度直方图。以 Cmsr 为例，其对应的强度直方图的计算方法如下: (13) Cmsr (k ) , n/ n k 其中， 表示第 k 个强度等级处的图像数量，n 是总的图像数，强度直方图 Cmsr (k ) 表示第 k 个强度等 n k 级出现的概率。 图 5 是测试图像上得到的两个指标量的强度直方图。蓝色的曲线表示闭眼情形下的强度直方图， 红色表示睁眼情形下的强度直方图。对于同样的实验数据，Cms 区分睁眼和闭眼的效果不如 Cmsr 好， 两条曲线有很大的交叠，不利于设置阈值，总体正确率不高。而 Cmsr 在两种情形下的强度值差异巨 大，两条曲线有很大的间隔，这有利于提高分类器的泛化能力。因此，Cmsr 比 Cms 更适合用来进行 第 1 期 邓宏平等:视线跟踪系统中眼睛睁闭检测算法研究21 0.12 0.18 眼睛状态的检测。 opened opened closed 0.16 closed 在选定指标量后，需 0.1 0.14 要训练出一个合理的阈值 0.08 0.12 th，用来区分不同的状态。 0.1 把眼睛状态检测作为一个 0.06 hist 0.08 二分类问题，则以阈值 th 0.04 0.06 为分类界面的分类器，应 0.04 0.02 尽可能的具有高的泛化性 0.02 能。与支持向量机 SVM 0 0 1000 1500 2000 2500 3000 3500 4000 4500 0 0.02 0.04 0.06 0.08 0.1 0.12 WinPixelSum 的分类器分界面的原理一 Max (a) Cms 强度直方图图 (b) Cmsr 强度直方图 样，选择两类的中间线作 Cms 和 Cmsr 的对比 图 5 为分界面。以 Cmsr 的阈值 th 选取为例，如下方法进行计算。首先，计算直方图的左右边界 LB、RB 和边界宽度 BW。分别选择最左边和最右边第一个频率值高于直方图最大频率值的5% 的位置做为左右 边界，计算方法如下: (14) LB , min{x | x , CmsrHist ( x) , 0.05 ， CmsrHist} max hist (15) RB , max{x | x , CmsrHist ( x) , 0.05 ， CmsrHist} max (16) BW , RB , LB 其中，表示直方图中的最大频率值。最终阈值的选择需要考虑到两类的宽度:CmsrHist max BW closed(17) th , RB ， (LB , RB ) ， closed opened closed BW opened 通过比较 th 与 Cmsr 值的大小，即可实现眼睛状态的检测。 opened , Cmsr , th, (18) EyeState , ,closed , Cmsr , th , 3 实验及分析 3.1 实验数据 实验所用眼部图像 是采用中国科学技术大 学智能信息处理实验室 自行开发的视线跟踪系 图 6 实验所用眼部图像样本 统采集得到的，共 2390 幅，其中闭眼图像 1078 幅，睁眼图像 1312 幅，图像大小为 384，288，如图 6 所示。其中包括不同的用户，不同的光照情形，以及眼睑和睫毛等各种干扰因素。所有的图像都是实际数据，没有经过加工、剔除。实验程序采用 OpenCV 编写，计算机配置为:CPU 2.10GHz，内存 1G。 3.2 实验结果 [2][5]为验证该算法的有效性，选择了四种方法进行对比:Hough 圆检测，径向对称变换，二值化投 [4][4][2][5] 影和边缘投影。与利用角点量进行眼睛状态检测的原理相似，Hough 圆检测，径向对称变换分别利用 Hough 变换和径向对称变换对图像进行处理，在睁眼图像的瞳孔中心区域能量将高度集中， 同样，计算中心区域能量占全图能量的比值，并利用其判断眼睛状态。二值化投影首先对图像进行二值化，然后进行水平投影，将投影曲线最大值 1/10 位置处最大纵坐标与最小纵坐标之差(称为投影宽 度)作为判断的标准。边缘投影与二值化投影相似，在二值化之后，再利用 canny 算子提取边缘，然 后对边缘图像进行投影。 图 7 是睁眼和闭眼情形下，五种算法的指标量的直方图。其中，蓝色的曲线表示闭眼状态下的分 0.18 0.1 布情形，红色曲线对应睁眼状态下的分opened opened 0.09 0.16 closed closed 布情形。分界面的阈值 th 采用公式(17) 0.08 0.14 0.07 计算得到。表 1 是五种方法最终的检测 0.12 0.06 0.1 结果。 0.05 0.08 0.04 0.06 0.03 0.04 0.02 3.3 分析 0.02 0.01 本文算法通过检测光斑的存在来判 0 0 0 0.02 0.08 0.1 0.12 0.002 0.004 0.006 0.008 0.04 0.06 0.01 0.012 0.014 0.016 0.018 0.02 Max ratio 断眼睛的状态。光斑的大小、亮度都非 Hough 圆 (a) (b) 本文算法 0.18 0.18 0.16 常稳定，opened opened opened closed 0.16 0.16 closed closed 0.14 因此不存 0.14 0.14 0.12 在半径估 0.12 0.12 0.1 0.1 0.1 计不准确 0.08 hist 0.08 0.08 的问题。 0.06 0.06 0.06 0.04 此外，由 0.04 0.04 0.02 0.02 0.02 于 Harris 0 0 0 5 6 7 8 10 11 12 13 9 180 190 200 210 260 270 280 220 230 240 250 120 140 160 200 220 240 180 -4 算子利用 ratio x 10 ratio ratio 图像的梯 (d) 二值化投影 (c) 径向对称变换 (e) 边缘投影 睁眼和闭眼情形下的能量比值的分布状况 图 7 度进行计算，解决了光照干扰的问题，即便图像表 1 各种方法的正确率 中各个区域的光照不均匀，也不会对算法的性能 睁眼图像闭眼图像平均平均运行 正确率正确率正确率时间(s)造成影响。在睁眼情况下，由于光斑各个方向上 86.4% 80.7% 83.5% 0.008 二值化投影都具有很大的梯度，因此使得角点量很高，图像 hist hist 边缘投影 87.0% 83.8% 85.4% 0.008 中大部分角点量都集中在此区域。而闭眼情形下， Hough 圆检测 66.4% 73.1% 70.0% 0.022 径向对称变换 光斑消失，图像中没有角点量特别大的区域，角 100% 95.0% 97.5% 0.024 本文方法 100% 100% 100% 0.010 点量较为分散，因此能量比值相对很小。本文算 法在睁眼、闭眼两种状态下的指标量直方图如图 7(a)所示，两条曲线没有交叠部分，且具有很大的间 隔，因此便于设置阈值，能提高分类器的泛化能力。本文算法在该数据集上，达到了 100%的准确率。 而其他四类方法，睁眼、闭眼两种情形下指标量出现较大的交叠，不利 于阈值的设置，因此检测效果也不是很理想。 在速度上，本文算法比 两种投影方法稍慢，但比 Hough 圆检测和径 hist hist 向对称变换要快。这是因为本文算法只需计算图像的一阶导数。而 Hough 圆检测和径向对称变换需要在一定半径范围内进行遍历，耗费了大量时 间。由于本文算法的高效性，已被成功应用于实时视线跟踪系统中。 3.4 不足之处 图 8 不存在光斑的睁眼图像 本文算法依赖于光斑的检测而实现睁闭眼检测，但在某些极端情形 下，睁眼图像中，可能并不存在光斑，如图 8 所示。这是由于人眼只有虹膜和瞳孔区域具有反光性， 而巩膜的反光性并不好，当人眼左右斜视或上下斜视的角度非常大时，红外灯不能直射虹膜和瞳孔区 域，因此也不会留下光斑。此时，睁眼情形将被误判为闭眼情形。在正常使用视线跟踪系统时，绝不会出现这种极端的情形。并且，将睁眼情形误判为闭眼情形，不从中获取眼部信息，并不会对系统的 正常运行造成影响。 4 结论 为提高视线跟踪系统中眼睛状态检测的鲁棒性，并保证算法的速度，本文提出了一种基于 Harris 算子的方法。该方法通过统计光斑区域角点量所占的比例，成功地实现了眼睛状态的检测。实验结果 第 1 期 邓宏平等:视线跟踪系统中眼睛睁闭检测算法研究23 充分表明，本文算法是一种鲁棒而快速的眼睛状态检测方法。 参考文献: [1] Huachun Tan, Yu-Jin Zhang. Detecting eye blink states by tracking iris and eyelids [J]. Pattern Recognition Letters, 2006, 27: 667-675. [2] H Liu, Y W Wu, H B Zha. Eye States Detection from Color Facial Image Sequence [A]. In Proceeding of SPIE 4875 [C]. 2002. 693. [3] Wang Q, Yang J Y. Eye location and eye state detection in facial images with unconstrained background [J]. Journal of Information and Computing Science, 2006, 1(5): 284-289. 曹菊英, 赵跃龙. 基于水平投影和 Hough 查找圆法的人眼状态识别研究[D]. 科学技术与工程, 2007-09. [4] 张文聪, 李斌, 邓宏平. 基于径向对称变换的眼睛睁闭状态检测[J]. 中国科学技术大学学报, 2010, [5] Junbin Guo, Xiaosong Guo. Eye State Recognition based on Shape Analysis and Fuzzy Logic [A]. Intelligent Vehicles Symposium, 2009 [6] IEEE [C]. 2009-06. 78-82. Lei Yunqi, Yuan Meiling, Song Xiaobing, Liu Xiuxia. Ouyang Jiangfan. Recognition of Eye States in Real Time Video [A]. 2009 International [7] Conference on Computer Engineering and Technology [C]. Y Tian, T Kanade, J Cohn. Dual-State Parametric Eye Tracking [A]. International Conference on Face and Gesture Recognition [C]. 1999. [8] 110-115. Y Tian, T Kanade, J Cohn. Eye-state action unit detection by gabor wavelets [A]. In Proceedings of International Conference on [9] Multi-modal Interfaces (ICMI 2000) [C]. 2000-09. 143-150. [10] Jiangwei Chu, Lisheng Jin, Lie Guo, Keyou Guo, Rongben Wang. Driver's eye state detecting method design based on eye geometry feature [A]. In. Procs. IEEE Intelligent Vehicles Symposium [C]. 2004-06 (EI). [11] Wenhui Dong, Peishu Qu. Eye state classification based on multi-feature fusion [A]. Control and Decision Conference, 2009. CCDC '09 Chinese [C]. 2009-06. 231-234. [12] Erkang Cheng, Bin Kong; Rongxiang Hu, Fei Zheng. Eye state detection in facial image based on linear prediction error of wavelet coefficients [A]. Robotics and Biomimetics 2008. ROBIO 2008. IEEE International Conference on [C]. 2009-02. 1388-1392. [13] Qiong Wang, Jingyu Yang. Eye Location and Eye State Detection in Facial Images with Unconstrained Background [J]. Journal of Information and Computing Science, 2006, 1(5): 284-289. [14] Rui Sun, Zheng Ma. Robust and Efficient Eye Location and Its State Detection [J]. Advances in Computation and Intelligence, 2009, 5821: 318-326. Zhaojie LIU, Haizhou AI, Automatic Eye State Recognition and Closed-eye Photo Correction [A]. 19th International Conference on Pattern [15] Recognition (ICPR2008) [C].Tampa, Florida, USA, 2008-12. [16] C Harris, M Stephens. A combined corner and edge detector [A]. In Alvey Vision Conference [C]. 1988. 147-151. Tony Lindeberg. Scale-space [J]. Encyclopedia of Computer Science and Engineering, 2009, IV: 2495-2504. [17] 作者简介:邓宏平(1982-)，男，博士研究生，研究方向:视线跟踪，模式识别;李斌，副教授，博士;姚鹏(1974-)， 男，生于湖南武冈，中国科学技术大学电路与系统专业讲师，研究领域为模式识别、机器视觉和生物特征识别等;吴伟，硕士研究生;王建宇(1959-)，男，浙江宁波人，研究员，中国科学院上海技术物理研究所博士生导师，研究方 向为光电遥感系统、机载和星载光电遥感仪器、信息获取与处理技术;庄镇泉，教授。 Eye state detection algorithm of eye tracking system # LI Bin, YAO Peng, DENG Hong-ping, WU Wei, WANG Jian-yu, ZHUANG Zhen-quan (MOE-Microsoft Key Laboratory of Multimedia Computing and Communication, Department of Electronic Science and Technology , University of Science and Technology of China, Hefei 230027, China) Abstract: Eye state detection is important in eye tracking system. In order to improve the correctness, a Harris operator based new algorithm is proposed. First, Harris operator is used to calculate the cornerness of eye image. Then, the position of maximum cornerness is set as center of a region. The proportion of total cornerness in the region and all images are used to detect eye state. Experimental results definitely verify the robustness and accuracy of the new algorithm. Especially, this new algorithm is suitable for real-time applications. Key words: eye state detection; Harris operator; cornerness