Univ Access Inf Soc (2012) 11:409–419
DOI 10.1007/s10209-011-0256-6
LONG PAPER
应用于人机交互的眨眼检测系统
A´leksandra Krolak • Paweł Strumiłło 著
董馨齐 (10102130225) 译
网上发布: 2011年12月2日
作者 2011. 本文可以在网上找到
摘要:本文提出了一种基于视觉的人机交互接口。接
口检测眨眼并将它们转化为控制命令。本文使用了2
个图像处理技术,即用于人脸自动探测的类Haar特征
和基于眼睛跟踪和眨眼探测的模板匹配。接口性能由
49个用户(其中12个有肢体残疾)进行测试。测试结
果表明此交互界面能够有效地提供另一种与电脑进
行交流的方式。用户能够输入英文或者波兰语言(平
均时间小于每字12s)而且能够浏览互联网。该接口
可以安装到一个配备典型网络摄像头的笔记本电脑,
而且不需要额外光源。该接口应用作为开源软件放置
在网上。
关键词:人机交互接口( Human-Computer Interface,
HCI),眨眼检测,人脸检测。
A´. Krolak (&) Á P. Strumiłło
罗兹技术大学,电子研究所,
Wolczanska 211/215, 90-924 Lodz, Poland
e-mail: akrolak@p.lodz.pl
P. Strumiłło
e-mail: pstrumil@p.lodz.pl
1、 引言
人机交互接口( Human-Computer Interface,
HCI)可以被描述为人类用户和计算机之间通信的关
键。常用的输入设备包括:键盘,鼠标,轨迹球,
触摸板和触摸屏。所有这些设备都需要手动控制,
不能由运动能力受损的人使用。因此,我们需要另一种适合
有运动障碍的人的人机交互的
,让他们有机会成为信息
社会的一部分。近些年,新型人机交互的发展引起了世界各
国研究人员的重视。一种新的交互方法是不能说话或者使用
四肢的人(例如偏瘫,肌萎缩侧索硬化症,四肢瘫痪)与世
界交流并能够获得教育和娱乐的唯一方式。
一个为严重运动障碍的人开发的友好的人机交互接口
必须满足几个条件:它应该是非接触性的;避免专业设备;
它应具有实时性;它应该运行在大众的计算机上。
在本文中展示了一种基于视觉的自主眨眼检测系统,还
有它的给残疾人使用的人机交互接口的的安装应用。这个系
统,能够以大约30英尺每秒的速度处理小分辨率人脸图像
(320 9 240像素)序列。该系统所需使用的组件市面上都
有出售:一个大众的消费等级的电脑或者是笔记本电脑和一
个中等质量的摄像头。该算法可以进行眨眼检测, 估算眨
眼持续时间和实时眨眼序列解释来控制一个非入侵性的人
机接口。检测到的眨眼分为短时间眨眼(小于200毫秒)和
长时间眨眼(超过200毫秒)。独立的短眨眼是习惯性不自主
眨眼,不包括在眨眼检测的代码设计中。
本文的第2部分包括一些早期的对身体受损人士的研究
概述。第3节中描述的是该眨眼检测算法。在第4部分在提出
的算法的基础上介绍了眨眼控制的人机交互接口。研究结果
在第5部分中讨论,结论是在第6部分。
410 Univ Access Inf Soc (2012) 11:409–419
2、 以前的工作
对于保留了眼外肌控制的严重瘫痪的人,两个
最合适的人机交互接口是:脑计算机接口(BCI)和
凝视[1]或眨眼动作控制系统。
脑-计算机接口是一个允许通过和分析脑电活
动控制计算机应用程序的系统。肌肉的动作不是必
须的。这样的接口可以操作虚拟键盘[ 2 ],管理环
境控制系统,使用文本编辑器,Web浏览器或进行体
育运动[ 3 ]。脑–计算机接口给有严重身体障碍的
人很大的希望;然而,其主要缺点是侵入性而且需
要特殊脑电图
硬件。
凝视控制和眨眼控制用户界面适用于不能说话
或无法用自己的双手去沟通的人的第二种系统。大
多数现有的视线通信方法是侵入性或使用专门的硬
件,如红外(IR)照明设备[ 4 ]或
electrooculographs(EOG)[ 5 ]。这种系统使用
两种输入信号:扫描路径(用眼睛注视的目光视线)
或眨眼。眨眼控制系统区分主动和非主动的眨眼然
后解读单个主动眨眼或序列。具体的嘴的动作也可
以作为一个额外的方式。特殊的眨眼的方式具有特
定的鼠标或键盘命令分配。例如,一个单一的长时
间眨眼是一个与标签相关的动作,而两个短时间的
眨眼是鼠标单击[ 29 ]。这样的策略可以用于控制
简单的游戏或运行拼字的程序。
基于视觉的眨眼检测方法可分为两组,主动和
被动的。主动的眨眼检测技术需要特殊的照明以利
用眼睛的反光性能。光落在眼睛会在视网膜进行反
射。反射光很窄的,因为它是通过瞳孔,直接指向
光源。当光源位于相机的聚焦轴或非常接近它时,
反射光束可以在记录亮瞳效应的图像(图1)中见到。
明亮的瞳孔现象可以在闪光摄影中观察到,即使红
眼效应。
一个利用红外照明的目光交流装置的例子是
Visionboard系统[4]。红外二极管位于角落的监视
器允许检测和跟踪用户的眼睛使用明亮的瞳孔效
应。该系统取代鼠标和键盘的一个标准的计算机和
提供访问许多应用,如写消息,画画,远程控制,
互联网浏览器或电子邮件。然而,大多数用户并不
完全满意这个解决
,建议做一些改进。
[9]中描述了一个更高效的系统。它使用两个摄像头
——一个用来进行瞳孔跟踪,第二个用来估计头相
对于屏幕的位置。在监控上的红外标记可以保证精
确的目光跟踪。对于有运动障碍的人,发达系统可
以取代电脑鼠标或键盘。
图1:在红外光谱中的眼睛图像: a:在自然光条件下的眼睛;b:红
外照明后眼睛的亮瞳效应。
这种对眼睛和眨眼的检测给出了非常准确的结果,而且
这种方法很粗暴[8]。基于红外的眼睛控制人机交互接口的
优势与由于专门的硬件而产生的高成本相抵消。由于直射阳
光对红外照明的影响,它们在户外环境中会失效。另一个问
题是长时间使用这样一个系统的安全问题,因为眼球长期暴
露在红外照明中可能导致视网膜损伤[32]。因此,最好的解
决方法是开发目光控制或眨眼控制系统。
被动的眨眼检测方法不使用额外的光源。眨眼在自然光
照下从可见光谱的序列图像中被识别出来。大多数的眨眼检
测技术事实上是检测眼睛区域图像。许多方法都用作这个目
的,如模板匹配[10],皮肤颜色模型[11],规划[12],定向
循环霍夫变换[13],多个伽柏响应波[14]或眼检测使用Haar
特性(15、16)。
最简单的检测图像序列中的眨眼方法是从其中减去连
续帧然后创建一个差分图像(图2)。
然而,这种方法仍需要保持头部的位置,因为头部动作
会引入错误的检测。这种眨眼检测的类型主要是用做进行眼
光定位跟踪系统的初始化步骤。
基于模板匹配的方法是使用一个眼睛图像模型, 输入
对比段的图像。匹配的输入图像的一部分是由关联模板对当
前图像帧。这种方法的主要缺点是,它无法处理缩放、旋转
或照明的变化。出于这个原因,引入了可变形模板的概念
411
[17]。在此方法中,参数模型定义的眼周围阴影
加上其能量函数。在一个迭代过程的能量极小
化,模型图像旋转和变形以适应眼周围阴影。一
个最近提出的能够检测图像中的对象的方法是
使用Haar特性提高了级联的树分类器 [15]。
Univ Access Inf Soc (2012) 11:409–419
图2:通过图像的差异进行眨眼检测:a是睁开的眼睛,b是闭
上的眼睛,c是差异图像,d差分图像。
一个被动的眼睛检测系统的例子是应用科学实
验室的眼睛追踪发展的解决方法 [18] 。它需要戴
头盔摄像头看眼球的运动。这种设备让系统变得更
容易,也是系统性能更加可靠,因为这样条件下的
脸总是在视频图像中的相同位置。然而,戴着头盔,
这不适合所有用户,会很不舒服,尤其是对于孩子
们。
一个非侵入性视觉系统在[19]中提出。它是基于
左右眼的对称性使用了一个USB摄像头来追踪眼球
运动(上,下,左,右)。该系统适用于玩一种特殊
类型的电脑游戏和操作网页浏览器(滚动和模拟使
用选项卡和输入键)。
3、 眨眼检测系统
图3:提出的眨眼检测算法方案
眨眼监测系统有很广泛的应用。如疲劳监控、人
机交互接口和测谎。无论系统的目的是什么,开发
3.1 人脸检测
出来的算法必须是可靠、稳定的,并能够在不同的
照明条件下进行实时的工作。
拟议的检测自愿眨眼的应用系统是由现成的
组件组成的:一个家用PC或笔记本电脑和一个中等
质量的摄像头。小分辨率的脸图像(320 9 240像素)
的处理速度约为28 fps。眨眼的检测算法包括四个
主要步骤(图3):(1)人脸检测,(2)眼睛区域提取、
(3)眨眼检测、(4)眨眼分类。人脸检测是通过Haar
特性和树分类器级联的提振实现的。眼睛定位是基
于某些已知的人脸的几何依赖。眨眼检测采用了模
板匹配技术。对于算法所有步骤的更多细节在3.1
- -3.4部分。该算法允许眨眼检测,眨眼时间估计,
在此基础上,眨眼被分为是习惯性不自主眨眼和主
动眨眼两类。
人脸检测是发展出的眨眼检测算法中的一
个非常重要的部分。由于这样的事实,即面部定
位在计算上十分昂贵,也很耗费时间,这个过程
是只在系统的初始化期间运行,和一些跟踪的脸
“失踪了”的情况下。因此,对于该系统实时工
作,我们选择的方法需要工作得很快(每单一映
像少于30 ms 30帧/秒的速度)。另一方面,所选
方法的准确性也很重要。必须在高检出率和错误
率中进行权衡。所选择的方法应该在不同照明条
件下表现都很好,因为面部表情、头部姿势,部
分挡住的脸,眼镜,胡子和各种发型都可能有所
不同。现在已经提出了许多人脸检测的解决方
案。他们可以分为:(1)以知识为基础,使用简单
的规则来描述脸的对称属性和脸特征之间的几
412 Univ Access Inf Soc (2012) 11:409–419
何关系[28]。(2)特性为基础的方法,基于检测到的
嘴、眼睛、鼻子或皮肤颜色(20、21),(3) 基于计
算输入图像之间的相关性和存储模式的匹配方法
[22]。(4)基于模型方法,算法是利用神经网络训练
模型[23],支持向量机(SVM)[24]或隐马尔可夫模型
(HMM)[25]。在发达的算法中,该方法来源于由Viola
和Jones [6]开发出来的模板匹配,由Maydt和
Leinchart [26]修改和应用的实现[15]。
Haar特性的功能是通过不同的大小和方向的图
像与模板的卷积进行计算的(图4)。这些特征原型
可以分为3类:边缘,线和中心环绕的面具。每个模
板由两个或三个黑色和白色矩形组成。
图4:用于对象检测的矩形掩模。
对于给定的掩模的特征值计算为黑色的矩形与
掩模覆盖的像素强度的加权和。
不是所有的计算功能对于正确的检测出图像中
的面孔都是必要的。一种有效的分类器可以只使用
一部分的特征值而达到最小错误率。为了找到这些
特点,采用Boosting算法,即温和的自适应提升
(Gentle AdaBoost)[ 27 ]。通过重复几次升压过
程来构建级联分类器。每个阶段的级联是弱分类器
的加权和,在阶段性的复杂性随着阶段数而增加。
为了达到特征的快速计算,在积分图像[ 6 ]中介绍
新的图像表示。
这个方法对150个一组的人脸图像进行了测试,
并达到94%的精度。该算法的速度测试环境是使用英
特尔酷睿2四核CPU,2.4 GHz处理器进行不同分辨率
的人脸图像测试。结果列于表1。脸图像检测的一个
例子如图5所示。
表1:使用分类器和Haar特性模板的人脸检测时间。
图像尺寸 单张脸(ms) 4张脸(ms)
3,264*2,448 11,860 11,937
2,448*1,836 6,531 6,547
1,632*1,224 2,953 3,000
1,280*960 1,828 1,875
640*480 484 516
320*240 156 157
图5:利用Haar特性掩模和提高树分类器的结果[图片由Adam
Kozł owski拍摄,医疗电子事业部,2006]
3.2眼部区域提取
该算法的下一步是在一个图像中的眼睛区域定
位。面部图像中的眼睛的位置是在一定的已知的人脸
几何关系基础上建立的。传统规则的比例显示人脸被
分成六个相等的正方形,2乘3[7] 。根据这些规则,
眼睛是位于从头顶到眼睛之间约0.4的地方(图6)。所
提取的眼部图像预处理是为了进行进一步进行眨眼检
测。
眼睛区域的位置是从人脸图像中提取的,用作进
一步的眼睛跟踪模板匹配的模板。对眼部的提取,只
有在系统的初始化和人脸检测程序运行重复了的情况
下才会被执行。
1、 边缘特征
2、 线特征
3、 中心环绕特征
Univ Access Inf Soc (2012) 11:409–419 413
3.3眨眼检测
检测到的眼睛使用归一化互相关方法(1)进行
跟踪。自动系统的初始化过程中可以获得用户的眼睛
模板图像。
', '
2 2
', ' ', '
[ '[ ', '] ( ', ')]
( ', ')
( ', ') ( ', ')
x y
x y x y
T x y I x x y y
R x y
T x y I x x y y
(1)
其中R是相关系数,T是模板图像,I是原来的图
像,X,Y是坐标。相关系数用来衡量当前的眼睛图
像与保存的睁开的眼睛模板的相似之处(图7)。因
此,它可以被看作是检验眼睛是否睁开的措施。一
个实时相关系数值变化的示例图如图9。
图:6:人脸比例规则。
图7:案例眼睛图像作为模板。
3.4眨眼分类
对相关系数的及时变化进行分析以检测眨眼
睛的时间大于250 ms的主动眨眼。如果价值系数低
于预定义任何两个连续帧TL的阈值,这次睁眼就会
被检测到。如果值的相关系数大于阈值TH(图8),
那么这次闭眼就会被检测到。值的阈值TL TH由实
验确定。如果检测到的持续时间长于250 ms而且短
于2 s,这样眨眼被认为是一种能够自行控制的一
个眨眼。
3.5系统的性能
发达的眨眼系统检测和监控使用
IntelCoreQuad CPU在2.4 GHz处理器中对从USB及
9000 Pro摄像头中得到的序列进行了测试。 输入图
像序列的大小是320*240像素。系统测试在一个只有
一个窗口的房间进行,透过窗口摄入3个荧光灯和1
个日光灯。这个人坐在监视器的前面,指示显示闪
烁。每个人被要求眨眼40次(20长眨眼和20短眨眼,
顺序任意)。USB摄像头固定在监视器的顶部,离人
脸大约70厘米。实时进行眼睛闪烁检测,平均速度
为29 fps。发现有两种类型的错误:虚假检测(系统
检测到一个眨眼但它并不存在),错过了眨眼(一次
眨眼,不能被系统探测到)。眨眼检测器输出的可能
分布,如图9所示。
正确检测到的眨眼记作TP,错误的检测记作FP,
未被检测到的眨眼记作FN。基于这三个参数,有三
种个测量系统性能的指标:精密度(precision),
召回性(recall),准确性(accuracy),分别在2-4
中定义。
Precision= (2)
Recall= (3)
Accuracy= (4)
这三个性能指标用来评估系统在分别检测短时
眨眼和长时间眨眼时的正确性,还有对于回滚系统
的性能。我们同样在低光照以及不均衡光照的情况
414 Univ Access Inf Soc (2012) 11:409–419
表2:良好光照条件下眨眼检测有效性指标
表3:在丌良光照条件下的眨眼检测有效性指标
下对系统进行了测试。结果在表2和表3中。注意到
得到的结果可以跟记录中基于视力的主动眨眼检测
的性能比率相比较[9,31]。在提出的解决方法中,
正确眼睛位置的比率和人脸检测的准确率是一样
的,都是99.74%。这个结果是可用的算法中最好的
一个。系统的准确性大约等于95%,近97%的精度和
98%的召回率。这些数据与在活跃照明技术条件下的
眨眼检测系统相似。在大众等级的笔记本电脑中这
个算法的速率为25-27fps。这些参数表明该算法满
足建立一个可靠的眨眼检测系统的假设。
Fig. 9 Possible distribution of the eye-blink detector output
方式
精密度
(precision)
(%)
召回性
(recall)
(%)
准确性
(accuracy)
(%)
长时眨
眼检测
96.91 98.13 95.17
短时眨
眼检测
96.99 98.50 95.53
回滚系
统准确
性
96.95 98.31 95.35
方式
精密度
(precision)
(%)
召回性
(recall)
(%)
准确性
(accuracy)
(%)
长时眨眼
检测
78.43 82.11 77.38
短时眨眼
检测
76.15 81.93 77.02
图9:眨眼检测输出的概率分布
自动检测自愿眨眼的算法在一个用户界面中曾被
使用过。这个应用程序是使用Visual Studio C++语言
和OpenCV图书馆写的。 该系统是由现成的组件组成:一
个网络摄像头和一个大众消费等级的个人电脑。为了得
4、 眨眼交互
图8:在一次眨眼中相关系数值的变
化。
可能判断
实际情况
存在眨眼
不存在眨
眼
测试结果
眨眼检测 TP FP
无眨眼检
测
FN
Univ Access Inf Soc (2012) 11:409–419 415
到最佳系统性能,相机之间的距离和用户的头不
应大于150厘米。系统设置如图10。
拟议的接口,设计用于Windows操作系统,具
有以下功能:
网页加载和导航。
控制鼠标光标和模拟键盘和鼠标按键。
进入任意文本文本编辑器、电子
或信箱。
关掉电脑。
图10:对所提出的用户界面的试验台
图11:含有长眨眼及短眨眼的睁眼
信号例子
主要的用户界面元素是一个虚拟的键盘和屏
幕鼠标。 交互界面的操作是基于通过执行控制眨
眼激活某些虚拟键盘或鼠标的“按钮”。 随后的
按钮以一个序列自动高亮显示。 如果控制系统检
测到眨眼,则高亮显示的按钮被执行。 用户告知
检测眨眼的两步骤:检测开始时会有一个声音,当
控制眨眼被系统识别后会发出另外一种声音。
如果使用的是虚拟键盘,选中字母数字信号需
要两个步骤。 第一步是选择包含所需信号的列。
当检测到控制眨眼,列信号会在一个序列中被突出
显示出来,然后允许输入第二个控制信号来选择字
母进行文本编辑。
很多键盘已经
用于文本输入,如字母
QWERTY或模糊扫描的键盘(SAK)[30]。 虚拟键盘上
的字母数字信号在拟议的系统是这样安排了,对于
特殊信号的访问时间与该信号的出现频率成正比。
因此,对于每个语言,需要不同的字母的组合。 为
波兰(a)和英国(b)设计的键盘如图12.
屏幕上的键盘也包含几个功能键,如
“Shift”、“Alt”或“Ctrl”。用户可以使用
“Shift”键输入大写字母或替代按钮符号(图
13)。
拟议的接口是通过主动眨眼进行操作的。 习
惯性不自主眨眼的平均持续时间约等于100 ms。
检测到的眼睛眨眼分为短时间(非主动的)和长时
间(主动的)眨眼。 为了避免造成将习惯性不自主
眨眼错误解释为一个主动眨眼,眼眨眼睛的时间
大于200 ms被认为是“可控”的,将被解释为系
统命令。 一个有长期眨眼和短期眨眼的例子如图
11.
416 Univ Access Inf Soc (2012) 11:409–419
图14:波兰的屏幕键盘“对于Alt”键选择的安排
图12:屏幕上的键盘排列,a是波兰语言,b为英语
图15:屏幕上的鼠标板
图13:波兰的屏幕键盘“对于Shift”键选择的安排
“Alt”键允许用户输入特殊的标志,例如,波
兰本国的字母(见图14)。两个“Shift”和“Alt”
键,以及其他功能按钮保持选中,直到所需的键被
选中能够形成所需要的键盘组合。
屏幕鼠标菜单包括七个功能还有一个“退出”
按钮(图15)。选中四个箭头按钮将导致鼠标光标向
选定的方向移动。第二次控制的眨眼会使光标停止
动作。按钮L R和2 L分别负责左,右和双点击左键。
通过这种方式,屏幕鼠标使用户能够访问互联网浏
览器的所有功能。
开发出的接口还给用户提供一些个性化功能。
用户可以定义多达17个快捷键(图16),用于快速运
行选择的应用程序,例如:文本编辑器、互联网浏
览器或电子邮件客户端。这个快捷键可以添加、移
除,也可以进行替换。
书签菜单允许用户添加链接到最常访问的网站
(图17)。选择一个带有书签的屏幕按钮,默认浏览
器就会运行,然后显示选中的网页。最后的功能是
关闭菜单,它允许用户安全退出所有正在运行的程
序和关掉电脑。
图16:快捷键面板
图17:书签面板
5、 结果
已开发出的眨眼控制用户界面由49个用户进
行测试:12人残疾和37个没有残疾的参与者做对
照组。所有的人都完成了持续约10 - 15分钟的义
务培训。测试包括三个部分:使用一个带有波兰虚
Univ Access Inf Soc (2012) 11:409–419 417
表5:具有英语键盘的交互界面的性能(培训后)
拟键盘的交互界面,使用一个带有英语虚拟键盘的交
互界面和使用web浏览器。在第一和第二部分的测试
中,受试者被要求使用波兰语言或者是英语构建完整
的单词或短语。输入时间以秒为单位计算。计算错误
的输入字符的数量,除以原词中字符的数量。测试运
行期间,不允许进行修正(退回)。
这项研究的结果如表4、5、6和7。用户界面与波
兰虚拟键盘的平均输入速度是5.7字符/分钟,而对于
英语虚拟键盘,输入速度等于6.5字符/分钟。屏幕上
的键盘测试的整体误差比率为0.4(即:每36个字符中
存在一个错误的输入信号)。第三部分的测试是用来
评估网页浏览的性能。受试者被要求执行以下任务:
(1)通过在虚拟键盘上选择适当的按钮加载一
个预定义的Web页面
(2)滚动加载Web的页面
(3)请将鼠标移动到一个显示位置而后执行一
个点击动作
(4)输入一个给定的网络地址并加载一个新Web
页面
(5)在1,440 9 900像素分辨率的屏幕上将光标
从左上角移动到右下角。
单词 时间范围(s) 平均时间(s) SD
MAIL 30.4-76.3 40.1 ±6.85
NAME 37.1-78.9 46.2 ±7.02
MY NAME IS 91.3-142.7 111.8 ±8.39
INFORMATION 98.1-157.9 132.5 ±14.2
GOOD MORNING 104.2-178.3 141.3 ±13.98
表6:具有波兰键盘的交互界面的性能(培训前)
单词 时间范围(s) 平均时间(s) SD
第三部分的测试结果在表8中。在完成测试后,
7名测试者感到有轻微的眼疲劳和紧张。
表7:具有波兰键盘的交互界面的性能(培训后)
表4:具有英语键盘的交互界面的性能(培训前)
单词 时间范围(s) 平均时间(s) SD
单词 时间范围(s) 平均时间(s) SD
MAIL 27.3-50.1 35.03 ±6.36
NAME 30.8-56.9 39.77 ±6.95
MY NAME IS 82.6-109.3 93.45 ±7.05
INFORMATION 82.9-131.2 100.57 ±13.13
GOOD MORNING 93.1-140.3 108.27 ±14.47
同样有两位患有手足徐动症的患者对开发出的用
户界面进行了测试。手足徐动症会进行连续而缓慢不自
主的弯曲,伸展运动。它被认为是大脑纹状体损害引起
的,也可能是病变的下丘脑引起的。
对这两个人的测试由波兰电信和朋友集成协会组
织(图18)。对于其中一个人, 由于连续头部动作系统没
有检测到用户的眼睛。对于第二个人则发现系统是有用
的,而且准备使用原型的所有功能。
对交互界面的功能用两种方式进行了评估:通过估
计进入特定的字母数字符号序列所需的时间和通过评
估使用屏幕鼠标的精度。每个用户测量两次性能:2小
时训练之前和之后。结果在表4和5中。在训练之前,输
入一个信号的平均时间是16.8秒,训练后是11.7秒。将
光标从右下角移动到屏幕的中心的平均时间是7.46秒。
检测到的眨眼的百分比为99%。
要求用户对提出的交互界面的好坏进行评估。91%
的测试者认为这个界面很好。主要的缺点是关于学习使
用方法的困难和长期的训练的必要性。也有84%的用户
抱怨在使用这个界面大约15分钟之后眼部会出现疲劳
图8:眨眼HCI时间
动作 平均时间(s) SD
加载预定义的网页(1) 6.21 ±0.58
滚动网页(2) 10.48 ±1.03
移动光标到指定位置并单击(3) 13.24 ±1.38
输入网址:
http://www.yahoo.com(4)
61.33 ±7.81
沿着屏幕对角线移动光标(5) 9.54 ±0.51
418
现象。这是因为在屏幕上选择一个按钮需要高强度注
意力集中。这个问题可能会通过引入自动填充预测文
本选项减少。经过一些修改后,这个界面可以用于其
他目的。它的简化型可能被引入医院作为一个工具让
严重的瘫痪病人能够告诉医生他们的基本需求或打
电话给医务人员。眨眼检测系统也可以用于控制外部
设备,如电视机、收音机或轮椅。
Univ Access Inf Soc (2012) 11:409–419
结果表明,该算法可以准确检测的眨眼率大
约为99%。进行的测试表明,设计的眨眼控制用户
界面是一个在进行通信时的有用工具、机器。该
系统是被波兰电信和橙色集团作为一个开源软件
发布到市场上,供残疾人使用,链接为
(http://www.sourceforge.net/projects/b-link/)
开放资源:这篇文章是在非商业性创作许可下发
布的,允许任何非商业性使用、分配以及在任何形式
媒体中复制,并提供了原始作者(年代)和来源。
参考文献:
1. Starner, T., Weaver, J., Pentland, A.: A wearable computer based
American sign language recognizer. Assist. Technol. Artif. Intell.
84–96 (1998)
2. Materka, A., Byczuk, M.: Alternate half-field simulation tech-
nique for SSVEP-based brain–computer interfaces. Electron.
Lett. 42(6), 321–322 (2006)
3. Ghaoui, C.: Encyclopedia of Human Computer Interaction. Idea
Group Reference (2006)
4. Thoumies, P., Charlier, J.R., Alecki, M., d’Erceville, D., Heurtin,
A., Mathe, J.F., Nadeau, G., Wiart, L.: Clinical and functional
evaluation of a gaze controlled system for the severely handi-
capped. Spinal Cord. 36, 104–109 (1998)
5. Gips, J., DiMattia, P., Curran, F., Olivieri, P.: Using EagleEyes-
an electrodes based device for controlling the computer with your
eyes-to help people with special needs. In: Proceedings of the 5th
International Conference on Computers Helping People with
Special Needs, vol. 1, pp. 77–83 (1996)
6. Viola, P., Jones, M.: Rapid object detection using a boosted
cascade of simple features. Computer Vision and Pattern Rec-
ognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE
Computer Society, vol. 1, pp. 511–518 (2001)
7. Oguz, O.: The proportion of the face in younger adults using the
thumb rule of Leonardo da Vinci. J. Surg. Radiol. Anat. 18(2),
111–114 (1996)
8. Seki, M., Shimotani, M., Nishida, M.: A study of blink detection
using bright pupils. JSAE Rev. 19, 49–67 (1998)
9. Kocejko, T., Bujnowski, A., Wtorek, J.: Eye mouse for disabled.
Conference on Human System Interactions, pp. 199–202 (2008)
10. Horng, W.B., Chen, C.Y., Chang, Y., Fan, C.H.: Driver fatigue
detection based on eye tracking and dynamic template matching.
In: Proceedings of of IEEE International Conference on Net-
working, Sensing and Control, pp. 7–12 (2004)
´11. Krolak, A., Strumiłło, P.: Fatigue monitoring by means of eye
blink analysis in image sequences. ICSES 1, 219–222 (2006)
12. Zhou, Z.H., Geng, X.: Projection functions for eye detection.
Pattern Recognit. 37(5), 1049–1056 (2004)
13. Kawaguchi, T., Hidaka, D., Rizon, M.: Detection of eyes from
human faces by Hough transform and separability filters. In:
Proceedings of International Conference on Image Processing,
vol. 1, pp. 49–52 (2000)
14. Li, J.-W.: Eye blink detection based on multiple Gabor response
waves. In: Proceedings of the 7th International Conference on
Machine Learning and Cybernetics, pp. 2852–2856 (2008)
15. Bradski, G., Keahler, A., Pisarevsky, V.: Learning-based com-
puter vision with intel’s open source computer vision library.
Intel Technol. J. 9(2), 119–130 (2005)
16. Krolak, A., Strumiłło, P.: Eye-blink controlled human–computer
interface for the disabled. Advances Intell. Soft Comput. 60,
133–144 (2009)
17. Yuille, A.L., Cohen, D.S., Hallinan, P.W.: Feature extraction
from faces using deformable template. In: Proceedings of IEEE
Conference on Computer Vision and Pattern Recognition,
pp. 104–109 (1989)
18. http://www.a-s-l.co. Last visited May 2009
19. Magee, J.J., Scott, M.R., Waber, B.N., Betke, M.: EyeKeys: A
real-time vision interface based on gaze detection from a low-
grade video camera. Conference on Computer Vision and Pattern
Recognition Workshop, CVPRW ’04., pp. 159–159 (2004)
图18:对两名残疾人士进行的眨眼检测交互界面测试
6、 结论
Univ Access Inf Soc (2012) 11:409–419 419
20. Yow, K.C., Cipolla, R.: Feature-based human face detection.
Image Vis. Comput. 15(9), 713–735 (1997)
21. McKenna, S., Gong, S., Raja, Y.: Modelling facial colour and
identity with gaussian mixtures. Pattern Recognit. 31(12),
1883–1892 (1998)
22. Lanitis, C.J., Taylor, T.F.C.: An automatic face identification
system using flexible appearance models. Image Vis. Comput.
13(5), 393–401 (1995)
23. Rowley, H.A., Baluja, S., Kanade, T.: Neural network-based face
detection. IEEE Trans. Pattern Anal. Mach. Intell. 20(1), 23–38
(1998)
24. Osuna, E., Freund, R., Girosi, F.: Training support vector
machines: An application to face detection. In: Proceedings of
IEEE Conference on Computer Vision and Pattern Recognition,
pp. 130–136 (1997)
25. Rajagopalan, K., Kumar, J., Karlekar, R., Manivasakan, M., Patil,
U., Desai, P., Poonacha, S., Chaudhuri: Finding faces in photo-
graphs. In: Proceedings of Sixth IEEE International Conference
on Computer Vision, pp. 640–645 (1998)
26. Leinhart, R., Maydt, J.: An extended set of Haar-like features. In:
Proceedings of International Conference on Image Processing,
pp. 900–903 (2002)
27. Freund, Y., Schapire, R.E.: A short introduction to boosting.
J. Jap. Soci. Artif. Intell. 14(5), 771–780 (1999)
28. Yang G., Huang, T.S.: Human face detection in complex back-
ground. Pattern Recognit. 27(1), 53–63 (1994)
29. Grauman, K., Betke, M., Lombardi, J., Gips, J., Bradski, G.R.:
Communication via eye blinks and eyebrow raises: Video-based
human–computer interfaces. Universal Access in the Information
Society, 2(4), 359–373 (2002)
30. MacKenzie, I.S., Ashtiani, B.: BlinkWrite: efficient text entry
using eye blinks. Universal Access in the Information Society,
Online First (2010)
31. Magee, J.J., Scott, M.R., Waber, B.N., Betke, M.: EyeKeys: A
real-time vision interface based on gaze detection from a
low-grade video camera. Conference on Computer Vision and
Pattern Recognition Workshop, pp.159–159 (2004)
32. Safety of laser products—Part 1: Equipment classification and
requirements (2nd ed.), International Electrotechnical Commis-
sion (2007)