为了正常的体验网站,请在浏览器设置里面开启Javascript功能!

人机交互的眨眼检测系统

2013-06-15 11页 pdf 1MB 62阅读

用户头像

is_186236

暂无简介

举报
人机交互的眨眼检测系统 Univ Access Inf Soc (2012) 11:409–419 DOI 10.1007/s10209-011-0256-6 LONG PAPER 应用于人机交互的眨眼检测系统 A´leksandra Krolak • Paweł Strumiłło 著 董馨齐 (10102130225) 译 网上发布: 2011年12月2日 作者 2011. 本文可以在网上找到 摘要:本文提出了一种基于视觉的人机交互接口。接 口检测眨眼并将它们转化为控制命令。本文使用了2 个图像处理技术,即用于人脸自动...
人机交互的眨眼检测系统
Univ Access Inf Soc (2012) 11:409–419 DOI 10.1007/s10209-011-0256-6 LONG PAPER 应用于人机交互的眨眼检测系统 A´leksandra Krolak • Paweł Strumiłło 著 董馨齐 (10102130225) 译 网上发布: 2011年12月2日 作者 2011. 本文可以在网上找到 摘要:本文提出了一种基于视觉的人机交互接口。接 口检测眨眼并将它们转化为控制命令。本文使用了2 个图像处理技术,即用于人脸自动探测的类Haar特征 和基于眼睛跟踪和眨眼探测的模板匹配。接口性能由 49个用户(其中12个有肢体残疾)进行测试。测试结 果表明此交互界面能够有效地提供另一种与电脑进 行交流的方式。用户能够输入英文或者波兰语言(平 均时间小于每字12s)而且能够浏览互联网。该接口 可以安装到一个配备典型网络摄像头的笔记本电脑, 而且不需要额外光源。该接口应用作为开源软件放置 在网上。 关键词:人机交互接口( Human-Computer Interface, HCI),眨眼检测,人脸检测。 A´. Krolak (&) Á P. Strumiłło 罗兹技术大学,电子研究所, Wolczanska 211/215, 90-924 Lodz, Poland e-mail: akrolak@p.lodz.pl P. Strumiłło e-mail: pstrumil@p.lodz.pl 1、 引言 人机交互接口( Human-Computer Interface, HCI)可以被描述为人类用户和计算机之间通信的关 键。常用的输入设备包括:键盘,鼠标,轨迹球, 触摸板和触摸屏。所有这些设备都需要手动控制, 不能由运动能力受损的人使用。因此,我们需要另一种适合 有运动障碍的人的人机交互的,让他们有机会成为信息 社会的一部分。近些年,新型人机交互的发展引起了世界各 国研究人员的重视。一种新的交互方法是不能说话或者使用 四肢的人(例如偏瘫,肌萎缩侧索硬化症,四肢瘫痪)与世 界交流并能够获得教育和娱乐的唯一方式。 一个为严重运动障碍的人开发的友好的人机交互接口 必须满足几个条件:它应该是非接触性的;避免专业设备; 它应具有实时性;它应该运行在大众的计算机上。 在本文中展示了一种基于视觉的自主眨眼检测系统,还 有它的给残疾人使用的人机交互接口的的安装应用。这个系 统,能够以大约30英尺每秒的速度处理小分辨率人脸图像 (320 9 240像素)序列。该系统所需使用的组件市面上都 有出售:一个大众的消费等级的电脑或者是笔记本电脑和一 个中等质量的摄像头。该算法可以进行眨眼检测, 估算眨 眼持续时间和实时眨眼序列解释来控制一个非入侵性的人 机接口。检测到的眨眼分为短时间眨眼(小于200毫秒)和 长时间眨眼(超过200毫秒)。独立的短眨眼是习惯性不自主 眨眼,不包括在眨眼检测的代码设计中。 本文的第2部分包括一些早期的对身体受损人士的研究 概述。第3节中描述的是该眨眼检测算法。在第4部分在提出 的算法的基础上介绍了眨眼控制的人机交互接口。研究结果 在第5部分中讨论,结论是在第6部分。 410 Univ Access Inf Soc (2012) 11:409–419 2、 以前的工作 对于保留了眼外肌控制的严重瘫痪的人,两个 最合适的人机交互接口是:脑计算机接口(BCI)和 凝视[1]或眨眼动作控制系统。 脑-计算机接口是一个允许通过和分析脑电活 动控制计算机应用程序的系统。肌肉的动作不是必 须的。这样的接口可以操作虚拟键盘[ 2 ],管理环 境控制系统,使用文本编辑器,Web浏览器或进行体 育运动[ 3 ]。脑–计算机接口给有严重身体障碍的 人很大的希望;然而,其主要缺点是侵入性而且需 要特殊脑电图硬件。 凝视控制和眨眼控制用户界面适用于不能说话 或无法用自己的双手去沟通的人的第二种系统。大 多数现有的视线通信方法是侵入性或使用专门的硬 件,如红外(IR)照明设备[ 4 ]或 electrooculographs(EOG)[ 5 ]。这种系统使用 两种输入信号:扫描路径(用眼睛注视的目光视线) 或眨眼。眨眼控制系统区分主动和非主动的眨眼然 后解读单个主动眨眼或序列。具体的嘴的动作也可 以作为一个额外的方式。特殊的眨眼的方式具有特 定的鼠标或键盘命令分配。例如,一个单一的长时 间眨眼是一个与标签相关的动作,而两个短时间的 眨眼是鼠标单击[ 29 ]。这样的策略可以用于控制 简单的游戏或运行拼字的程序。 基于视觉的眨眼检测方法可分为两组,主动和 被动的。主动的眨眼检测技术需要特殊的照明以利 用眼睛的反光性能。光落在眼睛会在视网膜进行反 射。反射光很窄的,因为它是通过瞳孔,直接指向 光源。当光源位于相机的聚焦轴或非常接近它时, 反射光束可以在记录亮瞳效应的图像(图1)中见到。 明亮的瞳孔现象可以在闪光摄影中观察到,即使红 眼效应。 一个利用红外照明的目光交流装置的例子是 Visionboard系统[4]。红外二极管位于角落的监视 器允许检测和跟踪用户的眼睛使用明亮的瞳孔效 应。该系统取代鼠标和键盘的一个标准的计算机和 提供访问许多应用,如写消息,画画,远程控制, 互联网浏览器或电子邮件。然而,大多数用户并不 完全满意这个解决,建议做一些改进。 [9]中描述了一个更高效的系统。它使用两个摄像头 ——一个用来进行瞳孔跟踪,第二个用来估计头相 对于屏幕的位置。在监控上的红外标记可以保证精 确的目光跟踪。对于有运动障碍的人,发达系统可 以取代电脑鼠标或键盘。 图1:在红外光谱中的眼睛图像: a:在自然光条件下的眼睛;b:红 外照明后眼睛的亮瞳效应。 这种对眼睛和眨眼的检测给出了非常准确的结果,而且 这种方法很粗暴[8]。基于红外的眼睛控制人机交互接口的 优势与由于专门的硬件而产生的高成本相抵消。由于直射阳 光对红外照明的影响,它们在户外环境中会失效。另一个问 题是长时间使用这样一个系统的安全问题,因为眼球长期暴 露在红外照明中可能导致视网膜损伤[32]。因此,最好的解 决方法是开发目光控制或眨眼控制系统。 被动的眨眼检测方法不使用额外的光源。眨眼在自然光 照下从可见光谱的序列图像中被识别出来。大多数的眨眼检 测技术事实上是检测眼睛区域图像。许多方法都用作这个目 的,如模板匹配[10],皮肤颜色模型[11],规划[12],定向 循环霍夫变换[13],多个伽柏响应波[14]或眼检测使用Haar 特性(15、16)。 最简单的检测图像序列中的眨眼方法是从其中减去连 续帧然后创建一个差分图像(图2)。 然而,这种方法仍需要保持头部的位置,因为头部动作 会引入错误的检测。这种眨眼检测的类型主要是用做进行眼 光定位跟踪系统的初始化步骤。 基于模板匹配的方法是使用一个眼睛图像模型, 输入 对比段的图像。匹配的输入图像的一部分是由关联模板对当 前图像帧。这种方法的主要缺点是,它无法处理缩放、旋转 或照明的变化。出于这个原因,引入了可变形模板的概念 411 [17]。在此方法中,参数模型定义的眼周围阴影 加上其能量函数。在一个迭代过程的能量极小 化,模型图像旋转和变形以适应眼周围阴影。一 个最近提出的能够检测图像中的对象的方法是 使用Haar特性提高了级联的树分类器 [15]。 Univ Access Inf Soc (2012) 11:409–419 图2:通过图像的差异进行眨眼检测:a是睁开的眼睛,b是闭 上的眼睛,c是差异图像,d差分图像。 一个被动的眼睛检测系统的例子是应用科学实 验室的眼睛追踪发展的解决方法 [18] 。它需要戴 头盔摄像头看眼球的运动。这种设备让系统变得更 容易,也是系统性能更加可靠,因为这样条件下的 脸总是在视频图像中的相同位置。然而,戴着头盔, 这不适合所有用户,会很不舒服,尤其是对于孩子 们。 一个非侵入性视觉系统在[19]中提出。它是基于 左右眼的对称性使用了一个USB摄像头来追踪眼球 运动(上,下,左,右)。该系统适用于玩一种特殊 类型的电脑游戏和操作网页浏览器(滚动和模拟使 用选项卡和输入键)。 3、 眨眼检测系统 图3:提出的眨眼检测算法方案 眨眼监测系统有很广泛的应用。如疲劳监控、人 机交互接口和测谎。无论系统的目的是什么,开发 3.1 人脸检测 出来的算法必须是可靠、稳定的,并能够在不同的 照明条件下进行实时的工作。 拟议的检测自愿眨眼的应用系统是由现成的 组件组成的:一个家用PC或笔记本电脑和一个中等 质量的摄像头。小分辨率的脸图像(320 9 240像素) 的处理速度约为28 fps。眨眼的检测算法包括四个 主要步骤(图3):(1)人脸检测,(2)眼睛区域提取、 (3)眨眼检测、(4)眨眼分类。人脸检测是通过Haar 特性和树分类器级联的提振实现的。眼睛定位是基 于某些已知的人脸的几何依赖。眨眼检测采用了模 板匹配技术。对于算法所有步骤的更多细节在3.1 - -3.4部分。该算法允许眨眼检测,眨眼时间估计, 在此基础上,眨眼被分为是习惯性不自主眨眼和主 动眨眼两类。 人脸检测是发展出的眨眼检测算法中的一 个非常重要的部分。由于这样的事实,即面部定 位在计算上十分昂贵,也很耗费时间,这个过程 是只在系统的初始化期间运行,和一些跟踪的脸 “失踪了”的情况下。因此,对于该系统实时工 作,我们选择的方法需要工作得很快(每单一映 像少于30 ms 30帧/秒的速度)。另一方面,所选 方法的准确性也很重要。必须在高检出率和错误 率中进行权衡。所选择的方法应该在不同照明条 件下表现都很好,因为面部表情、头部姿势,部 分挡住的脸,眼镜,胡子和各种发型都可能有所 不同。现在已经提出了许多人脸检测的解决方 案。他们可以分为:(1)以知识为基础,使用简单 的规则来描述脸的对称属性和脸特征之间的几 412 Univ Access Inf Soc (2012) 11:409–419 何关系[28]。(2)特性为基础的方法,基于检测到的 嘴、眼睛、鼻子或皮肤颜色(20、21),(3) 基于计 算输入图像之间的相关性和存储模式的匹配方法 [22]。(4)基于模型方法,算法是利用神经网络训练 模型[23],支持向量机(SVM)[24]或隐马尔可夫模型 (HMM)[25]。在发达的算法中,该方法来源于由Viola 和Jones [6]开发出来的模板匹配,由Maydt和 Leinchart [26]修改和应用的实现[15]。 Haar特性的功能是通过不同的大小和方向的图 像与模板的卷积进行计算的(图4)。这些特征原型 可以分为3类:边缘,线和中心环绕的面具。每个模 板由两个或三个黑色和白色矩形组成。 图4:用于对象检测的矩形掩模。 对于给定的掩模的特征值计算为黑色的矩形与 掩模覆盖的像素强度的加权和。 不是所有的计算功能对于正确的检测出图像中 的面孔都是必要的。一种有效的分类器可以只使用 一部分的特征值而达到最小错误率。为了找到这些 特点,采用Boosting算法,即温和的自适应提升 (Gentle AdaBoost)[ 27 ]。通过重复几次升压过 程来构建级联分类器。每个阶段的级联是弱分类器 的加权和,在阶段性的复杂性随着阶段数而增加。 为了达到特征的快速计算,在积分图像[ 6 ]中介绍 新的图像表示。 这个方法对150个一组的人脸图像进行了测试, 并达到94%的精度。该算法的速度测试环境是使用英 特尔酷睿2四核CPU,2.4 GHz处理器进行不同分辨率 的人脸图像测试。结果列于表1。脸图像检测的一个 例子如图5所示。 表1:使用分类器和Haar特性模板的人脸检测时间。 图像尺寸 单张脸(ms) 4张脸(ms) 3,264*2,448 11,860 11,937 2,448*1,836 6,531 6,547 1,632*1,224 2,953 3,000 1,280*960 1,828 1,875 640*480 484 516 320*240 156 157 图5:利用Haar特性掩模和提高树分类器的结果[图片由Adam Kozł owski拍摄,医疗电子事业部,2006] 3.2眼部区域提取 该算法的下一步是在一个图像中的眼睛区域定 位。面部图像中的眼睛的位置是在一定的已知的人脸 几何关系基础上建立的。传统规则的比例显示人脸被 分成六个相等的正方形,2乘3[7] 。根据这些规则, 眼睛是位于从头顶到眼睛之间约0.4的地方(图6)。所 提取的眼部图像预处理是为了进行进一步进行眨眼检 测。 眼睛区域的位置是从人脸图像中提取的,用作进 一步的眼睛跟踪模板匹配的模板。对眼部的提取,只 有在系统的初始化和人脸检测程序运行重复了的情况 下才会被执行。 1、 边缘特征 2、 线特征 3、 中心环绕特征 Univ Access Inf Soc (2012) 11:409–419 413 3.3眨眼检测 检测到的眼睛使用归一化互相关方法(1)进行 跟踪。自动系统的初始化过程中可以获得用户的眼睛 模板图像。 ', ' 2 2 ', ' ', ' [ '[ ', '] ( ', ')] ( ', ') ( ', ') ( ', ') x y x y x y T x y I x x y y R x y T x y I x x y y         (1) 其中R是相关系数,T是模板图像,I是原来的图 像,X,Y是坐标。相关系数用来衡量当前的眼睛图 像与保存的睁开的眼睛模板的相似之处(图7)。因 此,它可以被看作是检验眼睛是否睁开的措施。一 个实时相关系数值变化的示例图如图9。 图:6:人脸比例规则。 图7:案例眼睛图像作为模板。 3.4眨眼分类 对相关系数的及时变化进行分析以检测眨眼 睛的时间大于250 ms的主动眨眼。如果价值系数低 于预定义任何两个连续帧TL的阈值,这次睁眼就会 被检测到。如果值的相关系数大于阈值TH(图8), 那么这次闭眼就会被检测到。值的阈值TL TH由实 验确定。如果检测到的持续时间长于250 ms而且短 于2 s,这样眨眼被认为是一种能够自行控制的一 个眨眼。 3.5系统的性能 发达的眨眼系统检测和监控使用 IntelCoreQuad CPU在2.4 GHz处理器中对从USB及 9000 Pro摄像头中得到的序列进行了测试。 输入图 像序列的大小是320*240像素。系统测试在一个只有 一个窗口的房间进行,透过窗口摄入3个荧光灯和1 个日光灯。这个人坐在监视器的前面,指示显示闪 烁。每个人被要求眨眼40次(20长眨眼和20短眨眼, 顺序任意)。USB摄像头固定在监视器的顶部,离人 脸大约70厘米。实时进行眼睛闪烁检测,平均速度 为29 fps。发现有两种类型的错误:虚假检测(系统 检测到一个眨眼但它并不存在),错过了眨眼(一次 眨眼,不能被系统探测到)。眨眼检测器输出的可能 分布,如图9所示。 正确检测到的眨眼记作TP,错误的检测记作FP, 未被检测到的眨眼记作FN。基于这三个参数,有三 种个测量系统性能的指标:精密度(precision), 召回性(recall),准确性(accuracy),分别在2-4 中定义。 Precision= (2) Recall= (3) Accuracy= (4) 这三个性能指标用来评估系统在分别检测短时 眨眼和长时间眨眼时的正确性,还有对于回滚系统 的性能。我们同样在低光照以及不均衡光照的情况 414 Univ Access Inf Soc (2012) 11:409–419 表2:良好光照条件下眨眼检测有效性指标 表3:在丌良光照条件下的眨眼检测有效性指标 下对系统进行了测试。结果在表2和表3中。注意到 得到的结果可以跟记录中基于视力的主动眨眼检测 的性能比率相比较[9,31]。在提出的解决方法中, 正确眼睛位置的比率和人脸检测的准确率是一样 的,都是99.74%。这个结果是可用的算法中最好的 一个。系统的准确性大约等于95%,近97%的精度和 98%的召回率。这些数据与在活跃照明技术条件下的 眨眼检测系统相似。在大众等级的笔记本电脑中这 个算法的速率为25-27fps。这些参数表明该算法满 足建立一个可靠的眨眼检测系统的假设。 Fig. 9 Possible distribution of the eye-blink detector output 方式 精密度 (precision) (%) 召回性 (recall) (%) 准确性 (accuracy) (%) 长时眨 眼检测 96.91 98.13 95.17 短时眨 眼检测 96.99 98.50 95.53 回滚系 统准确 性 96.95 98.31 95.35 方式 精密度 (precision) (%) 召回性 (recall) (%) 准确性 (accuracy) (%) 长时眨眼 检测 78.43 82.11 77.38 短时眨眼 检测 76.15 81.93 77.02 图9:眨眼检测输出的概率分布 自动检测自愿眨眼的算法在一个用户界面中曾被 使用过。这个应用程序是使用Visual Studio C++语言 和OpenCV图书馆写的。 该系统是由现成的组件组成:一 个网络摄像头和一个大众消费等级的个人电脑。为了得 4、 眨眼交互 图8:在一次眨眼中相关系数值的变 化。 可能判断 实际情况 存在眨眼 不存在眨 眼 测试结果 眨眼检测 TP FP 无眨眼检 测 FN Univ Access Inf Soc (2012) 11:409–419 415 到最佳系统性能,相机之间的距离和用户的头不 应大于150厘米。系统设置如图10。 拟议的接口,设计用于Windows操作系统,具 有以下功能:  网页加载和导航。  控制鼠标光标和模拟键盘和鼠标按键。  进入任意文本文本编辑器、电子或信箱。  关掉电脑。 图10:对所提出的用户界面的试验台 图11:含有长眨眼及短眨眼的睁眼 信号例子 主要的用户界面元素是一个虚拟的键盘和屏 幕鼠标。 交互界面的操作是基于通过执行控制眨 眼激活某些虚拟键盘或鼠标的“按钮”。 随后的 按钮以一个序列自动高亮显示。 如果控制系统检 测到眨眼,则高亮显示的按钮被执行。 用户告知 检测眨眼的两步骤:检测开始时会有一个声音,当 控制眨眼被系统识别后会发出另外一种声音。 如果使用的是虚拟键盘,选中字母数字信号需 要两个步骤。 第一步是选择包含所需信号的列。 当检测到控制眨眼,列信号会在一个序列中被突出 显示出来,然后允许输入第二个控制信号来选择字 母进行文本编辑。 很多键盘已经用于文本输入,如字母 QWERTY或模糊扫描的键盘(SAK)[30]。 虚拟键盘上 的字母数字信号在拟议的系统是这样安排了,对于 特殊信号的访问时间与该信号的出现频率成正比。 因此,对于每个语言,需要不同的字母的组合。 为 波兰(a)和英国(b)设计的键盘如图12. 屏幕上的键盘也包含几个功能键,如 “Shift”、“Alt”或“Ctrl”。用户可以使用 “Shift”键输入大写字母或替代按钮符号(图 13)。 拟议的接口是通过主动眨眼进行操作的。 习 惯性不自主眨眼的平均持续时间约等于100 ms。 检测到的眼睛眨眼分为短时间(非主动的)和长时 间(主动的)眨眼。 为了避免造成将习惯性不自主 眨眼错误解释为一个主动眨眼,眼眨眼睛的时间 大于200 ms被认为是“可控”的,将被解释为系 统命令。 一个有长期眨眼和短期眨眼的例子如图 11. 416 Univ Access Inf Soc (2012) 11:409–419 图14:波兰的屏幕键盘“对于Alt”键选择的安排 图12:屏幕上的键盘排列,a是波兰语言,b为英语 图15:屏幕上的鼠标板 图13:波兰的屏幕键盘“对于Shift”键选择的安排 “Alt”键允许用户输入特殊的标志,例如,波 兰本国的字母(见图14)。两个“Shift”和“Alt” 键,以及其他功能按钮保持选中,直到所需的键被 选中能够形成所需要的键盘组合。 屏幕鼠标菜单包括七个功能还有一个“退出” 按钮(图15)。选中四个箭头按钮将导致鼠标光标向 选定的方向移动。第二次控制的眨眼会使光标停止 动作。按钮L R和2 L分别负责左,右和双点击左键。 通过这种方式,屏幕鼠标使用户能够访问互联网浏 览器的所有功能。 开发出的接口还给用户提供一些个性化功能。 用户可以定义多达17个快捷键(图16),用于快速运 行选择的应用程序,例如:文本编辑器、互联网浏 览器或电子邮件客户端。这个快捷键可以添加、移 除,也可以进行替换。 书签菜单允许用户添加链接到最常访问的网站 (图17)。选择一个带有书签的屏幕按钮,默认浏览 器就会运行,然后显示选中的网页。最后的功能是 关闭菜单,它允许用户安全退出所有正在运行的程 序和关掉电脑。 图16:快捷键面板 图17:书签面板 5、 结果 已开发出的眨眼控制用户界面由49个用户进 行测试:12人残疾和37个没有残疾的参与者做对 照组。所有的人都完成了持续约10 - 15分钟的义 务培训。测试包括三个部分:使用一个带有波兰虚 Univ Access Inf Soc (2012) 11:409–419 417 表5:具有英语键盘的交互界面的性能(培训后) 拟键盘的交互界面,使用一个带有英语虚拟键盘的交 互界面和使用web浏览器。在第一和第二部分的测试 中,受试者被要求使用波兰语言或者是英语构建完整 的单词或短语。输入时间以秒为单位计算。计算错误 的输入字符的数量,除以原词中字符的数量。测试运 行期间,不允许进行修正(退回)。 这项研究的结果如表4、5、6和7。用户界面与波 兰虚拟键盘的平均输入速度是5.7字符/分钟,而对于 英语虚拟键盘,输入速度等于6.5字符/分钟。屏幕上 的键盘测试的整体误差比率为0.4(即:每36个字符中 存在一个错误的输入信号)。第三部分的测试是用来 评估网页浏览的性能。受试者被要求执行以下任务: (1)通过在虚拟键盘上选择适当的按钮加载一 个预定义的Web页面 (2)滚动加载Web的页面 (3)请将鼠标移动到一个显示位置而后执行一 个点击动作 (4)输入一个给定的网络地址并加载一个新Web 页面 (5)在1,440 9 900像素分辨率的屏幕上将光标 从左上角移动到右下角。 单词 时间范围(s) 平均时间(s) SD MAIL 30.4-76.3 40.1 ±6.85 NAME 37.1-78.9 46.2 ±7.02 MY NAME IS 91.3-142.7 111.8 ±8.39 INFORMATION 98.1-157.9 132.5 ±14.2 GOOD MORNING 104.2-178.3 141.3 ±13.98 表6:具有波兰键盘的交互界面的性能(培训前) 单词 时间范围(s) 平均时间(s) SD 第三部分的测试结果在表8中。在完成测试后, 7名测试者感到有轻微的眼疲劳和紧张。 表7:具有波兰键盘的交互界面的性能(培训后) 表4:具有英语键盘的交互界面的性能(培训前) 单词 时间范围(s) 平均时间(s) SD 单词 时间范围(s) 平均时间(s) SD MAIL 27.3-50.1 35.03 ±6.36 NAME 30.8-56.9 39.77 ±6.95 MY NAME IS 82.6-109.3 93.45 ±7.05 INFORMATION 82.9-131.2 100.57 ±13.13 GOOD MORNING 93.1-140.3 108.27 ±14.47 同样有两位患有手足徐动症的患者对开发出的用 户界面进行了测试。手足徐动症会进行连续而缓慢不自 主的弯曲,伸展运动。它被认为是大脑纹状体损害引起 的,也可能是病变的下丘脑引起的。 对这两个人的测试由波兰电信和朋友集成协会组 织(图18)。对于其中一个人, 由于连续头部动作系统没 有检测到用户的眼睛。对于第二个人则发现系统是有用 的,而且准备使用原型的所有功能。 对交互界面的功能用两种方式进行了评估:通过估 计进入特定的字母数字符号序列所需的时间和通过评 估使用屏幕鼠标的精度。每个用户测量两次性能:2小 时训练之前和之后。结果在表4和5中。在训练之前,输 入一个信号的平均时间是16.8秒,训练后是11.7秒。将 光标从右下角移动到屏幕的中心的平均时间是7.46秒。 检测到的眨眼的百分比为99%。 要求用户对提出的交互界面的好坏进行评估。91% 的测试者认为这个界面很好。主要的缺点是关于学习使 用方法的困难和长期的训练的必要性。也有84%的用户 抱怨在使用这个界面大约15分钟之后眼部会出现疲劳 图8:眨眼HCI时间 动作 平均时间(s) SD 加载预定义的网页(1) 6.21 ±0.58 滚动网页(2) 10.48 ±1.03 移动光标到指定位置并单击(3) 13.24 ±1.38 输入网址: http://www.yahoo.com(4) 61.33 ±7.81 沿着屏幕对角线移动光标(5) 9.54 ±0.51 418 现象。这是因为在屏幕上选择一个按钮需要高强度注 意力集中。这个问题可能会通过引入自动填充预测文 本选项减少。经过一些修改后,这个界面可以用于其 他目的。它的简化型可能被引入医院作为一个工具让 严重的瘫痪病人能够告诉医生他们的基本需求或打 电话给医务人员。眨眼检测系统也可以用于控制外部 设备,如电视机、收音机或轮椅。 Univ Access Inf Soc (2012) 11:409–419 结果表明,该算法可以准确检测的眨眼率大 约为99%。进行的测试表明,设计的眨眼控制用户 界面是一个在进行通信时的有用工具、机器。该 系统是被波兰电信和橙色集团作为一个开源软件 发布到市场上,供残疾人使用,链接为 (http://www.sourceforge.net/projects/b-link/) 开放资源:这篇文章是在非商业性创作许可下发 布的,允许任何非商业性使用、分配以及在任何形式 媒体中复制,并提供了原始作者(年代)和来源。 参考文献: 1. Starner, T., Weaver, J., Pentland, A.: A wearable computer based American sign language recognizer. Assist. Technol. Artif. Intell. 84–96 (1998) 2. Materka, A., Byczuk, M.: Alternate half-field simulation tech- nique for SSVEP-based brain–computer interfaces. Electron. Lett. 42(6), 321–322 (2006) 3. Ghaoui, C.: Encyclopedia of Human Computer Interaction. Idea Group Reference (2006) 4. Thoumies, P., Charlier, J.R., Alecki, M., d’Erceville, D., Heurtin, A., Mathe, J.F., Nadeau, G., Wiart, L.: Clinical and functional evaluation of a gaze controlled system for the severely handi- capped. Spinal Cord. 36, 104–109 (1998) 5. Gips, J., DiMattia, P., Curran, F., Olivieri, P.: Using EagleEyes- an electrodes based device for controlling the computer with your eyes-to help people with special needs. In: Proceedings of the 5th International Conference on Computers Helping People with Special Needs, vol. 1, pp. 77–83 (1996) 6. Viola, P., Jones, M.: Rapid object detection using a boosted cascade of simple features. Computer Vision and Pattern Rec- ognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society, vol. 1, pp. 511–518 (2001) 7. Oguz, O.: The proportion of the face in younger adults using the thumb rule of Leonardo da Vinci. J. Surg. Radiol. Anat. 18(2), 111–114 (1996) 8. Seki, M., Shimotani, M., Nishida, M.: A study of blink detection using bright pupils. JSAE Rev. 19, 49–67 (1998) 9. Kocejko, T., Bujnowski, A., Wtorek, J.: Eye mouse for disabled. Conference on Human System Interactions, pp. 199–202 (2008) 10. Horng, W.B., Chen, C.Y., Chang, Y., Fan, C.H.: Driver fatigue detection based on eye tracking and dynamic template matching. In: Proceedings of of IEEE International Conference on Net- working, Sensing and Control, pp. 7–12 (2004) ´11. Krolak, A., Strumiłło, P.: Fatigue monitoring by means of eye blink analysis in image sequences. ICSES 1, 219–222 (2006) 12. Zhou, Z.H., Geng, X.: Projection functions for eye detection. Pattern Recognit. 37(5), 1049–1056 (2004) 13. Kawaguchi, T., Hidaka, D., Rizon, M.: Detection of eyes from human faces by Hough transform and separability filters. In: Proceedings of International Conference on Image Processing, vol. 1, pp. 49–52 (2000) 14. Li, J.-W.: Eye blink detection based on multiple Gabor response waves. In: Proceedings of the 7th International Conference on Machine Learning and Cybernetics, pp. 2852–2856 (2008) 15. Bradski, G., Keahler, A., Pisarevsky, V.: Learning-based com- puter vision with intel’s open source computer vision library. Intel Technol. J. 9(2), 119–130 (2005) 16. Krolak, A., Strumiłło, P.: Eye-blink controlled human–computer interface for the disabled. Advances Intell. Soft Comput. 60, 133–144 (2009) 17. Yuille, A.L., Cohen, D.S., Hallinan, P.W.: Feature extraction from faces using deformable template. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 104–109 (1989) 18. http://www.a-s-l.co. Last visited May 2009 19. Magee, J.J., Scott, M.R., Waber, B.N., Betke, M.: EyeKeys: A real-time vision interface based on gaze detection from a low- grade video camera. Conference on Computer Vision and Pattern Recognition Workshop, CVPRW ’04., pp. 159–159 (2004) 图18:对两名残疾人士进行的眨眼检测交互界面测试 6、 结论 Univ Access Inf Soc (2012) 11:409–419 419 20. Yow, K.C., Cipolla, R.: Feature-based human face detection. Image Vis. Comput. 15(9), 713–735 (1997) 21. McKenna, S., Gong, S., Raja, Y.: Modelling facial colour and identity with gaussian mixtures. Pattern Recognit. 31(12), 1883–1892 (1998) 22. Lanitis, C.J., Taylor, T.F.C.: An automatic face identification system using flexible appearance models. Image Vis. Comput. 13(5), 393–401 (1995) 23. Rowley, H.A., Baluja, S., Kanade, T.: Neural network-based face detection. IEEE Trans. Pattern Anal. Mach. Intell. 20(1), 23–38 (1998) 24. Osuna, E., Freund, R., Girosi, F.: Training support vector machines: An application to face detection. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 130–136 (1997) 25. Rajagopalan, K., Kumar, J., Karlekar, R., Manivasakan, M., Patil, U., Desai, P., Poonacha, S., Chaudhuri: Finding faces in photo- graphs. In: Proceedings of Sixth IEEE International Conference on Computer Vision, pp. 640–645 (1998) 26. Leinhart, R., Maydt, J.: An extended set of Haar-like features. In: Proceedings of International Conference on Image Processing, pp. 900–903 (2002) 27. Freund, Y., Schapire, R.E.: A short introduction to boosting. J. Jap. Soci. Artif. Intell. 14(5), 771–780 (1999) 28. Yang G., Huang, T.S.: Human face detection in complex back- ground. Pattern Recognit. 27(1), 53–63 (1994) 29. Grauman, K., Betke, M., Lombardi, J., Gips, J., Bradski, G.R.: Communication via eye blinks and eyebrow raises: Video-based human–computer interfaces. Universal Access in the Information Society, 2(4), 359–373 (2002) 30. MacKenzie, I.S., Ashtiani, B.: BlinkWrite: efficient text entry using eye blinks. Universal Access in the Information Society, Online First (2010) 31. Magee, J.J., Scott, M.R., Waber, B.N., Betke, M.: EyeKeys: A real-time vision interface based on gaze detection from a low-grade video camera. Conference on Computer Vision and Pattern Recognition Workshop, pp.159–159 (2004) 32. Safety of laser products—Part 1: Equipment classification and requirements (2nd ed.), International Electrotechnical Commis- sion (2007)
/
本文档为【人机交互的眨眼检测系统】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。 本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。 网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。

历史搜索

    清空历史搜索