角膜地形测量中眼球定位跟踪若干技术的研究

角膜地形测量中眼球定位跟踪若干技术的研究 南京理工大学 硕士学位角膜地形测量中眼球定位跟踪若干技术的研究 姓名:毛臻 申请学位级别:硕士 专业:物理电子学 指导教师:高志山 20070701 硕士论文 角膜地形测量中眼球定位跟踪若平技术的研究 摘 要 眼睛是人类获得外界信息的重要感觉器官。在自动电脑验光仪、激光治疗近视仪器、虹膜身份识别、人眼角膜地形图仪等以眼睛为对象的系统中，眼球的不自觉动作或头部的抖动，常常会使检测系统难以工作，精度也大大降低。因此需要研究眼球自动定位跟踪技术。 本文介绍了眼球动作的分类，通过比较现有的眼动测量及眼球自动定位跟踪系统的实现，以当前流行的视频图像处理方法为基础，研究了一种眼球自动定位跟踪技术。该方法采用正交摆放的两个线阵,,,作为图像传感器，采集瞳孔及周围图像，然后由模拟前端芯片,,,,,,进行信号处理并进行,,,转换，?采用高速,，,,单片机(,,,,,,,,,,)和复杂可编程逻辑器件,,,,(,,,,,,,,)作为主要数据处理和控制驱动的硬件，通过设置计数器的方式瞳孔边界位置，并把计算得到的瞳孔中心和光轴中心比较、计算偏差、驱动步进电机进行跟踪。通过研究若干关键技术，为实现自动跟踪建立技术基础。关键词:眼球跟踪，线阵,,,，,,,,，步进电机 硕(,,论文 角膜地形测量中眼球定位,，～,,踪若十技术的研究 ,,,,,,;, ,,, ,,,,, ,,, ,, ,,, ,,,,,,,,, ,,,,, ,,,,,(，, ,,,, ,,,,, ,, ,,, ,,,,,;,,,,,,,,,,, ,,, ,,,,，,,;, ,, ;,,,,,,, ,,,,,,,,,，,,,,,,,,, ,, ,,,,,, ,,,,,,, ,,,,, ,,,,,,,,,，,,,,,,,,,,,,,,,,, ,,,,,, ,, ,,,,,,,,,,, ,, ,,, ,,,,，;,,,,,, ,,,,,,,,,,, ,,, ,, ,,，,,,,,, ;,,,,, ,,,,,, ,,,,, ,,,,, ,,, ,,,, ,,,,,,,, ,,,,，,,,;, ,,,,,, ,, ,,, ,;;,,,;,(,,,,,,,,,，,,,,;,,,, ,,,,,,,, ,,,,,,,,,,, ,,, ,,,;,,,, ,,,,,, ,, ,,,,,,,,, ,, ,,,,,,,,, ,,,,,,,,,,,,;, ,, ,,;, ,,,,,,,,, ,,,,,,,,, ,,,,,( ,,, ;,,,,,,,;,,,,, ,, ,,, ,,,,,,,,, ,, ,,,,,,,;,,，,,, ,,,, ,, ;,,,,,,,, ,,, ,,,,,,,,,,,,,,,,, ,,,,,,, ,, ,,, ,,,,,,,, ,,, ,,, ,,,;,,,, ,,,,,,,，,,, ,,, ,, ,,, ,,,;,,,,,,,;, ,, ,,,,, ,, ,,,,, ,,,,, ,,,;,,,,,, ,, ,,,,,,,,,(,,,,,，,,, ;,,,,(;,, ,,,,,, ,,, ,,,,,;,,,, ,, ,,, ,,,, ,,,,, ,, ,,, ,,,,, ,,,,，,,,, ,,, ,,,,,, ,;, ,, ,,,,,, ,,,,, ,,, ,,;,,,,,, ,,,,,, ,,,,,, ,, ,,,,,,, ,,,,,,(,, ,,, ,,,, ,,,,，,,, ,,,,—,,,,, ,,,(,,;,,,,,,,,,,,, ,,,,),,, ,,,,(,,,,,,, ,,, ,,,, ,,,,,,,,,,,, ,,,,; ,,,,;,),;;,,,,,,,,,,;,,,,,, ,,, ;,,, ,,,,,,,(,,,,,,, ,,,,,,, ,,, ;,,,,,,, ,, ,,,, ,,, ,,,,,,,, ,,,;,,,,,,,, ,,, ;,,,,, ,, ,,, ,,,,, ,,,, ,,, ,,,,; ,,,,，,,, ,,, ,,;,,,, ,,, ,,,,,,,,, ,,,,,,,,, ,,, ,,,,—,,,,,, ,, ,,,,,, ,,, ,,,,, ,, ,, ,,,,,,,,, ,,,, ,,, ,,,,; ,,,,，,,,,,;;,,,,,,, ,,,,,,,;,,,,(,,,,,,,: ,,, ,,,;,,,,，,,,,,, ,,,，,,,,，,,,, ,,,,, 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本学位论文中，除了加以标注和致谢的部分外，不包含其他人己经发表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文中作了明确的说明。研究生签名: 蕴 ,年,月,日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密论文，按保密的有关规定和程序处理。研究生签名: 年月 日 磺士论文 角膜地形测量中眼球定位斑踪若十技术的研究,绪论,(,课题研究背景 国外眼动测量技术主要可分为以下几种,?，:(,)利用视网膜与前部的角膜之间电势差测量，(,)利用电磁感应原理测量，(,)利用光学技术实现测量。其中利用光学技术的眼动测量主要是利用一个或多个眼球表面不同区域对光的反射特征，这些区域包括:虹膜和巩膜边缘、瞳孔、下眼皮、角膜等等。利用虹膜和巩膜边缘的反射特征检测眼动，早在,,,,年就由美国应用科学实验室(,,,)提出并制作了模型,,】，该系统测量眼球转动准确度为,度，检测范围,,度，带宽,,,,,;德国的,,,,,, ,,,,教授采用瞳孔跟踪的方法研制出,弧度，秒处理速度、,,,,采样速率的眼动测量装置,,】;角膜反射跟踪法由日本的,,,机构实现【,】，该系统的数据刷新频率为,,,,;多伦多大学的,,,,,,,，,,,,,,,,和,,,,,,利用角膜反射原理研制的眼动测量装置可检测,,度的视角，数据刷新率为,,,,,,,。眼动测量的应用场合主要有:以眼球为对象的监测、医疗或矫正仪器;视觉感知和心理学辅助测试;虹膜信息身份识别系统中的瞳孔定位和虹膜定位:人眼视觉鼠标系统的眼动信息测量等。虹膜定位是近几年比较热门的技术，主要是要先分离出虹膜内边缘和外边缘，因此其数字图像处理的算法比较复杂，算法复杂带来的结果必然是系统的实时性下降。 国内专门研究眼动测量的研究机构还不是很多，从事角膜地形测量的研究机构就更少了。其中南京航空航天大学与苏州六六视觉科技股份有限公司合作研制开发的,,,(,,,,型主观式人眼像差仪中，采用视频采集卡通过,,机中,,编程对图像进行处理从而通过串,,,控制电机补偿偏差【孔，另外台湾逢甲大学自动控制工程研究所也有相关方面的报道，但他们主要以视觉鼠标为方向。 应用于角膜地形干涉测量系统中的眼位跟踪技术要具有处理简单、响应快等特点。干涉测量方法对人体脉动、颤动、振动和眼球转动等因素比较敏感，此时，反映角膜地形的干涉图采集比较困难。能否在有头部支捧机构的前提下。通过研究瞳孔的快速跟踪技术，为准确地采集角膜地形干涉图建立技术基础,为了达到这一目的，本课题以国家自然科学基金项目(,,,,,,, ,,,,,,,,,)中为建立人眼模型获取角膜测试数据为研究背景，开展了主要关键技术的研究工作。 顽士论文 鲰膜地形铡量中眼球定位跟踪若十技术的研究,(,本文所做的主要工作 南京理工大学光干涉测试技术实验室已建立了角膜地形干涉图的测试装(置【,,。如图,(,所示( (状斜 , 刁 ——,(—瓷、, , , 。。, 日司囊 ，眦 、 汰 形‖,, 径向剪切干涉系统 、之 ? 乡 , (、 罄, ,, 围～。，绳向势切干涉系统承惹幽 在图,(,中，由于被测者眼球的不自觉动作蛲凡康牟蛔跃醵抖,;崾构饴分行钠虢悄ぶ行拇佣苣巡蹲降浇侠硐氲母缮嫱肌,疚拇咏樯苎矍蚨鞯姆掷喑龇?冉系鼻暗难鄱饬糠椒把矍蜃远ㄎ桓傧低澄。匀胙劢悄さ匦瓮嫉牟饬孔爸弥卸匀搜壑行慕凶既返亩ㄎ徊?远傥康模芯苛恕质凳倍匝矍蚪凶远ㄎ桓俚募际酰眉际跤弥そ坏牧礁鱿哒螅茫茫氖凳辈蹲窖矍虻暮诎淄枷瘢谑涑鲂藕胖杏糜布迪滞枷裥藕哦祷吞崛〕鐾淄枷瘢テ停茫校蹋?(,,,,,,, ,,,,,,,,,,,, ,,,,; ,,,,;,，复杂可编程逻辑器件)对瞳孔图像进行处理，包括计算瞳孔中心与光路中心的偏差，控制步进电机调整光路中心位置使其与瞳孔中心重合等。 本技术的特点是主要单元以硬件为主，各模块之删以高速总线进行通信以保证图像处理和跟踪的实时性;由于不需,,机参与处理，所以本设计的体积大大减小，可做成手提或便携式设备，成本也大大降低;另外，通过设贯通用的接口和在系统可编程(，,,)手段，可方便作为其他与图像处理和自动定位相关的信号处理系统，比如人眼虹膜信息的身份识别系统中的眼动跟踪以及人眼视觉鼠标系统等，对软件做修改后还可以作为智能机器人的视觉传感部分。同时，本技术是以微控制器为核心自行开发的硬件电路板，可方便地嵌入其它系统中，因此。具有较广的应用范围。 , 磺士论文 角膜地彤尉置中膜球定位胤踪若干技术的研究,眼动测量方法介绍,(,眼动机制和眼动类型 ， 眼动的类型有以下几种【,,: (,)共轭眼动: 在眼动期间保持右眼和左眼的角度关系。例如，两眼同时向左着、然后同时向右看，或向上、向下看，或左右、上下运动的结合。都属于共轭眼动。 (,)转向眼动: 是使两眼之『白,的角度变化的眼动。例如，将食指伸在鼻子前面。将食指慢慢移近或移远脸，面眼睛一直注视着指尖。当移动手指接近脸时两眼将会聚，当手指远离脸时，双眼将逐渐分离。 (,)扫视眼动:是指视线非常快地从一个注视点跳跃到另一个注视点(扫视的速度可以达到,,,,度，秒。要产生扫视，取两个有一定距离的物体，先看第一个然后再看另一个。因为扫视非常快，所以可能很难区分个别的扫视眼动。 (,,平滑追踪眼动:眼睛平滑地移动而不是跳跃式的。这类眼动是当视线跟随一个缓慢移动的对象时产生的。例如，把食指伸出，手臂伸直，然后慢慢左右移动手臂，眼睛始终注视你的指尖，便形成平滑跟踪。 除了以上几种眼动外还有几种比较小的移动:眼球震颤(,,,,,,,,,)，漂移 (,,,,,,)，非随意扫视(,,,,,,,;;,,,,)。 眼动的机理和视觉信号的处理、感知理论是一门非常复杂、深奥的学科。以上所述只是常识性的介绍。在实验室已建立好的角膜地形测量系统中，将配装眼睛静止目标注视系统和头部支撑装景。在此基础上，本文针对眼球的微小移动或震颤，研究眼球定位跟踪的若干技术。,(,眼动信号的测量 常用的眼动监控器有,种类型:角膜缘跟踪器、视频跟踪器、普肯(,,,,,,,,)反射跟踪器和巩膜线圈跟踪器。一般说来，角膜缘跟踪器较便宜，且易于使用，但是，它仅仅能一次测量一个轴向的眼动，不能 做凝视监控器。为了精确地测定凝视点，最常用的方法是视频跟踪，即用一个微型视频摄像机将随孑,或虹膜成像，并用一个简单的图像处理程序提取出实时凝视点、瞳孔直径，在某些先进的系统中，还包括测量眼的转矩。这种测量技术的缺点是取样速率局限于视频帧速率(典型的为,,,,或,,,,)，当需要观察扫视的潜伏期时，这种设备则不适用了。巩膜线圈跟踪系统是将一个小的铜线圈安放在一个隐形眼镜片上，它允许测量凝视点和眼的转矩，能给出较高的空问和时『自,分辨率。然而，巩膜线圈是“侵入”型的，需要被试者佩戴约,,分钟，往往造成被试者的不舒适感。 碗,,论文 角膜地形测量中眼球定位耀踪若干技术的研究,(,当前眼动测量方法及设备介绍,(,(,脑电图法 脑电图法利用跟动和脑电波变化之『白,的联系，从脑电波的变化『自,接地分析眼动，,缺点是无法精确建立眼动和脑电波之问的联系【,】。,(,(,跟电图法(,,,——,,;,, ,;,,, ,,,,,,) 眼球在正常情况下由于视网膜代谢水平高，因此眼球后部的视网膜与前部的角膜之间存在着一个数十毫伏的静止电压，角膜区为正，视网膜为负。当眼球转动时，眼球周围的电势也随之发生变化:将两对氯化银皮肤表面电极分别置于眼睛左右、上下两侧时，就能引出眼球变化方向的弱电信号，经放大后可得到眼球运动的位置信号。该方法优点是价格低廉，带宽高，测量速度快，而且闭眼时也可测量，另外，眼电图法也可用来测量眼球运动速度和加速度,,】:缺点是误差大，有伪迹信号，且对人干扰大。虽然采用现代计算机技术使采样速率提高以改善线性度，但电极本身的电平漂移还是难以解决，敏感度和输入输出曲线范围在不同的时间段重复性不好(,(,,接触镜法(,,,,,;, ,,,,) 基本原理是将一块反射镜固定在角膜或巩膜上，眼球运动时将固定光束反射到不同方向，从而获得跟动信号。该方法优点是简单易行，精度高:缺点是不符合人的视觉习惯，使眼球感到不舒服，对人干扰大。,(,(,电磁线圈法(,,,;,,, ,,,,,,,; ,,,,) 受试者头部用电子方法产生水平及垂直方向两种不同频率的交变磁场，把一个很细的线圈用接触镜固定在角膜边缘，则线圈在跟随眼睛运动时，根据其输出信号和相位便精确地测出眼睛的水平和垂直运动。该方法的优点是精度高，速度快，带宽可达到,,,,,，引入另一个线圈还可以测量跟球运动的扭矩;缺点是接触跟球引起受试者不适，而且外部磁场会对测量产生干扰。应用此种方法的仪器已经商用化，荷兰的,,,,,,仪器公司和华盛顿的,,,,,技术公司都有成熟产品川。 以上介绍的是非光学手段的眼动测量方法，接下来介绍的测量原理都利用了眼球表面不同区域的一个或多个特征、或是不同区域对光的反射不同这些特性。使用最多的特征区域包括:虹膜和巩膜的边界、瞳孔、下眼睑等等，其中主要技术有:角膜反射法、红外眼电图法和利用瞳孔特征的视频图像法等。由于视频图像法不仅可以检测眼动信号还能获取眼球部分完整的图像信息，不仅便于观察而且可以用于虹膜识别等其它应用。近几年来数字图像处理技术发展很快，计算机的运行速度也越来越快，因此，视频图像法在眼动测量方面的优势越来越明显。 „ 颈士论文 氟睫畦形测置中腰球定位耀踪若干技术的研究,(,(,角膜反射法(,,,,,,, ,,,,,;,,,,) 利用角膜表面形成的虚像随眼球旋转而移动的特性，实时检测出图像的位置，经信号处理可得到跟动信号，但易受眼动中慢漂移分量的影响。 ，,(,(,红外眼电图,,,,)， 也叫红外光电反射法(，,,,,,,,,;,,,,,,,,,，，,,,)，在这种方 法中，一或两个小的红外光源和一个反射光检铡器一起被安置在接近眼睛的一个框架上。光源的安放位置要使其能照射在虹膜和巩膜(眼白)的边界处忙,。这种方法的工作原理是基于虹膜和巩膜有不同的反射特性。当眼睛移向一边时，眼睛的一边比另一边有较少的红外光线被反射回检测器。对反射信号进行校准后，利用这个差分信号就能无接触地测出眼球运动的方向、幅度等。该方法的优势是成本较低，其主要缺点是误差大，当在水平方向达到较好精确度时，在垂直方向的精确度就会较差。另外，光源和检测器的安置和调整也比较困难。加拿大,,,,,,公司的,,,,,,,,,系统、美国,,;,,,,,,,公司的,,;,,,,,,,系统都是基于，,,,方法〔,,。,(,(,视频图像法(,,,) 多数厂家的眼动测试设备采用,,,(,,,,,(,,,,,,,,,,,)方法。该方法一般用红外光源对眼睛照明，用对红外光敏感的,,,摄像机摄制眼睛的图像，然后由计算机(有时用专用的硬件)对图像扫描，从而确定瞳孔的边界。瞳孔边界的确定可采用闽值技术(选取在虹膜与瞳孔交界处的光强差别大的若干点，然后根据这些点拟合出一个圆圈)，或采用较复杂的模式识别技术。更复杂的系统还能据微小的头动导致的误差傲自适应调整，并能给出瞳孔的直径。该方法的优点是有较高的空『自,分辨率，但其时问分辨率较低，原因是处理每一幅图像所需要的时间较长。德国,,,,;,公司研制的,,,系统采用,,,线扫描相机，可以测定眼的水平和垂直位置，以及瞳孔直径。系统软件负责数据记录，实验控制，扫视分析，平滑跟踪分析和凝视分析。德国,,,,,,,,,,,,仪器公司生产的,种眼动测试设备有,,,,,,,,，,,， ,,,,,和,?,,,,,。其中,,,,,,主要用于前庭功能测试田。包括自主眼震，平滑跟踪，扫视测试，并配有转椅等设备。通过安装在一个轻型面罩上的微型视频相机记录病人的眼动，眼的视频图像由一个基于,,的系统进行分析，给出眼定量的水平和垂直位置，眼的图像、眼动轨迹以及分析图表一起实时显示在计算机屏幕上。? ,,， ,, ,,,系统提供更强的功能，除测试各种眼动信号外还可测试眼的转矩。可用于以下类型科学研究:眼科学和动眼机制失常研究，生理学，定向系统、认知系统研究，还可应用于特殊环境下，例如宇宙飞行等。 随着各种复杂的视觉介质和媒体的出现，需要对人的视觉感知理论有更深入的了 ， 颈士论文 角膜地形测量中壤球定位跟踪若干技术的研究解(使用,,， ,,,,,系统可以方便地知道人们在“看什么”，比如，将一幅场景图像显示在屏幕上，使用,,， ,,,,,可以记录被试者观察这一图像过程中凝视点的位簧、时间长短、眼动的轨迹等，并给出分析。,,各种测量方法的比较与选择 在各种测量方法中视频图像法操作方便(对人无干扰，而且由于图像处理技术在硬件和软件上的不断完善，各种新方法不断涌现，硬件的处理速度和软件的算法也是今非昔比，因此视频图像法是目前较为理想的一种眼动测量方法。,(,本章小结 ( 当前的各种眼球运动检测机制各有特点，各种测量方法也是随着机械结构、传感器制造工艺和芯片集成度的进步而层出不穷。本文采用的眼动测量及跟踪技术是在视频图像法的基础上，利用线阵,,,图像信息传输速度快、分辨率高、信号处理方便等优点，把瞳孔区域成像于线阵,,,上，通过后续信号处理电路来判断眼球位置并进行跟踪。 , 颈,，,论文 册膜地形铡置申蹦球定位撑踪若十技术的研究,眼球自动定位技术的原理与总体 „,(,视频图像处理方法比较 目前与眼球相关的信号测量所采用的方法基本以视频图像法为主。又 由于瞳孔的特征最为明显，所以视频图像法又以采集瞳孔及周围区域为主。视频图像法按处理信号的特点，又可分为数字信号和模拟信号的图像处理方法。模拟信号处理图像信息速度快，结构简单，但是通用性差，调试也不方便;数字信号处理图像信息首先是通过前端处理(通常是,,,转换)，把像素对应的模拟信号数字化，后续处理可以通过,,,，或者直接由微型计算机处理，数字信号的各种算法要比模拟方法丰富的多，下面分别介绍基于以上两种方法的瞳孔定位技术。,(,(,基于数字图像处理的瞳孔定位 当前国内外与数字图像处理技术的瞳孔定位相关的研究和报道大多是虹膜定位与身份识别技术，这也是当自,研究的热门，而虹膜定位与身份识别技术和本文的设计有很多不同之处，前者首先要定位虹膜的内外边界，而且还要对虹膜内的图像纹理结构进行处理和匹配，这必然要用到各种复杂的算法，例如当前有报道的虹膜内外边界定位方法可大致分为以下几类【,】【,,,: ,)经典的,,,,,,,定位法，该方法由英国剑桥大学的,,,,,,,教授提出。在拍摄获取的虹膜图像中，灰度分布存在着一定的差异，一般而言虹膜比瞳孔亮，巩膜又比虹膜亮。同时虹膜的形状类似圆环形，,,,,,,,利用圆形检测匹配器的方法分割虹膜，查找所对应的圆心坐标和半径三个参数，以此来确定瞳孔和虹膜的边缘以及虹膜与巩膜的边缘。国内也有一些学者对算法进行了优化。 ,,,,,,,定位法的优点是定位比较准确，但依赖于图像亮度的梯度，因此只有在被处理的图像照度比较均匀而且没有大面积的亮度反常区域时有效。 ,),,,,,变换定位法，具体过程是先通过边缘检测的方法得到瞳孔和虹膜以及虹膜和巩膜的边缘，再利用虹膜是圆环状的特点。应用,,,,,变换得到圆环的内外半径，从而分割出虹膜。,,,,,变换圆定位的方程为:(,,,),咿,),(厂,，利用它求得 ? ?瞳孔和虹膜的半径，以及瞳孔的圆心。 ,,,,,,变换的优点主要在于:它对于图像中的噪声点不敏感，利用它得到的效果可以有效地消除噪声的影响。缺点在于:计算量大，占用内存大，提取的参数受参数空间的量化,,,隔制约。 ,)几何特征定位法，几何特征定位法是利用虹膜边缘图像的几何特征以及圆相交弦的性质，进行虹.