用于脑机接口的感觉刺激事件相关电位研究进展

第 23 卷 第 6 期 电子测量与仪器学报 Vol. 23 No. 6 2009 年 6 月 JOURNAL OF ELECTRONIC MEASUREMENT AND INSTRUMENT · 1 · 本文于 2009 年 5 月收到。 *基金项目: “十一五”国家高技术研究发展 863 计划(编号: 2007AA04Z236)资助项目; 国家自然科学基金(编号: 60501005)资助项 目; 天津市科技支撑计划重点项目生物医学工程专项(编号: 07ZCKFSF01300)资助项目; 天津市科技支撑计划重点项目国际科 技合作专项(编号: 08ZCGHHZ00300)资助项目。 用于脑机接口的感觉刺激事件相关电位研究进展* 明 东 (天津大学精密仪器与光电子工程学院, 天津 300072) 摘 要: 脑机接口研究的目的就是在人脑和计算机或其他电子设备之间建立一种直接联系, 使人们可以通过思维来直接控 制计算机或外部设备。感觉刺激诱发的事件相关电位是基于脑电的脑机接口系统研究中备受关注的一种信号模式, 按其刺激模 式的不同又可分为视觉、听觉、体感等单一感觉通道刺激诱发的和跨感觉通道刺激诱发的事件相关电位。事件相关电位研究的 发展明: 相对于单一感觉通道, 跨感觉通道刺激诱发的事件相关电位具有波幅高、潜伏期短且含有高维度空间分布信息的特 点, 可弥补单一感觉诱发事件相关电位信息过少、不利识别的缺陷, 从而提高信息转化速度和分类准确率, 在脑机接口中具有更 高的实用价值。 关键词: 脑机接口；感觉刺激；事件相关电位；脑电 中图分类号: R318.04 文献标识码: A 国家学科分类代码: 310.6110 Progress on event related potential from sensory stimulation for brain computer interface Ming Dong (School of Precision Instruments & Optoelectronics Engineering, Tianjin University, Tianjin 300072, China) Abstract: Brain computer interface (BCI) provides a direct communication channel between human brain and computer or other electric equipments. It can enable human to control the computer or outer equipments only by using their mind. The event related potential (ERP) evoked by sensory stimulation has attracted more attentions as a signal mode used in the EEG-based BCI. According to the patterns of sensory stimulation, ERP can be divided into the single sensory channel stimulation evoked ERP, which includes visual, auditory, and sensitive ERP, and the cross sensory channel stimulation evoked ERP. Recent developments in the research of ERP showed that cross sensory ERP has higher amplitude, shorter latent period and higher dimensional spatial distribution information in contrast with single sensory ERP. Cross sensory ERP can overcome the recognition limitation caused by information lack of single sensory ERP, increase the information transferring rate and classification accuracy, and obtain higher application value in BCI. Keywords: brain computer interface (BCI); sensory stimulation; event related potential (ERP); EEG 1 引 言 脑机接口(brain computer interface, BCI)技术是 通过计算机监测、识别大脑思维意念信号模式, 产生 可控制和操纵周边通信或工作设备的指令, 以达到 预想操作目的或实现与外界信息交流功能。它可以 帮助肢体残疾但思维意识正常的患者, 使其在一定 程度上修复与外界的信息交流能力, 从而改善他们 的生活质量[1-2]。 与感觉密切相关的脑电事件相关电位(event re- lated potential, ERP)是 BCI 系统自主意识信息转化的 经典范式之一。ERP 主要代表性成分包括 P100、 N100、P200、N200 和 P300, 其中前三种称为外源性 成分, 后两种称为内源性成分, 对于 ERP 的研究实 · 2 · 电 子 测 量 与 仪 器 学 报 2009 年 际上就是针对这些主要成分的分析。这几种成分不 仅是大脑单纯生理活动的体现, 而且反映了心理活 动的某些方面内容。它们的引出必须要有特殊的刺 激安排, 通常是两个以上的刺激事件或者是刺激的 连续变化。 一直以来, 神经科学和心理学领域在单通道感 觉刺激产生 ERP 过程的理解方面已经做了很深入 的研究, 如视觉刺激、听觉刺激、体感刺激等。当 然, 现实中人对于事物的感知并不会局限于单一通 道, 例如在欣赏表演时, 就会既通过听觉, 又通过 视觉来获取相应信息。因此, 随着理论的深入及信 号处理和硬件技术的发展, ERP 的研究逐渐开 始转向双通道联合刺激, 如视觉-听觉刺激, 听觉- 体感刺激等。 心理学上认为, 知觉的判断可以反映从不同通 道获取的联合信息。神经科学也已经证实了各种跨 通道大脑区域作为多感觉集中区的存在, 这些脑区 内的神经细胞可以接收来自多个感觉通道的信息, 并且按照一定的原则进行整合。最近几年, 对于跨通 道感觉又有了更深层次的研究, 相继提出了数种关 于跨通道感觉的假设机制[3]。尤其是作为神经电生理 领域新发现之一的跨感觉诱发 ERP, 研究表明具有 波幅高、潜伏期短且含有高维度空间分布信息的特 点, 可弥补单一感觉诱发 ERP 信息过少、不利识别 的缺陷, 从而提高信息转化速度和分类准确率, 突 破 BCI 进入实用化的技术瓶颈。 2 单一感觉通道刺激 传统 BCI 中, ERP 提取范式多是通过单一感觉通 路刺激获得。此时, ERP 诱发需要两个或两个以上刺 激事件按不同出现概率编制成 Oddball 刺激序列, 其 中靶刺激出现概率要远远小于背景刺激出现概率[4]。 Oddball 序列中通常要求靶刺激概率为 10％~30％, 非靶刺激概率为 70％~90％, 两个靶刺激的间隔需 1.5～2 s[4]。另外, 十分微弱的 ERP 信号往往淹没在 自发脑电背景中, 一般需要多次重复刺激(以叠加平 均方法获得足够的信噪比)才能有效提取, 即一个有 效的任务刺激实际上由相继出现的多个靶刺激构 成。根据刺激的类型不同, 单一通道的刺激可分为视 觉刺激、听觉刺激和体感刺激。 2.1 视觉刺激 图 1 是典型的基于视觉诱发 ERP 的脑机接口流 程图。它是利用视觉刺激使大脑产生相应脑电信号, 经过特征提取以及模式分类最终实现人机间的相互 交流。 图 1 基于视觉诱发 ERP 的脑机接口系统工作流程图 Fig. 1 Working flow chart of brain computer interface system based on visual evoked ERP 视觉诱发 ERP 的刺激模式主要有以下几种[5]: 1) 刺激模块闪烁方式(背景黑白颜色交替变化); 2) 刺 激模块背景图案变化方式: 竖条左右移动、横条竖条 交错显示、左右斜纹条交错显示、直网格与斜网格 交错显示、棋盘格翻转(包括 1×4、2×2、3×3、4×4 棋盘格)等; 3) 刺激模块背景不变, 模块字符变化: 字符跳动、字符颜色交替变化。 由于对应视网膜及视皮层起源的差异, 不同刺 激模式引起的视觉诱发 ERP 波形及幅度也有所不同, 因此在脑机接口应用中应提供多种视觉刺激模式供 使用者选择。在何庆华等的文章中指出, 模块闪烁、 刺激模块棋盘格翻转、条纹变化、字符跳动等视觉 刺激模式能引发波形幅度较大、易识别的视觉诱发 ERP 信号[5]。刘忠国等则研究了两个视觉刺激间时间 间隔的变化对大脑视觉诱发 ERP 的影响程度和规 律。揭示出视觉前刺激对后刺激诱发 ERP 有抑制作 用 , 抑制作用随着刺激间时间间隔的缩短而逐渐 增强[6]。 2.2 听觉刺激 用于诱发听觉 ERP 的刺激一般采用声刺激, 包 第 6 期 用于脑机接口的感觉刺激事件相关电位研究进展 · 3 · 括: 1) 纯音, 如“滴滴”、“沙沙”声; 2) 单音节语 音, 如/ba/、/da/等; 3) 有特定语义的字或词。另外, 还 可根据不同的音量或频率来分别作为靶刺激和非靶 刺激。总的来说, 纯音刺激以及音量频率的控制较为 简单方便, 但其现实意义有限, 在 BCI 中不能得到广 泛应用。 近年来, 国外较多学者开始研究用语言刺激来 诱发听觉 ERP。不同的听觉刺激诱发的 ERP 不同, 以 P300 为例, 纯音诱发的潜伏期最短, 其次是单音节 语音, 字和词诱发的潜伏期最长。另外, 纯音诱发的 P300 在两侧顶区记录到的结果无统计学变化, 而音 节和词诱发的 P300 在左顶区记录到的峰值与右顶 区则出现了显著性差异, 且左侧高于右侧, 这与生 理上的左侧大脑言语优势半球理论相吻合。采用语 言来诱发 ERP 的特殊意义在于可利用客观的方 法评价听觉中枢主观的语言认知功能, 这是其他听 觉电生理测试所不具备的 [7]。 按照刺激序列的种类个数不同, 对于听觉刺激 ERP 信号的研究可分为二音刺激和三音刺激。 Walhovd 等先后给予同批受试者二音和三音序列刺 激, 两种条件下测得的 P300 幅值无显著差异, 而潜 伏期则出现了统计学意义上的变化[8]。其实验结果表 明三音刺激序列对人的生理发育过程及神经精神病 的评价比二音刺激序列更敏感有效。类似的, 在张晓 君等文献中对受试者也进行了传统二音和三音的 oddball 诱发 P300 检测, 通过比较发现: 在反映注意 等认知功能的变化方面, 三音 P300 比传统二音 P300 更灵敏而准确[9]。 2.3 体感刺激 相对于视觉和听觉刺激, 目前对体感刺激诱发 ERP 的机理研究还比较少, 大多数还是集中于体感 诱发电位应用方面的研究。体感刺激诱发 ERP 仅是 体感刺激电位中与认知和心理有关系的那部分信 息。胡晓晴等在其综述中对体感诱发电位做了很详 尽的介绍, 指出体感刺激包括对混合神经的刺激和 对纯感觉神经的刺激, 由于刺激混合神经诱发的电 位比刺激纯感觉神经诱发的电位波幅大、更清晰, 所 以多用前者[10]。 体感诱发电位包括短潜伏期电位、中潜伏期电 位或长潜伏期电位。有研究报道刺激强度的变化可 导致短潜伏期体感诱发电位的峰值微小改变[10]。一 般记录刺激后 100 ms 内的体感诱发电位时, 刺激频 率为 3~4 Hz。当刺激频率>3 Hz、潜伏期>40 ms 时, 诱发电位的波幅可能降低。但记录正中神经 25~ 30 ms 体感诱发电位时, 刺激频率可增加至 8 Hz, 并 不会对诱发电位的波幅或潜伏期产生明显影响。在 研究长潜伏期体感诱发电位(>100 ms)时, 刺激频率 则一般应< 0. 5 Hz。 短潜伏期电位一般不受意识改变的影响, 中、长 潜伏期电位则受警觉状态与认知功能的不同而不 同。由于 ERP 主要与人的认知和心理有关, 所以在 研究体感诱发 ERP 时主要是利用体感诱发电位中的 中、长潜伏期电位。 3 跨感觉通道刺激 理论上说, 神经系统不同感觉通路之间并不是 完全隔绝分离, 而是存在相互整合的现象。多感觉整 合对于人类感知、记忆等具有重要作用。俞黎平在 其文献中提出了多感觉的行为和心理效应, 并介绍 了感觉皮层的跨模式可塑性[11]。 最近国外的研究结果否认了传统认为的各个感 觉通道对于外部事物获取相对独立信息的假设 , Driver 等提出: 从一个感觉通道获取的信息可以影 响大脑对原属于另一感觉通道信息的判断。比如在 听觉刺激的同时输入与之相应的视觉信息, 就会加 强对听觉信息的理解; 尽管体感刺激本身不会传递 颜色信息, 但是在给定位置施加体感刺激也会提高 人对于视觉颜色的判断等等。这些例子都表明一个 通道的信息内容有可能影响另一个感觉通道的信息 加工过程[3]。 国内相关研究开展的主要是通过对视觉皮层与 听觉及体感皮层对于外部刺激的联合反应, 来考察 盲人的跨感觉通道的机制[12]。另外较多的是基于动 物(如青蛙、老鼠、猕猴、果蝇等)的相关实验研究, 通 过控制视觉刺激与听觉刺激的匹配与否来观察动物 的反应。例如 , 生科院郭爱克教授等 2005 年在 “Science”杂志上发表的对果蝇行为的研究表明, 同 时给予视觉和嗅觉刺激能降低单一刺激记忆的唤醒 阈。利用双模式(视觉和嗅觉)联合环境经长时间训练 过的果蝇, 在嗅觉刺激相关性学习中所获得的记忆 可转换成视觉刺激条件下的记忆, 实现记忆的跨模 式转换[13]。 · 4 · 电 子 测 量 与 仪 器 学 报 2009 年 目前, 对于大脑跨感觉通路的机制主要有 3 种 不同的假设观点[3]: 1) 所有的脑区均可视为跨感觉 作用区域; 2) 在单一感觉通道的附近存在关联的双 感觉作用区域; 3) 存在相对独立的第三方作用区域, 并与原单一感觉通道作用区域构成反馈回路。 在跨通道刺激中 , 视听联合刺激是最常见的 , 也是比较有效的刺激方式之一, 例如采用 4 种图形 (视觉)与语音(听觉)的组合[14], 包括: 1) 图形“圆” 和语音“圆”; 2) 图形“圆”和语音“线”; 3) 图形 “线”和语音“圆”; 4) 图形“线”和语音“线”。 实验采用 Oddball 模式, 图形与语音一致刺激为靶刺 激, 占 20%; 图形与语音不一致刺激为非靶刺激, 占 80%。 另外一种听觉和视觉联合刺激的方式是由不同 亮度的视觉图形构成视觉刺激, 由不同频率和音量 的声音构成听觉刺激。早期的相关研究证实了这样 的视听刺激响应信号潜伏期依赖于α 波节律的相位, 包括诱发脑电的幅度也有类似的依赖性, 其皮层响 应随着内在α 波节律的变化而波动[15]。王明时等将 暗的闪光与低频率的低音组合作为非靶刺激, 亮的 闪光与高频率的高音组合作为靶刺激, 分别研究了 单一模式和双模式刺激下 gamma 节律与 ERP 的同 步效应[16]。赵丽娜等运用 Hilbert 相位同步算法对视 听同时刺激下的视觉、听觉区域的 ERP 进行同步量 化, 发现视觉脑区和听觉脑区之间的同步指数明显 大于它们与其他脑区建的同步指数, 表明了人在感 知和认知事物时, 相关的脑区间自动产生了神经活 动的同步化[17]。赵晨等利用空间线索技术研究跨视 觉和听觉通道的内源性选择性注意, 表明视觉中央 线索能可靠地引导出内源性视觉选择性注意, 听觉 中央线索在一定条件下也能引导出内源性视觉选择 性注意, 这也说明视觉和听觉具有特异性的注意加 工通道, 两者之间存在相互连接[18]。还有一些研究通 过视觉与听觉联合刺激来改进原来的听觉驾驶系统, 以获取更高的效率。例如, Shams 等 2000 年曾在 “Nature”杂志上撰文, 指出在一次闪烁的同时输入 两次分离的听觉刺激(嘟嘟声), 会使人将一次闪烁误 解为两次闪烁[19]。 除了视听的联合刺激外, 研究关注度较高的还 包括听觉和体感的联合刺激。如图 2 所示, 已有研究 将喇叭声音与皮肤电刺激搭配, 分为匹配和不匹配 两种组合刺激方式, 利用脚踏板考察平均反应时间, 脑电仪记录相关 ERP 信号, 结果表明: 无论是匹配 还是不匹配的情况下, 平均反应时间均有很大程度 的缩短, 反应所引起的 ERP 信号的最大幅值也有相 应的提高[20-21]。 图 2 听觉与体感联合刺激实验示意图 Fig. 2 Schematic diagram of auditory and sensitive com- bined stimulation 4 结 论 事件相关电位(ERP)是与感觉、认知活动密切相 关联的一类脑电信号, 它的显著特点是其源于大脑 的“内嵌”功能反映, 无需训练即可稳定的产生, 因 此是一类较为理想的 BCI 系统输入信息转化的神经 生理学范式。视觉、听觉、体感等多种通道的 刺激均可在自发脑电(EEG)的背景下诱发出 ERP。 对于单一通道刺激, 靶刺激快速频繁的出现会 降低其所诱发 ERP 信号的信噪比, 进而迫使任务刺 激中所需的靶刺激数目上升。而提高靶刺激的出现 速度或降低任务刺激中靶刺激数目均会使任务诱发 的综合 ERP 信号信噪比降低, 进而降低任务刺激的 识别准确率。总之, 在单一通路模式下, 靶刺激的出 现速度、配比数目、任务识别准确率这三个因素之 间形成一种相互制约的关系, 导致了有效信息转化 速度提升的困境。究其原因, 一方面可能是因为单一 通道刺激对现实情况的模拟过于简单化; 另一方面 第 6 期 用于脑机接口的感觉刺激事件相关电位研究进展 · 5 · 可能是因为单一通道刺激下比较容易受外部噪声的 影响。 而跨感觉通道刺激则弥补了单一感觉通道情况 下的一些缺点, 这也正是最近几年相关研究的一个 热点。由于跨感觉通道刺激的反应时间大大缩短, 这 就为实现 BCI 的在线控制提供了可能。最近几年对 于跨感觉通道刺激诱发 ERP 的研究发展得很快。同 时又有很多新的理论和方法注入其中, 随着神经生 理学和心理学的发展, 相信对于 ERP 的研究还将有 很大的提高, 并进一步应用于 BCI 临床。 5 致 谢 论文研究工作及撰写得到了天津大学精密仪器 与光电子工程学院的安兴伟、万柏坤、綦宏志、程 龙龙、薛召军的帮助与支持, 在此向他们的工作表示 感谢。 参考文献: [1] WOLPAW J R, BIRBAUMER N, HEETDERKS W J, et al. Brain-computer interface technology: a review of the first international meeting [J]. IEEE Trans. Rehabil. Eng., 2000, 8(2): 222-225. [2] ALLISON B Z, WOLPAW E W, WOLPAW J R. Brain-computer interface systems: progress and pros- pects [J]. Expert Rev Med Devices, 2007, 4(4): 463-474. [3] DRIVER J, NOESSELT T. Multisensory interplay re- veals crossmodal influences on 'sensory-specific' brain regions, neural responses, and judgments [J]. Neuron, 2008, 57(1): 11-23. [4] LUCK S J. An introduction to the event-related potential technique [M]. The MIT Press, 2005. [5] 何庆华, 吴宝明, 王禾, 等. 不同视觉刺激模式对视觉 诱发电位的影响[J]. 中国康复医学杂志, 2007, 22(2): 144-146. HE Q H, WU B M, WANG H, et al. Effects of different visual stimulation patterns on visual evoked potentials[J]. Chinese Journal of Rehabilitation Medicine, 2007, 22(2): 144-146. [6] 刘忠国, 张晓静, 刘伯强, 等. 视觉刺激间隔对大脑诱 发电位的影响[J]. 山东大学学报: 工学版, 2006, 36(3): 34-38. LIU ZH G, ZHANG X J, LIU B Q, et al. The develop- ment of ultrasonic characterization of the biological tis- sue elasticity[J]. Journal of Shandong University: Engi- neering Science, 2006, 36(3): 34-38. [7] 欧阳天斌. 听觉事件相关电位测试技术的进展[J]. 听 力学及言语疾病杂志, 2007, 15(2): 167-170. OUYANG T B. Progress on auditory event-re-lated po- tential test technology[J]. Journal of Audiology and Speech Pathology, 2007, 15(2): 167-170. [8] WALHOVD K B, FJELL A M. Two-and three-stimuli auditory oddball ERP tasks and neuropsychological measures in aging [J]. Neuroreport, 2001, 12(14): 3149-3153. [9] 张晓君, 高玉红, 赵毅, 等. 三音听觉刺激事件相关电 位 P300 的初步研究[J]. 临床神经电生理学杂志, 2001, 10(2): 71-75. ZHANG X J, GAO Y H, ZHAO Y, et al. Preliminary study of event-related potential P_(300) evoked by three-tone auditory stimulus[J]. Journal of Clinical Electroencephaloloyg, 2001, 10(2): 71-75. [10] 胡晓晴, 唐娜. 体感诱发电位的基本原理[J]. 国外医 学(物理医学与康复学分册), 2005, 25(2): 53-55. HU X Q, TANG N.Principle of sensitive evoked poten- tial[J]. Foreign Medical Sciences.Physical Medicine and Rehabilitation, 2005, 25(2): 53-55. [11] 俞黎平. 多感觉整合效应及感觉皮层的跨模式可塑性 [J]. 生物学教学, 2006, 31(8): 7-9. YU L P. Cross pattern plasticity of multi-senses inte- grated effects and sensory cortex[J]. Biology Teaching, 2006, 31(8): 7-9. [12] 吴健辉, 罗跃嘉. 盲人的跨感觉通道重组[J]. 心理科 学进展, 2005, 13(4): 406-412. WU J H, LUO Y J. Cross-modal Reorganization in the Blind[J]. Advances in Psychological Science, 2005, 13(4): 406-412. [13] GUO J, GUO A. Crossmodal interactions between ol- factory and visual learning in Drosophila [J]. Science, 2005, 309(5732 ): 307-310. [14] 李凌, 尧德中, 刘铁军, 等. 刺激前后脑电α波相位重 排 现 象 研 究 [J]. 电 子 科 技 大 学 学 报 , 2006, 35(1): 118-121. LI L, YAO D ZH, LIU T J, et al. A study of the phase re- setting from ongoing EEG to single trial EPs of alpha wave[J]. Journal of University of Electronic Science and Technology of China, 2006, 35(1): 118-121. [15] LINDSLEY D B. Psychological phenomena and the electroencephalogram [J]. Electroencephalogr Clin Neu- rophysiol, 1952, 4(4): 443-456. [16] 王明时, 刘瑾, 诸强, 陈韵. 在单一模式和双模式刺激 下 gamma 节律与 ERP 的同步效应[J]. 生物医学工程 学杂志, 2005, 22 (5): 884-889. WANG M SH, LIU J, ZHU Q, CHEN Y. Synchroniza- tion of the Activity of Gamma Oscillation and ERP · 6 · 电 子 测 量 与 仪 器 学 报 2009 年 Components[J]. Journal of Biomedical Engineering, 2005, 22(5): 884-889. [17] 赵丽娜, 周群, 刘铁军, 等. 视觉听觉同时刺激模式下 ERP 的同步性研究[J]. 临床神经电生理学杂志, 2005, 14(1): 4-6. ZHAO L N, ZHOU Q, LIU T J, et al. Study on synchronization of ERP evoked by simultaneous visual - audio stimuli[J]. Journal of Clinical Electroence Physiol- ogy, 2005, 14(1): 4-6. [18] 赵晨, 杨华海, 张侃. 跨通道的内源性选择注意[J]. 心 理学报, 1999, 31(2): 148-153. ZHAO CH, YANG H H, ZHANG K. Cross-modal en- dogenous visual selective attention[J]. Journal of Chi- nese Psychology Acta Psychologica Sinica, 1999, 31(2): 148-153. [19] SHAMS L, KAMITANI Y, SHIMOJO S. Illusions: What you see is what you hear [J]. Nature, 2000, 408(6814): 788. [20] ZAMPINI M, TORRESAN D, SPENCE C, et al. Audi- tory-somatosensory multisensory interactions in front and rear space [J]. Neuropsychologia, 2007, 45(8): 1869- 1877. [21] TAJADURA J A, KITAGAWA N, VÄLJAMÄE A, et al. Auditory-somatosensory multisensory interactions are spatially modulated by stimulated body surface and acoustic spectra [J]. Neuropsychologia, 2009, 47 (1): 195-203. 作者简介: 明 东: 1976 年出生, 2004 年于天 津大学获得博士学位, 天津大学神经工 程与康复实验室主任, 主要从事脑认知与 神经工程、物理医学与康复工程、生物医 学信息处理领域的研究工作。 E-mail: richardming@tju.edu.cn Ming Dong was born in 1976. He re- ceived phD degrees in 2004, and currently he is a Director in Neural Engineering and Rehabilitation Laboratory, Tianjin Uni- versity.His main research interests are brain cognitive and neural engineering, physical medicine and rehabilitation engineering and biomedicai information processing. 明 东