全自主机器人双目视觉运动检测研究

　 　·26 ·　　　　　 计算机测量与控制 . 20 06 . 14 ( 1) 　 Computer Measurement & Control 　 自动化测试 收稿日期 :2005 - 04 - 25 ;修回日期 :2005 - 05 - 30。 作者简介 :沈志华 (1980 - ) ,男 ,江苏省苏州人 ,硕士 ,主要从事机器 视觉和机器人智能控制的研究。 赵英凯 (1943 - ) ,男 ,江苏省南京人 ,教授 ,博导 ,主要从事机器人技 术、智能控制和先进控制的研究。 文章编号 :1671 - 4598 (2006) 01 - 0026 - 02 　　　　　　　中图分类号 : TP242 　　　　　　文献标识码 :B 全自主机器人双目视觉运动检测研究 沈志华1 , 赵英凯2 , 王晓荣1 , 严 　卉3 , 姜志兵1 (1. 南京工业大学 自动化学院 , 江苏 南京 210009 ; 2. 南京工业大学 自动化研究所 , 江苏 南京 210009 ; 3. 南京理工大学 自动化系 , 江苏 南京 210094) 摘要 : 设计了 AS - R 自主机器人异构双目视觉系统 , 用于实现 Robocup 比赛中对足球的运动检测 , 视觉图像由云台摄象机 EVI - D100/ P 采集 ; 通过分析比较传统的运动检测 , 如背景图象差分法、时态差分法、基于块运动检测法和光流法的优缺点 , 采用了一 种基于 Canny 算子的自适应动态背景差分算法用于获取球场前景信息 ; 实验结果明 , 该方法能有效检测出运动目标 , 具有较好的实 用性。 关键词 : 运动检测 ; 异构双目视觉 ; 自适应背景差分 ; 机器人足球 Research on Iso - vision System of Autonomous Mobile Robot for Motion Detection Shen Zhihua1 , Zhao Yingkai2 , Wang Xiaorong1 , Yan Hui3 , J iang Zhibing1 (1. College of Automation , Nanjing University of Technology , Nanjing 210009 , China ; 2. Research Institute of Automation , Nanjing University of Technology , Nanjing 210009 , China ; 3. Department of Automation , Nanjing University of Science and Technology , Nanjing 210009 , China) Abstract : Vertical iso - vision system of AS - R autonomous mobile robot is designed for motion detection in RoboCup competition. Video images can be obtained by EVI - D100/ P camera. Analysis and comparison are made among t he t raditional motion detection approches such as background differencing , Temporal differencing , block - based met hod and optical flow. An adaptive background subt raction algo2 rit hm combined wit h Canny operator is adopted to abtain kinetic information. Experimental result s demonst rate t hat t his met hod can detect moving target s effectively and practicably. Key words : motion detection ; iso - vision system ; adaptive background subt raction ; robot soccer 0 　引言 智能移动机器人对环境信息的摄取很大程度上依赖于机器 视觉。机器视觉是 RoboCup [1 ] 全自主机器人足球比赛中的一 项关键技术 , 其任务是实现动态背景下运动足球的定位与检 测。运动检测要求在指定的区域内能识别图像的变换 , 检测运 动物体的存在并避免光线等变换的干扰。传统的运动目标检测 方法有背景图像差分法、时态差分法、基于块运动检测法和光 流法等 [2 ] 。光流法的时间复杂度较大 , 且抗噪性能差 [3 ] , 对于 实时要求高的情况下采用计算时间相对少的背景图像差分法和 帧间差分法是有效的。但对于图像信息的微小变化 , 上述两种 方法的效果并不明显。而采用基于 Canny 算子的自适应背景 差分算法 , 通过建立环境图像的背景统计模型 , 对单帧视频图 像作 Canny 边缘提取 , 再采用自适应背景差分算法提取前景 区域 , 能有效检测动态环境下的运动足球并实现跟踪。 1 　垂直异构双目视觉系统的结构与实现 目前 , 足球机器人视觉系统有单目固定视觉、单目活动视觉、 双目活动视觉、立体视觉和全景视觉等[4] 。垂直异构双目视觉系 统建立在 AS - R单目视觉体系结构上 , 由上目云台摄像机[5]和下 目固定摄像机组成 , 结构如图 1 所示。云台 1/ 4type Super HAD CCD摄像机有 2 个自由度 , 水平视角 616 to 65 Degree , 完成远距 离大范围足球的位置搜索 , 而固定 CCD 摄像机则实现对足球的识 别和捕捉 , 采用垂直异构双目视觉能实现全景搜索。 该系统采用标准的数据总线与外部数据进行通讯。异构双目 视觉的硬件扩展通过 PCI 接口和预留 USB 接口实现 , 云台 CCD 摄像机通过视频采集卡与标准 PCI总线相连 , 视觉信息的处理由 图 1 　垂直异构双目视觉系统结构 图 2 　EVI - D100/ P 云台摄像机图像传输数据报结构 第 1 期 沈志华 , 等 : 全自主机器人双目视觉运动检测研究 　 ·27 ·　　 AS - R图像处理库函数实现。固定的下目摄像机通过 8 路 USB 2. 0接口接入主机 , 视觉图像采集的优先级要高于云台摄像机。 图 2 是 EVI - D10/ P 云台摄像机图像采集传输的数据报结 构 , 报头包含了发送和接收地址信息。 2 　静止背景下的运动目标检测 对于静止背景下的运动检测 , 可以采用帧间变化检测的方 法 , 主要包括 3 个部分 : 视频序列预处理、背景恢复和运动目 标提取。预处理的目的是在图像分割前去除噪声 , 可采用平滑 滤波等方法。对于背景恢复 , 定义图像序列 I ( x , y , i) , 其 中 x , y 代表空间坐标 , i 代表帧数。序列的亮度分量为γ ( x , y , i) , 则视频帧差 (CDM) 反映了相邻帧之间的灰度变化 : f ( x , y , i) = D , D ≥T 0 , D < T , D = |γ( x , y , i + 1) - γ( x , y , i) | (1) 被检测到的静止部分为集合{ A j ( x , y) , 1 ≤j ≤M} , 其中 A j 的起点与终点分别为 A s j 和 A e j , 挑选最长的静止分段并记 录该分段中点的帧号为 M ( x , y) 。选择第 M ( x , y) 帧处的点来 填充视频背景中的相对位置 , 规则由式 (2) 定义 : M ( x , y) = ( A s( x , y) + A e( x , y) ) / 2 Q( x , y) = I ( x , y , M ( x , y) ) (2) 其中 , A s( x , y) 和 A e( x , y) 对应最长静止分段的起点与终 点 , Q( x , y)为重建的视频背景。在恢复背景之后 , 可以得到 亮度分量的背景帧差图 ID : I D = D , D ≥T 0 , D < T , D = |γ( x , y , i + 1) - γ( x , y , i) | (3) 在实际环境中 , 背景并不是完全静止的 , 光照等干扰引入 的局部噪声 , 使得对运动目标的正确检测和定位变得困难 , 需 要利用色度等信息或形态学的方法来除噪。 3 　运动背景下的运动目标检测 Robocup 中型全自主机器人足球比赛是一个实时动态环境 , 机器人对足球的检测与跟踪属于运动背景下目标检测范畴。静 止背景的目标检测可以恢复出背景 , 但对于含有运动背景的视 频 , 是无法恢复出静止背景的。运动背景一般会包含全局运动 信息 , 其目标检测方法有光流法、时态差分法和块比较法等。 光流的方法一般是根据当前帧及前后帧的信息 , 计算某个 像素的运动矢量。该方法的优点是当自主机器人跟踪足球并寻 找球门的过程中 , 在摄像机存在运动的情况下 , 能有效检测出 独立的运动目标 , 如足球或对方机器人。但该算法相当复杂 , 抗噪性能差 , 没有特殊硬件支持很难被应用于全帧视频流的实 时处理 [6 ] 。时态差分法是一种通过对视频序列中相邻两帧作差 分运算来获得运动目标轮廓和提取前景信息的方法 , 它可以很 好的适用于存在多个运动目标和摄像机移动的情况。时态差分 检测对于动态环境具有较强的自适应性 , 但一般不能完全提取 出所有相关的特征像素点。基于块 (Block Based) 的方法引入 了图像块概念 , 可以对块进行全图像搜索。但是 , 子块可能不 完全属于背景或者目标 ; 运动物体可能移出镜头 , 无法找到对 应的子块 ; 从三维到二维的信息转变会出现遮挡 , 对于这些问 题 , 基于块的运动检测方法存在局限性。 4 　自适应动态背景减除算法 通过比较帧间变化、光流和时态差分等运动检测方法 , 针 对机器人足球比赛的实时性要求 , 采用了一种背景模型更新的 自适应动态背景差分算法 [7 ] , 用于从机器人足球比赛的静态的 环境背景中提取前景的足球和机器人运动信息。首先 , 初始化 背景模型 , 对背景连续采集 n 帧图像 , 通过这 n 帧图像信息 , 建立一个初始背景统计模型 , 颜色值的期望和颜色值分布的方 差分别为 : μi = 1 n ∑ n t =1 μit ,σ2i = 1 n ∑ n t =1 (μit - μi ) 2 (4) 　　其中 , μit 是点 i 在 t 幅图像中的颜色值 , 这样 , 所有点 (μ, σ2i ) 构成了初始背景模型。 在自适应动态背景差分之前 , 需要对视频图像作预处理。 实验使用了 Canny 算子作图象分割 , 并与 Robert s 算子作了比 较。Canny 算子属于边缘检测范畴 , 目的是用来获取图像的边 缘信息。经 Canny 运算或者 Robert s 运算后的单帧视频图像 , 仅包含运动目标和背景图像的边界信息 , 这样可以简化差分运 算阈值选取。 然后 , 对运动目标区域作前景提取。采用公式 (5) 规则 二值化图像 : B i = 1 , i f (γ> 3σi ) 0 , i f (γ≤3σi ) (5) B i 是一个二值掩模图像 , 值为 1 的点表示运动点 , 即前 景区域 , 值为 0 的点为背景点。统计表明 : 3σi 为区分运动点 与背景点的阈值。 最后 , 根据公式 (6) 和 (7) 规则完成自适应背景模型的 更新 (Adaptive Background Subtraction) [8 ] : μ( t + 1) = μ( t) , ( B i = 1) (1 - α)μ( t) +αγ( t) , ( B i = 0) (6) σ2i ( t + 1) = σ2i ( t) , ( B i = 1) (1 - α)σ2i ( t) +α(γ( t) - μ( t) ) 2 , ( B i = 0) (7) 其中α取值范围为 [ 0 , 1 ] , 是用来确定背景模型更新速 度的时间常数。当α为 0 时 , 自适应背景差分法转变为背景差 分法 ; 当α为 015 时 , 背景模型的更新转变为平均值更新法 ; 当α为 1 时 , 这种方法转变为时态差分法。可见 , 背景模型的 更新是通过取视频图像序列的加权平均值完成的 , 实际上是一 个消除噪声的过程。 5 　实验分析[9 ] 实验平台为 AS - R 全自主足球机器人垂直异构双目视觉 系统 , 视频图像由 Sony EV I - D100/ P 采集。采用 VC + + 编 程语言开发视觉图像处理函数 , 通过加载到 AS - R 视觉函数 库来实现运动物体的自适应背景差分算法。 图 3 　原始图像　　　　图 4 　自适应背景差分检测 图 3 为原始视频图像 , 经过自适应背景差分法作运动检测 后的结果如图 4 所示。运动的足球和机器人从场地背景信息中 分离出来 , 被标识为黑色 , 而静止图像为标识为白色 , 从全局 图像中滤除。图 5 和图 6 比较了在前景区域提取前 , 通过 Canny (下转第 42 页) 　·42 ·　　 计算机测量与控制　 第 1 期 径。 3 　系统具体实现 为了满足 agent 系统的平台无关性 , 在系统程序底层以 J AVA 为平台 [7 ] , 专家系统知识库以 Visual Prolog 为实现语 言 , C + + 为前二者的接口语言 , 进一步保证有关 agent 的移 动性和安全性 , 互操作性等特性。同时结合基于 CORBA 软件 总线的 web 工具开放整个系统 ; 在同客户的人机界面交互中 , 采用 javabean 技术 , 为客户生成动态页面 , 实现人机接口 a2 gent 的一些功能 ; agent 通讯机制基于 KQML - CORBA , KQML 为通信语言 , CORBA 为通信。使用 CORBA 的 IDL 来定义 KQML 的各种消息类型 , 实现二者的结合。从而 增强了 Agent 间通信的柔性和可操作性。 本设计思想已初步应用于总装某制造企业机器人系统的智 能诊断。值得注意的是 : 机器人网络本身也被认为是多 Agent 系统。 参考文献 : [ 1 ] 刘建辉. 基于频域的机械设备状态信息在线交流采样处理 [J ] . 计算机测量与控制 , 2005 , 13 (7) : 37. [ 2 ] 陈宁江 , 苏德富. 基于 Agent 的 CSCW 系统及其通讯实现 [J ] . 广西大学学报 (自然科学版) , 2000 , 6 : 94. [ 3 ] 许玲. CSCW 系统中的应用共享技术研究 [ J ] . 广州大学学报 (自然科学版) , 2003 , 12 : 40. [ 4 ] 彭喜元. 群智能理论及应用 [J ] . 电子学报 , 2003 , 12 : 1984. [5 ] 詹士昌 , 徐捷 , 吴俊. 蚁群算法中有关算法参数的最优选择 [J ] . 科技通报 , 2003 , 9 : 381. [ 6 ] 孙京诰. 基于蚊群算法的故障识别 [ J ] . 华东理工大学学报 , 2004 , 4 : 194. [ 7 ] Wong D , Paciorek N. Java - based Mobile Agent s [J ] . Communi2 cations of The ACM. 1999 , (3) : 3. (上接第 27 页) 算子和 Robert s 算子作分割运算后的自适应差分运动检测的区 别。经 Canny 分割算子做边缘检测后 , 运动目标的轮廓信息 被提取出来 , 再通过自适应差分方法 , 从静止背景中提取出前 景图像 , 如图 5 所示 , 检测效果优于普通自适应差分方法。图 6 是采用 Robert s 算子作边缘分割后静止背景和运动目标的全 局轮廓信息。 图 5 　Canny 算子自适应差分　图 6 　Robert s 算子边缘检测 实验结果表明 , 这 3 种自 适应运动检测方法都能正确检 测出运动足球和机器人的轮廓 , 但对于普通的自适应差分运动 检测方法 , 其检测的轮廓信息 是模糊的。而由 Canny 算子或 者 Robert s 算子作预处理后的 自适应差分运动检测方法能获 得完整、连续的运动目标信息。 Canny 算子将边缘检测转换为 检测函数最大值问题 , 误码率 低 , 检测位置精度高 , 边缘点 响应唯一 , 所以 , 由 Canny 算 子作预处理的自适应差分方法 能有效分离前景图像和静止背 景。运动的足球和机器人轮廓 信息能从背景中完全分离出来 , 如图 5 所示。图 6 描述了 Ro2 bert s 做边缘检测时静态背景和 动态物体的全局信息。 6 　结论 通过上、下目摄像机的协同工作 , AS - R 垂直异构双目 视觉系统能够实现对足球的全局视野跟踪。RoboCup 中型全 自主机器人足球比赛是一个动态复杂的环境模型 , 引入基于 Canny算子的自适应动态背景差分算法 , 较好的解决了动态背 景下足球和机器人的定位与运动检测 , 该方法不但在检测性能 上优于普通自适应差分法 , 而且也简化了阈值的选择。 但是 , 对于多智能体的全自主机器人足球比赛 , 如果两个 机器人出现位置重叠或者部分重叠时 , 该检测方法不再适用 , 同时 , 如果背景图像包含复杂文理信息 , 这种方法检测效果不 佳 , 甚至有可能检测失败 , 这些问题需要进一步研究解决。 参考文献 [ 1 ] Chen X P. New advances in international robot soccer ( RoboCup) [J ] . Robot Technique and Application , 2001 (2) : 25 - 28. [ 2 ] Fujiyoshi H , Liption A. Real - time human motion analysis by im2 age skeletonization [ A ] . Proceedings of IEEE , WACV98 [ C ] . 1998 : 15 - 21. [3 ] 皮文凯 , 刘宏 , 查红彬. 基于自适应背景模型的全方位视觉人体运 动检测 [J ] . 北京大学学报 , 2004 , 40 (3) : 458 - 464. [ 4 ] Yoshinoris , Tomohiron. A motion t racking by ext racting 3D feature of moving object wit h binocular cooperative fixation [ A ] . Proceed2 ing of t he 2002 IEEE/ RSJ Intl [ C] . Lausanne , 2002 , 13 - 18. [ 5 ] AS - R Robot Manual 2004 [ M] . Grandar Robotics , 2004. 9. [6 ] Collins R , Lipton A , Kanade T , et al . A system for video surveil2 lance and monitoring [ R ] . Tech. Report CMU - RI - TR - 00 - 12 , Robotics Institute , Carnegie Mellon University , 2000. [ 7 ] Stauffer C , Grimson W. Adaptive background mixture models for real - time t racking [ A ] . Proc IEEE Conf on Computer Vision and Pattern Recognition [ C] . Collins : IEEE Computer Society , 1999 , 246 - 252. [8 ] Mc Kenna S , Jabri S , Duric Z , et al . Tracking groups of people [J ] . Computer Vision and Image Understanding , 2000 , 80 : 42 - 56. [ 9 ] 周志宇 , 汪亚明. 基于运动区域的多目标检测 [J ] . 计算机测量 与控制 , 2002 , 10 (7) : 443 - 445.