基于雷达与相机的无人驾驶智能车障碍物检测技术研究（可编辑）

基于雷达与相机的无人驾驶智能车障碍物检测技术研究（可编辑） 基于雷达与相机的无人驾驶智能车障碍物检测技术研 究 分类号: U27;U46 10710-2010122030 硕 士 学 位 论 文 基 于雷达 与 相机的无 人驾 驶智能 车障 碍物检 测 技 术研究 张双喜导师姓名 职称 韩毅 副教授 申请学位 级别 硕士学位 学科专业 名称 车辆工程 提交 日期 2013 年5 月13 日 论文答辩 日期 2013 年6 月8 日 学位授予 单位 长安大学 Research on obstacle detection technology based on radar and camera of driverless smart vehiclesA Dissertation Submitted for the Degree of Master Candidate :Zhang Shuangxi Supervisor :A. P. Han YiChang ’an University, Xi ’an, China 摘 要 无人驾驶智能车辆从某种意义上说 就是一种 可以自主移动的智能机器人 , 它主要是 由平台中 安装的一些传感 器来采集车辆在行驶过程中 周围道路环境信息 , 通过对这些信 息的处理而 实现智能车的速度和 转向控制, 从 而使智能车辆能够安全、 可靠地在道路上 达到 无人驾驶的目的。 本课题主要通过车载 相机、 激光扫描雷达等传感器 实时采集周围的 环境信息, 为了 很好 地处理与分析采集的数据信息 从而得出障碍物的具体位置与形状, 本文提出了采用 两种 传感器数据融合的 障碍物检测理论框架; 建立了与之相关的计算模型, 研究了如何 提高计算效率从而达到高速 实时地驱动控制单元 , 最终实现了无人驾驶智能车成功避开 障碍物的 研究目的。 本论文主要包括以下 研究内容: 1 根据无人驾驶智能车 对目标 障碍物检测的 要求, 确定并搭建了无人驾驶 智能车系 统平台 ; 对各种传感器的 选型进行了分析和比较, 设计了 本文中障碍物检测的 雷达和车 载相机处理 模块; 实现了数据的 实时采集与处理、 障碍物目标检测以及 多传感器之间的 数据 融合等功能。 2 为了实现对障碍物目 标的检测与识别, 在 智 能车系统中 建立了三个坐标系 即: 世 界坐标系、 图像坐标系、 传感器坐标系, 世界坐标系是确定空间中物体的相对位置 。 为 了将 空间中的障碍物具体信息反映到雷达与相机采集的数据信息中, 本文 中还给出了三 个坐标系之间的 转化关系, 并 分别对激光雷达和相机进行了标定算法 研究 。 另外提出了 雷达与相机采集数据进行处理的算法,并通过具体数据进行了 算法的验证。 3 激光雷达 采集的 数据 虽然能够提供精确的障碍物距离 但无法 得到 障碍物的 具体 形状特 , 通过相机采集的图像虽然能提供障碍物的具体形状但是 无法判断 距离。 本文首 先通过雷达与相机采集数据, 将数据进行预处理 ; 通过激光雷达采集的数据判断出 障碍 物所在 的区域, 结合 相机采集的图像信息, 提取 感兴区域识别得到的具体 位置, 最 终检 测出障碍物 目标,实现无人驾驶智能车 自主绕开障碍物,达到安全稳定行驶的目的 。 关键词:智能车, 激光雷达,相机,障碍物检测 IABSTRACT In a sense, unmanned intelligent vehicle is a kind of intelligent autonomous mobile robot, it mainly uses some of the sensors installed to collect the roads around their own environmental information, these information processing and control intelligent vehicle speed and steering, so that the intelligent vehicle can safely and reliably achieve the goal of unmanned in the road This topic mainly use vehicle-mounted camera, laser scanning radar and other sensors to collect real-time environmental information, for good processing and analysis detected the specific location and shape of the obstacle,we put forward the theoretical framework for the integration of the two sensors technology to detect obstacles; related calculation model is established, and to study how to improve the computational efficiency of the drive control unit so as to achieve high-speed real-time achieve the purpose of avoiding obstacles to the success of unmanned intelligent vehiclesThis thesis mainly includes the following research contents:1 According to the requirements of unmanned intelligent car for obstacle detection, then identify and build unmanned intelligent vehicle system platform; the selection of the various sensors are analyzed and compared, the design of this article obstacle detection radar and in-car camera processing module; and then to achieve real-time data acquisition and processing, obstacle target detection and multi-sensor data fusion, and other functions 2 In order to achieve the detection and identification of obstacles goal, three coordinate systems are defined in the smart car system: the world coordinate system, the image coordinate system, the sensor coordinate system, the world coordinate system is to determine the relative position of objects in space, therefore, in order to reflect the space obstacles specific information to the data collected by the radar and the camera, this article also identified the transformation of relations between the three coordinate systems, laser radar and camera calibration algorithm are analyzed. It was also suggested herein with respect to the radar and camera acquisition data processing algorithms, and through specific data for the validation of the proposed algorithmII 3 Laser radar data collected can provide the specific shape of the obstacle, but can not get the specific shape features of obstacles, over camera images collected to provide the specific shape of the obstacle, but can not judge the distance. This article first by radar and cameras to collect data, the data preprocessing; with a laser radar data collected by judge the obstacle area, combining with the camera image information acquisition, extraction and identification sense of xing area location, finally detect obstacles, realizes the funtion of unmanned intelligent car around obstacles automatic autonomously, to achieve the purpose of security and stability of driving Keywords: Smart car, laser radar, camera, obstacle detection III目 录 第一章 绪论 1 1.1 课题研究背景. 1 1.2 无人驾驶智能车障碍物检测研究现状 2 1.2.1 国外无人驾驶智能车障碍物检测研究现状. 2 1.2.2 国内无人驾驶智能车障碍物识别研究现状. 4 1.3 无人驾驶智能车障碍物检测技术7 1.3.1 障碍物检测技术分类. 7 1.3.2 本文障碍物检测技术的选取. 8 1.4 研究意义 9 1.5 本文主要工作与安排. 9 1.6 本章小结. 10 第二章 无人驾驶智能车的系统组成 12 2.1 无人驾驶智能车车体12 2.2 车体的改装 12 2.3 无人驾驶智能车的任务与要求. 13 2.3.1 智能车的整体系统 13 2.3.2 控制系统的任务. 14 2.3.3 控制系统的要求设计14 2.4 环境感知系统15 2.4.1 激光扫描雷达15 2.4.2 车载高清相机18 2.4.3 GPSNovatel 20 2.5 计算机控制单元. 21 2.5.1 上位机控制 21 2.5.2 下位机控制 22 2.6 本章小结. 23 第三章 障碍物检测的相关理论知识 24 3.1 坐标系的建立24 3.2 相机模型与相机标定25 3.2.1 相机模型. 25 3.2.2 标定原理. 26 3.3 激光扫描雷达的标定28 3.4 图像灰度化 28 IV3.5 图像去噪. 29 3.5.1 邻域平 均法 30 3.5.2 中值滤波法 30 3.6 图像分割. 31 3.6.1 基于阀值分割31 3.6.2 基于区域生长分割法32 3.6.3 基于特征空间聚类法分割法32 3.7 图像形态学运算. 32 3.7.1 二值形态学 33 3.7.2 灰度形态学 34 3.8 本章小结. 35 第四章 基于雷达与相机的障碍物检测方法 36 4.1 总述 36 4.2 数据采集与处理. 36 4.3 多传感器的数据融合37 4.3.1 多传感器数据融合原理. 37 4.3.2 多传感器数据融合算法. 38 4.4 雷达与相机的数据匹配. 39 4.4.1 时间上的匹配39 4.4.2 空间上的匹配39 4.5 基于雷达的障碍物检测. 40 4.5.1 雷达数据预处理. 40 4.5.2 障碍物的检测43 4.6 基于视觉相机的障碍物检测46 4.6.1 图像数据的预处理 46 4.6.2 环境道路识别47 4.6.3 道路分道线边缘检测47 4.6.4 障碍物的感兴区域提取. 48 4.6.5 障碍物检测 48 4.7 本章小结. 49 结论与展望 51 参考文献. 53 攻读学位期间取得的研究成果. 56 致 谢. 57 V 长安大学硕士论文 第 一章 绪论 目前随着科学技术的不断 进步, 以计算机技术和 自动化技术为主的智能控制技术也 获得了飞速 的发展, 所以 作为此领域研究成果的 无人驾驶智能车辆的研究 已经成为最为 关注的课题之一 。 无人驾驶智能车 主要是利用搭建的 平台中所安装的传感器来 采集在行 驶过程中 周围道路的环境 信息, 通过对这些信息的处理实现对 智能车的 状态控制, 从而 [1] 使智能 车辆能够安全、 稳定地在道路上行驶从 而 达到无人驾驶的目的 。无人驾驶智能 车 能 安 全 可 靠 行 驶 的 前 提 是 对 前 方 障 碍 物 的 实 时 准确 识 别 以 及 控 制 系 统 对 转 向 和 制 动 等模块的指令发出。 无人智能车实现 对障碍物目标 的识别, 涉及到路径控制 、 目标识别、 图像处理 、多传感器信息处理与融合等多项 关键 技术的研究。 1.1 课题研究 背景 目 前 对 无 人 驾 驶 智 能 车 辆 的 研 究 是 国 内 外 研 究 的 热 点 问 题 , 但 是 由 于 一 些 客 观 原 因, 我国对于这方面的研究起步相对比较晚, 从而导致一些关键性的技术与其他国家相 [2] 比还有阶段性的差距 。本课题拟对车载的 视 觉 系 统、GPSGlobal Positioning System 定位系统、 车速 检测系统、 激光 扫描雷达系统等多种传感器信息进行 数据 融合, 提出采 用多种传感 器进行视听觉信息认知的理论框架, 建立 与之相关的计算模型, 并研究如何 提高计算效率从而达到高速实时的 自动控制智能车 实现无人驾驶的目的。 在此理论模型 的基础上, 针对 各种道路环境, 研制具有自然环境感知与 自动执行决策能力的 无人驾驶 车辆平台, 将相关研究成果应用于无人驾驶智能车平台, 达到按照 规定路线 的自主行驶、 按道路标志标线的沿车道行驶以及自主避障、 加减速等目的。 该 课题研究的成果将用于 参加 由国家自然科学基金委主办的 “ 中国智能车未来挑战 赛” 的比赛, 通过参加比赛修 改和完善 智 能 车 平 台 的 方 案 与 技术 , 从 而 最 终 达 到 适 应 多 种 道 路 环 境 下 无 人驾驶 的目 的。 随 着 经 济 和 社 会 的 不断 发展, 汽车 数量 的 增 多 从 而 引 发 的 一 些 社 会 问 题 也 日 益 突 出, 比如城市的交通、 车辆行驶的安全、 能源的供应、 环境污染等。 这些现实的社会问 题都源于现有的交通基础设施与汽车这个载体之间的矛盾, 这不仅体现在交通拥堵问题 上, 同时还体现在由于交通不畅而造成的环境污染及相对落后的道路状况和先进的车辆 [3] 技术对人们的生命、财 产所产生的安全隐患 。因此, 一些国家相继 启动了各种以智能 1 第一章 绪论 交通系统为目标的研究与开发 。 虽然在这些研究的项目内容 中, 对智能交通体系的定义 不尽相同, 各项目的侧重点也有所不同, 但目标 都是综合利用最新的信息技术、 自动化 技术、 计算机技术、 管 理技术等来提高道路和车辆的利用效率 、 提高车辆行驶的 安全性、 减少 环境污染、提高现有交通的通行能力。 现在由于交通事故导致的人员与财产损失在社会中越来越严重, 交通事故中主要涉 及车辆的碰撞,因此提高交通行驶中车辆的安全性是现在交通发展中亟待解决的问题。 智能车辆的研究在很大程度上能缓解这一问题的发生 并提出了新的思路, 在智能车辆系 统中对于 车道预警监测 、 驾驶员的 疲劳检测、 自动 定速巡航、 无人驾驶 等的研究都能 缓 [4] 解驾驶员 在行驶中的工作 量,对于提高现有交通系统的安全性 有很大帮助 。 基于以上现实问题 的出现, 国内外对于无人驾驶智能车辆的研究越来越重视, 在智 能车辆的研究中障碍物的检测与识别也是关键工作, 本课题的 研究内容就是在这种形式 下提出的。 1.2 无人驾驶 智能车 障 碍物 检测 研究现 状 1.2.1 国外无人驾驶智能车障碍物 检测研究现状 20 世纪 50 年代起国外 对 智能车辆技术开始研究,最初只是应用于军事 ,由于智能 车辆 技术与智能交通系统 的结合,对于智能车辆的研究才 正式开始了系统的研究阶段。 由于对 障碍物检测的重要性认识逐渐增强, 国外 对于这方面的研究投入 也不断加大,因 此一些创新的 技术也相继取得突破 。 国家在智能车辆 行驶的安全性以及 稳定性方面提出 [5] 了许多有价值的研究成果,并产生了 一定的社会和经济效益 。20 世纪 50 年代初美国 的 Barrett Electronics 公司 研发出世界上首款全 自动引导车, 尽管这只是一个运行于专线 [6] 上的拖车式平台,但它已经具有了 现在智能车辆的 明显特征,即无人驾驶 。 美国卡内基梅隆大学所 研发的 NAVLAB 系列 智能车通过 车体安装的 传感器很好的 实现了障碍物的 检测识别功能,如图 1.1 所示 。该智能车 在传感器方面选择激光雷达与 相机, 其中安装在车顶的激光雷达主要 负责智能车前方障碍物距离的判断; 安装 在智能 车后视镜下方的相机用来检测道路的状况以及行人与车辆的图像采集。 其中 NAVLAB-V 系列智能车完成了美国本土横跨四千多公里的无人驾驶试验, 该实验的成功完成对无人 [7] 驾驶智能车的进一步研究起到了巨大的推动作用,也为后来的技术研究奠定 了基础 。 2 长安大学硕士论文 图 1.1 卡内基梅隆大学 智 能车 德国也于上世纪末 开始了智能车辆技术的 研制工作, 其研究成果主要是VAMORS-P [8] 系统 的智能车, 该系统 选用了奔驰500作为研究平台 。 检测传感器 主要使用的彩色CCD 相 机 、 加 速 度 计 、 角 度 变 化 传 感 器 等 , 计 算 机 系 统 由 基 于Transputer 的 并 行 处 理 单 元 和 两台PC-486组成。 在传感器方面虽然只选择了相机但是该系统还是很好的实现 了障碍物 的检测与识别。 另外欧盟的CARSENSE 项目也在智能车辆的障碍物 检测识别方面做了大量的工作, 比如 第五框架的CyberCars 和CyberMove 项目, 该项目经过多年 的研究, 获得了大量成果, 并举行过许多大型演示,其中部分系统已经投入到实际应用当中。 意大利 的Parma 大 学也对 无人驾驶智 能 车 辆进行 了 比较 深入 的 研 究,其 开 发 的 智能 试验车车体 由一辆兰西亚客车改装而成,试 验车利用一台黑白相机进行道路 环境检测, [9] 主要包括对 道路前方的 车辆以及行人等障碍物 检测 。并参加了在西 安市举办的中国智 能车未来挑战赛。Parma 大学的智能车如图1.2所示。 图 1.2 Parma 大学智能车 日本于 1992 年也 开发了能使汽车自动 行驶 的系统。其中丰田公司 开发了基于机器 视觉和毫米波雷达 的前方障碍物 检测系统,利用 CCD 相机来检测前方 的车辆状况,毫 米波雷达 主要是对前方 障碍物的距离和速度进行采集 。 本田公司设计的自主车还 采用具 有扇形激光束扫描的雷达可以检测 在弯道上行驶的车辆和本车前方的障碍物, 当前面障 3 第一章 绪论 碍物和本车的车间距离小于规定值时, 系统将发出语音报警信号来提醒驾驶员采取 相应 [10] 的措施 。 悉尼大学的澳大利亚野外机器人中心开展了一项 HSVHigh Speed Vehicle 工程, 其 目的是开发车 辆在各种 真实环境下以 高速90km/h 行驶时实现自 动化 技术,最终设 计出 一套能够在非结构化道路和未知环境中确定车辆的位置, 并能够精确控制其沿着期望路 [11] 径行驶的系统 。HSV 实验车上装备了 Sick 激光器、Watson 惯性 单元、GPS 以及磁罗 盘等仪器。 1.2.2 国内无人驾驶智能车障碍物识别研究现状 虽然国内的一些科研单位 对智能车辆的研究开始时间 与国外相比较晚 一些, 但是在 [12] 一些关键的 技术上也取得了 一些进展 。 目前 开展这方面的研究的单位 有: 国防科技大 学、 清华大学、 吉林大 学、 北京理工大学、 西 安交通大学、 南京理工大学 、 中国科学院 合肥物质科学研究院 等,2011 年长安大学也开始了无人驾驶智能车方面的研究。 国防科技大学从上世纪 90 年代开始相继研 制出了四代无人驾驶智能车。2003 年国 防科技大学与一汽集团联合研制的红旗旗舰 CA7460 无人驾驶智能车, 如图 1.3 所示。 此无人驾驶智能车 采用 的传感器主要有相机、 雷达等, 主要实现了可对 车道环境的自动 识别 、障碍物检测、车辆 自主行驶等各项功能 。 图 1.3 国防科技大学 智能 车 1993?1995 年, 南京理工、 北京理工、 浙大、 国防科大、 清华大学等六 所高校联合 [13] 承担了 “地面军用智能机器人” 的课题研究项目 。 该系统的车体选 用跃进客货车改制, 并装有彩色相机、激光扫描雷达、超声波等传感器。 试验明该智能车具有自主行驶、 道 路 跟 踪 、避 障 及岔 路选 择 等 功 能, 在 直线 道路 上 自 主 行使 最 高速 度达 21km/h ,弯 道 及避障时的速 度也能达 10km/h 。 清华大学的无人驾驶技术实验也一直致力于智能车辆的技术研究, 从 1988 年开始 4 长安大学硕士论文 着手 研制 THMR 系列 智能车, 从刚开始的 THMR ?I 到后来技术领先 的 THMR ?V 智能 车。 在 THMR ?V 智能车上安装有激光雷达、 摄像机、GPS 等传感器。 其中, 激光雷达 主要负责对障碍物的判断与检测, 摄像机采集前方的道路环境信息。 目前该智能车已经 能实现了 校园的道路环境下 的道路跟踪和避开障碍物的自主行驶等功能。 图 1.4 清华大学 无人驾驶 智能车 上海交通大学智能车实验室对 无人驾驶智能车的研究也取得了很大的 技术成果。他 们的车型选择为苏州益高电动车公司 制造的一款普通 电动观光车, 车体轻巧操纵稳定性 较好 ,如图 1.5 所示。在 对于障碍物的识别 中主要也是依靠车体前端的激光雷达与车顶 的相机共同实现的 。 他们所研制的该电动无人驾驶智能车在智能车辆技术的研究中无论 [14] 是从环保还是从技术方面都有很大的突破 。 图 1.5 上海交通 大学智能 车 西安交通大学也是对于无人驾驶智能车研制的研究开始比较早的单位, 而且所研制 的智能车也连续参加了前几届 “中国智能 车未来挑战赛” , 如图 1.6 所示 。 其无人驾驶智 能车在传感器方面安装了激光雷达、GPS 和摄 像机等多种感知传感器。 系统中的雷达采 集道路环境 中前方车辆和行人 的距离信息; 摄像机主要提供周围道路 的 环境信息等。 该 智能车能同时 实现人工驾驶和 无人驾驶两种方式, 能够实现对 智能车周围 障碍物的实时 [15] 检测与识别以及对行驶 道路的车道信息检测 。 5 第一章 绪论 图 1.6 西安交通 大学智能 车图 1.7 北京理工大学智能 车 图 1.8 军事交通学院智能 车 图 1.9 中科院智能 车 2010 年 10 月长安大 学成功举办了 第二届广汽丰田杯 “智能车未来挑战赛”,2011 年 长 安 大 学 汽 车 学 院 创 新 团 队 也 开 始 了 无 人 驾 驶 智 能 车 的 研 究 , 经 过 不 断 的 创 新 与 研 发,整个系统平台的软硬件已经能实现车辆的自主驾驶 ,如图 1.10 所示 。并与 2012 年 11 月参加了第四届“ 中国智能车未来挑战赛 ” 。我们选择了丰田雅力士车 作为智能车的 系统平台, 在传感器方面 安装了激光扫描雷达、 车载相机、GPS 等传感器 来实现对 道路 环境与当前地理位置 的实时 采集; 在车速控制方面我们安装了双编码器来准确控制无人 智能车的车速 。 经过多次 实际试验 该智能车能实现无人车的自主驾驶 以及对车道的自动 识别。 在障碍物的识别方面虽然在比赛中没能很好的实现, 但是在本文的研究中给出了 一些新的算法,基本能实现 对障碍物的识别。 GPS 相机 紧急制 动开关 雷达 车速编 码器 图 1.10 长安大学智能车 6 长安大学硕士论文 目前, 我国 对于无人驾驶智能车领域的研究工作还处于初级阶段, 整体 技术的研究 工作和 实验室条件建设与国外相比还有一定的差距。国家自然科学基金委员会于 2008 年设 立了 “视听觉认知计算” 重大研究, 以无人驾驶车辆为应用平台开展视听觉信 息认知计算理论与方法研究 。 从 2009 年起每年都会举办 “中国智能车未来挑战赛” , 这 对我国智能车 辆的研发从实验室 条件向现实道路环境的转变 起到了关键作用, 对推动和 促进无人驾驶车辆 研究 的创新与发展具有重要 的现实意义。 通过在实际道路中比赛各科 研单位交流了各自在视听觉信息认知计算和无人驾驶车辆研究方面的最新成果, 在一定 程度上促进了无人驾驶智能车领域相关技术的 进步。 1.3 无人驾驶 智能车 障 碍物检测 技术 无人驾驶智能车在道路上能稳定可靠的行驶其关键技术就是障 碍物的识别与检测, 检测的结果 决定了智能车行驶的稳定与安全性 。 目前对于无人智能车的障碍物检测方法 主要有: 基于视觉系统的检测 、 基于雷达的检测、 基于超声波的检测、 基于多传感器 融 [16] 合技术 的检测等 。 在 无人驾驶智能车的研究中最常见的障碍检测传感器有惯性导航、 激光扫描雷达、 毫米波雷达、 车载相机等。 各类传感器 都能实现对目标 障碍物的检测 但 是由于外界因素的影响与传感器本身的性质所决定了检测结果精确性 又存在着差异 。 1.3.1 障碍物检测技术分类 无人驾驶智能车在行驶过程中都是依靠车载的一些传感器采集外界信息来实现的, 当然在本课题的障 碍物检测中是激光雷达与相机的共同工作完成的。 因此在系统中传感 器的选择决定了所使用的不同算法, 如表 1.1 所示是 国外的智能车障碍物识别研究中所 采用的 不同传感器。 7 第一章 绪论 表 1.1 国外无人智能车所 采用传感器 名称 国家 年代 传感器 HILARE 1979 法国 机器视 觉、 激光 雷达 NAVLAB-1 美国 1986 灰度摄 像机 、声 纳、 激光 雷达 NAVLAB-5 美国 1996 彩色摄 像机 、激 光雷 达、GPS ARGO 意大利 1998 双摄像 机、 里程 计 ANFM 瑞典 2001 摄像机 、超 声波 、雷 达 SANDSTORM 美国 2004 彩色摄 像机 、激 光雷 达 STANLEY 美国 2005 多激光 雷达 、单 目视 觉系 统 BOSS 美国 2007 多单线 激光 雷达 、64 线 激 光雷达 由上表可知激光雷达与视觉系统在障碍物检测中是普遍选择的传感器, 因 此现阶段 [17] 对于障碍物的检测中所使用的 方法和技术主要有以下几种 : 1 基于 视觉系统 的障碍 物检测 技术; 2 基于雷达 的障碍物检 测 技术 ; 3 基于超声波的检测技 术; 4 基于 多传感器 的融合 检测技术 任何一种技术对于 障碍物的检测都有其优缺点, 现在还没有一种很好的技 术来 实现无人智能车的障碍物 的完美检测。 目前各种传感器在实际环境道路中 的适应性还不 是太高, 传感器在处理数据时的融合还不是太理想, 这些都在智能车障碍 物的检测技术 研究中所面临的问题。 基于这些存在的问题各国都在技术的选取上做了不同的取舍与改 进。 现在相对较成熟的技术就是利用激光雷达采集智能车前方障碍物的距离结合视觉系 统拍摄的图像信息,进行周围环境的三维重构从而检测出障碍物的具体信息。 1.3.2 本文障碍物检测 技术的选取 采用车载高清相机进行环境和障碍物检测是一种很有发展 前景的方法。 利用相机采 集道路障碍物环境图片, 根据障碍物在图像中的位置以及相机标定的参数值算出障碍物 的具体位置。 利用视觉传感器 对障碍物的识别与检测 其系统的鲁棒性与实时性 相比于其 他方案有着较大的优势 , 但是视觉系统容易受到光线等外界因素的影响 。 基于激光扫描 雷达的障碍物检测技术由于光线以及外部环境的 因素对激光扫描雷达来说影响很小 , 因 8 长安大学硕士论文 此很早就应用 于无人驾驶智能车的研究中。激光雷达有 二维激光雷达和三维激光雷达 , 虽然三维激光扫描雷达在扫描成像时能得到障碍物的三维信息但是其价格 比较昂贵。 与 三维激光扫描相比而言二维激光扫描雷 达的扫描是一个平面 , 结构相对比较 简单, 系统 稳定反应时间快等 优点 。 基于超声波的检测技术只能获得有限的 环境信息, 无法提供很 全面的边界数据 同时分辨率和精度 也比较低, 因此在无人驾驶智能车方面的使用相对较 少。 单一的传感器在对周围信息的获取时无论是安全性还是整体性都相对较差, 因此基 于多传感器的技术融合是现在智能车辆研究的一个发展趋势。 基于多传感器的技术融合 [18] 能很好的获取目标信息,提取感兴区域最终完成障碍物的检测 。 基于以上因素的综合,在 本课题 的研究中我们 选用车载相机与激光扫描雷达 共同实 现障碍物的识别与检测。 1.4 研究意义 智 能 车 对 于 障 碍 物 的 检 测 研 究 主 要 包 含 了 自 动 化 控 制 识 别 技 术 以 及 多 传 感 器 技 术 的融合等高端领域, 通过对无人驾驶智能车的深入研究和不断探索, 可以为我国民族汽 车 产 业 自 主 创 新和 发 展提 供 有 力 的 技 术支 持 。 另 外 在 国 防 科 技方 面 , “ 迅 速 、 准 确 、 高 效” 的地面自动化作战平台是未来军队 建设的重要力量, 无人车辆 的出现 将能代替人在 一些 危险系数比较高的 环境下完成各种任务, 在 减少人员伤亡、 提高作战效率 等方面具 有重要 战略意义, 也是无人作战系统的重要基础。 在环保方面, 现在智能 车都采用自动 导航技术寻找最近的路线, 这样燃油以及废气的排放都大大减少 了, 有的智能车辆采用 无污染的能源,这对我国建设环保型和节约型社会有很大的帮助。 本文利用激光扫描 雷达与视觉传感器信息融合, 来进行障碍物探测与识别。 对于无 人驾驶智能车的技术提供了一定的理论基础, 在障碍物的识别与检测中提出了 以多传感 器技术的融合算法, 为无人驾驶智能车的研究提供了一种思路, 对 实现无人驾驶智能车 在行驶过程中的安全稳定性 提供了可靠的理论保证 。 1.5 本文主要 工作与 安 排 本文主要围绕无人驾驶智能车的激光扫描雷达与 相机开展的, 首先分析了国内外关 于智能车中障碍物检测的技术现状, 在他们的研究基础上我们利用激光扫描雷 达与车载 9 第一章 绪论 相机对无人驾驶智能车在行驶过程中所可能遇到的障碍物进行了检测与识别。 提出了一 种以激光扫描雷达和车载高清相机为主要的数据采集传感器 检测方法, 并从理论上分析 了具体 的检测技术。 本文的主要研究内容和 总体安排如下: 第一章首先介绍了本课题 的研究背景和意义以及 关于无人驾驶智能车 的研究情况。 阐述了 关于无人驾驶车障碍物识别的国内外研究情况和发展动态 , 分析了无人驾驶智能 车的 识别障碍物的技术, 同时也提出了本文所选取的技术与算法, 最后给出 本论文的总 体概况。 第二章介绍了本课题所用到的无人驾驶智能车系统平台 以及主要组成 部分。 另外也 介绍了对本平台的改装方案与具体实施策略。 根据无人驾驶智能车的障碍物识别要求选 择了所需要的传感器类型,并分析了各传感器在障碍物识别中的作用。 第三章介绍无人驾驶智能车的障碍物检测的相关理论知识, 以及相机模型的建立和 本文 所标定的一些参数。 在本系统中障碍物检测 所使用的理论知识, 主 要 分析了对激光 雷 达 采 集 数 据 信 息 的 处 理 和 相 机 采 集 图 像 的 处 理 。 以 及 在 处 理 信 息 中 所 采 用 的 各 种 方 法,根据各种方法的优缺点本文中对算法 进行了 创新与改变。 第四章介绍了无人驾驶智能车的障碍物检测具体实施方法 , 主要介绍了雷达和视觉 传感器的障碍 物识别算法。 同时给出了多传感器信息融合技术的 算法, 在本文中主要对 激光 雷达与相机在采集数据中的时间与空间上进行了 匹配处理方法, 这样有利于障碍物 的实时检测,也提高了识别检测的准确性。 最后一部分对全文 进行了总结。 1.6 本章小结 无人驾驶智能车对于障碍物的检测是智能车辆研究的关键问题, 尽管目前很多技术 性的 问题还没有攻克,但 它是引领未来智能汽车技术发展的一个 方向。 无人驾驶智能车 辆是一个多学科多技术多领域共同综合发展创新的产物 , 它涉及到计算机 控制技术、 多 传感器技术、 图像处理算法、 智能控制以及自动化技术等 多个领域的知识 融合。 另一方 面障碍物的 检测与识别 是无人驾驶智能车实现其功能的重要环节之一, 其检测数据结果 直接影响着无人驾驶智能车辆的安全性、 可靠性、 稳定性。 因此在无人驾驶智能车的障 10 长安大学硕士论文 碍物检测中国内外对于这方面的研究都非常重视, 本文对于障碍物的检测也提出了新的 观点与 算法。 11 第二章 无人驾驶智能车的系 统组成 第 二章 无 人驾驶 智能车的 系统组 成 为了实现无人智能车辆的自主驾驶功能, 需要 搭建完善的硬件平台 体系。 硬件系统 平台主要包括无人驾驶 智能车车体、 环境感知及采集系统和计算机控制单元。 在无人驾 [19] 驶智能车车体 中包括智能 车车体的改装, 传感器的安装等 ; 在环境 感知 系统中包括 一 个车载 高清相机,一个激光扫描雷达,一个 GPS 导航定位系统,两 个车速编码器 ;计 算机控制单元主要包括车载工控机与单片机等。 2.1 无人驾驶 智能车 车 体 本课题中采用了广州丰田汽车公司生产的雅力士轿车作为实验平台。 雅力士车的详 细技术 参数如表 2.1 所示: 表 2.1 雅力士轿车技术参 数 发动机 4ZR-SP28 尺寸mm 长 3945 宽 1695 高 1545 轴距mm 2460 前轮距mm 1460 后轮距mm 1460 最大马力ps 118 最大功率kw 87 最大扭矩n*m 150 离地间隙mm 150 转弯半径m 4.7 雅力士是丰田公司一款重要的两厢紧凑小型车, 根据智能车的功能要求, 选择雅力 士汽车较为合适。 因为它 的车体小巧、 转向灵活等特点, 适合方便安装传感 器设备; 另 外还具有较好的通过功能, 适合在 各种道路环境 下行驶; 另外该轿车还有 具有价格便宜、 性价比高 、 安全 可靠、 减震效果好等特点。 因此该车被选为我们无人驾驶智能车的实验 平台 。 2.2 车体的改 装 根据本课题中智能车功能的要求,需要安装一些传感器如: 车载相机 、激光雷达、 GPS 、 车速编码器等。 我们对 雅力士轿车的车顶、 前端以及后排座椅进行了改造。 将车 体进行 改造主要是为了 实现如下任务: 1 转向的自动控制,油门的自动控制,制动的自动控制; 2 无人驾驶智能车 的控制中计算机系统的安装; 12 长安大学硕士论文 3 多种传感器如车载相机 、激光雷达、GPS 、车速编码器等安装。 2.3 无人驾驶 智能 车 的 任务与要 求 2.3.1 智能车的整体系统 根据每年的 “中国智能车未来挑战赛” 要求无人驾驶智能车 要实现在 实际的城市道 路环境中 无人自主驾驶的功能, 同时要对道路环境中可能出现的车辆以及行人在不对智 能车人为干预的情况下进行避让 。 无人驾驶智能车行驶在城市道路中主要是验 证智能车 的控制算法的精确性, 为了进一步的将无人驾驶车推向市场化作前期的试验准备。 因为 城市道路与实验室的影响因素还是有很大差别的, 城市道路环境就是指城市中机动车辆 可通行的及其 存在影响车辆 在行驶过程中的周围 外界环境因素。 城市道路的主要特点是 路况比较复杂, 影响 车辆自主行驶 的客观因素 比较多。 因此, 周围的道路、 车辆、 行人、 以 及 信 号 灯 、 交 通 标 志 等 道 路 基 础 设 施 都 是 无 人 驾 驶 智 能 车 在行驶 过 程 中 所检测的 目 标。 无人智能车整体系统 主要由外部环境感知 、 运动 控制和规划决策三 个部分组成, 如 图 2.1 所示。外部环境 感知 部分又有环境感知、车 速采集、定位导航三个不同的模块构 成, 环境感知模块就是采集外部环境的主要传感器如: 激光雷达与车载相机等; 车速采 集就是根据安装的车速编码器来实时的获取当前运行的速度, 以便使智能车 能很好的对 当前车速进行控制;定位导航模块就是利用 GPS 系统经过分析解算 得到智能车 辆 当前 的地理位置与时间。 环境感知部分主要是采集周围环境的数据信息传送到计算机控制单 元, 为实现对数据的分析 与处理作准备。 图 2.1 无人车整体 系统框 架示意图 运动控制主要包括对智能车的转向、 油门、 制动等方面的控 制, 当 环境感知部分 的 传感器 获得了智能车运行时前方的 道路环境信息后, 控制系统就通过对这些信息的处理 分析来规划和控制车辆的 运行状态, 因此控制部分 在无人驾驶智能车中 也可以说是相当 13 第二章 无人驾驶智能车的系 统组成 于 人 的 “ 大 脑 ” , 是 整个 智 能 车 系 统 的 枢纽 。控 制 部 分 根 据 环境 感 知对 道 路 情 况 的 采 集 数据进行处理, 从而 发 出控制指令使智能车能完成规定的任务。 规划决策部分就是根据 控制部分的数据处理而对智能车的路径做出合理的规划 , 无人驾驶智能车 通过雷达以及 车载相机 检测到影响智能车行驶的 障碍物后,会 向控制部分发送制动减速或转向 命令, [20] 使智能车安全可靠的绕过障碍物或 对智能车进行 制动控制 。 2.3.2 控制系统的任务 由智能车系统的整体架构可以看出, 控制 部分是整个智能车系统的 关键部分, 其负 责智能车在任何时候任何环境下 行驶过程中的控制任务。 城市道路环境要比实验室 条件 下的环境复杂得多 , 智能车的控制要求和目标任务 根据道路环境的不同而不同 。 获得比 较理想 的控制效果, 使智能车能在不同 的道路 条件下都能可靠稳定的运行, 能够实时地 感知其所处的道路周围环境, 并且根据不同道路环境对控制方法控制参数进行相应的修 改, 从而保证智能车安全、 可靠、 稳定的运行, 是无人 驾驶智能车研究所面临的主要技 [21] 术问题 。 控制系统作为智能车的“大脑” 需完成的 任务有: 1 当智能车在行驶过程 中遇到其他车辆或行人等障碍物时要实现对其避让, 保证无 人车的安全行驶; 2 当感知部分的传感器 采集到前方的信号灯信息时,要做出正确的判断; 3 当无人车需要改变车 速或方向时,要 实现对车辆状态的及时改变。 实时的获取行驶周围的环境信息,由于所有的控制都是基于所采集的数据信息的, 故获取稳定的、 实时的道路环境感知信息是首要 解决问题, 同时要保证信息获取的准确 性和流畅性,这是为后续控制做必要的准备工作。 另外为了使无人智能车能稳定、 安全的连续行驶 , 这就要求无人智能车必须具备对 于障碍物的检测识别能力,并能使智能车在行驶中保持良好的稳定性。 2.3.3 控制系统的要求设计 由本课题的系统设计方案可知, 障碍物检测与识别的 目的就是为了能够 使控制系统 良好 的工作, 同时控制系统又为障碍物的检测与识别提供了反馈信息 。 因此无人驾驶智 [22] 能车的 控制系统需要满足的 功能要求有 : 1、智能车行驶状态 的获取 无人驾驶对于控制系统来说是一个 闭合系统, 因此必须要 及时得到 智能车辆的回馈 14 长安大学硕士论文 信息 , 比如智能车辆行驶 时的当前车速、 前轮转角、 当前地理位置等, 这些信息的及时 反馈对于系统来说能很好 实现对车辆状况控制, 另外它对车辆的定位导航 与障碍物识别 提供必要 参考信息等。 2、前轮的自动对中 无人驾驶车需要对转向 有非常精准的控制, 精确度直接决定了无人驾驶 车的运行效 果,要 得到精确的转向首先要找好 转向中 0 度这个基准,也就是前轮转角的中间位置。 前车轮的自动对中是能实现精准 控制转向的前提 条件, 所以要根据实验找到这个 0 度点。 3、控制智能车的运行 智能车的运行主要包括车辆的前进 、 车辆的紧急制动 、 当前车速等。 这些状态或者 参数的控制是无人驾驶智能车 的控制中最重要 部分。 所以要求控制系统必须对这些数据 的控制做到准确与 实时 。 2.4 环境感知 系统 无人驾驶智能车要 行驶在未知的道路环境中 , 这就需要智能车具有未知 环境的自适 应能力, 自适应环境的能力也就是 智能车必须实时 准确的感知外部道路 环境。 无人智能 车通过系统平台的各种传感器获取外部环境数据信息, 建立系统 本身可以处理的外部环 [23] 境模型 。 根据建立的 模型做出相应的控制指令, 以便 智能车能比较稳定可靠的自动行 驶。本智能车平台上安装的传感器主要有:激光 扫描雷达、GPS 定位系统、车载相机、 车速编码器等。 本文的研究工作主要是围绕激光 扫描雷达和车载相机对障碍物的检测 展 开的,所以下面将详细介绍两传感器的工作原 理及控制算法。 2.4.1 激光扫描雷达 由于我们选择的激光雷达在获取外界信息的时候是基于一个平面扫描的 , 因此激光 雷达的安装位置 将会对 对障碍物位置的识别效果 有很大的影响。 如