数字式CMOS摄像头MT9M011的应用

数字式CMOS摄像头MT9M011的应用 数字式 CMOS 摄像头在智能车中的应用 类别:传感与控制 阅读:889摘要:介绍数字式 CMOS 摄像头 MT9M011 的工作方式;提出 MT9M011 在基于 HCSl2 单片机的智能车控制系统中的应用方案，针对采集图像时遇到的问给出了相应的解决;数字式 CMOS 摄像头相对于模拟摄像头的优势和不足。 引言 飞思卡尔智能车比赛已经成功举办 4 届，以摄像头为主要传感器的参赛队伍大多数选用了模拟 CCD 或模拟 CMOS 摄像头。本文介绍了数字式 CMOS 摄像头MT9M011 的性能特点和工作方式，给出了 MT9M011 在基于 HCSl2 单片机的智能车控制系统中的应用方案，并分析了数字摄像头的优势和不足。 1 CMOS 图像传感器的特点CMOS 图像传感器可通过 CMOS 技术将像素阵列与外围支持电路如图像传感器核心、单一时钟、所有的时序逻辑、可编程功能和 A,D 转换器集成在同一块芯片上。与 CCD电容耦合器件图像传感器相比，CMOS 图像传感器将整个图像系统集成在一块芯片上，具有体积小、重量轻、功耗低、编程方便、易于控制等优点;同时，可通过 I2C、SPI 等接口配置其曝光时间、增益控制等功能，可控性强。因此，CMOS 图像传感器的应用已经变得越来越广泛。 2 MT9M011 的性能特点与工作方式 2(1 MT9M011 的基本参数MT9M011 是一款:Mieron 公司推出的 RGB 三基色的 130 万像素数字式 CMOS 摄像头，具有可编程控制及数字信号输出等功能。其输出为 Bayer 彩色格式， 6 图像尺寸为 4( mm×3(7mm，像素尺寸为 3(6 μm×3(6 μm，最大分辨率为 1 280×1 024，支持的最高时钟频率为 A,D 转换精度 25MHz; 最大信噪比为 44 dB，在最高分辨率模式下功耗为 129 mW。 为 10 位， MT9M011 输出为逐行扫描的数字信号，通过内嵌的 10 位 ADC 将模拟视频信号采样量化后同步输出 10 位数据流。同时，MT9M011 还提供像素时钟PIXCLK、行有效信号LVAL、帧有效信号FVAL，以及配置 MT9M011 所需的 I2C 引脚 SCLK 和 SDAT。2(2 MT9M011 的编程功能 MT9M011 有 25 个寄存器，涉及摄像头的各个方面，通过与 I2C 兼容的串行总线时序读写。结合智能车竞赛应用重点介绍以下寄存器: ?行起始寄存器Ox01和列起始寄存器Ox02。这两个寄存器决定输出图像的起始点坐标。利用这两个寄存器可以软件调节摄像头采集到的图像整体位置。 ?行宽度寄存器0x03和列宽度寄存器Ox04。MT9M011 的一大特色就是输出数据的图像大小可以任意调整。通过这两个寄存器可以针对当前的应用环境即赛道设置合适的图像范围。 ?曝光时间寄存器Ox09。该寄存器的值决定了摄像头采集一帧图像时感光元器件的感光时间。通过调整该寄存器值的大小可以直接调整图像的成像质量。 ?数据读取模式寄存器Ox20。该寄存器可以使输出的行数据和列数据减少至 1,2 或者 1,4，也可以使输出的图像镜面对称。 ?增益设置寄存器。它又包含 Greenl 分量增益设置寄存器Ox2B、Blue 分量增益设置寄存器Ox2C、Red 分量增益设置寄存器Ox2D、Green2 分量增益设置寄存器Ox2E和全局增益设置寄存器Ox2F5 个寄存器。由于 RGB 分量对同一光源表现出不同的数值，因此需要针对不同的光源情况分别调整前 4 个寄存器的值，而这也是这款摄像头最大的缺点。 2( MT9M011 的数字图像输出 3 2( 1 Bayer 彩色格式输出 3( MT9M011的输出为 Bayer 彩色格式Bayer color pattern。这种输出格式直接将滤波阵列上每一个像素点对应的保留基色模拟电平值，通过 A,D 转换后按时序先后输出。 1 展示了这种输出格 图式对应的局部像素点阵。其中，黑色像素点为输出有效数据的第一个点。 2(3(2 MT9M011 的输出信号时序 像素数据输出时序和帧与行有效信 号时序分别如图 2 和图 3 所示。像素时钟与主时钟同频，在一帧图像开始输出时帧有效信号由低电平变为高电平，一帧输出结束时由高电平变为低电平;而行有效信号则在一行数据输出有效时由低电平变为高电平，一行数据输出完成后由高电平变为低电平。根据 MT9M0ll 的输出信号时序就能正确地采集整帧图像。图 3 中，P 为帧消隐区，A 为有效数据区，Q 为行消隐区。 3 MT9M011 在智能车控制系统中的应用 3(1 硬件设计 MT9M011 的电平是 3(3 V，而 HCSl2 单片机系统的 I,O 电平是 5 V，因此需要通过电平转换芯片将摄像头输出数据的电平提升到 5V。结合 MT9M011 的输出信号时序关系和 HCSl2 单片机的特点，本文利用 HCSl2 的 ECT 模块提取 MT9M011 的帧有效信号的上升沿，采用 ECT 模块对应引脚的普通 I,O 口功能采集行有效信号的上升沿。MT9M011 的数据输出信号有 10 位，鉴于赛道环境相对简单，只截取高 8 位作为摄像头信号输出，既可以保证图像分辨率，又可节省 HCSl2 的存储空间。HCSl2 单片机本身带有一个的 I2C 模块，直接使用这个模块与 MT9M011 的 SCLK 和 SDAT 相接。 3(2 软件设 (2(1 HCSl2 单片机 I2C模块配置 HCSl2 单片机提供标准的 I2C 模块，SCLK 计 3 引脚能产生多种时钟频率，支持主从模式，设有多种标志位以供查询。初始化 I2C 模块时需要完成以下工作: ?设置IBFD 寄存器，使产生的 SCLK 信号能够对 MT9M011 进行正常的配置; ?设置 IBEN寄存器位，使能 I2C 模块; ?设置 IBCR，确定 I2C 模块的主、从模式，收、发模式以及是否使能中断功能等。 3(2(2 I,O 口MT9M011 图像数据采集 受限于单片机时钟的约束关系，HCSl2 的通用无法检测摄像头像素时钟信号跳变，本文采取以固定周期采集一行数据的方法。因此，采集像素数据的关键是准确地采集帧有效信号的上升沿和行有效信号的上升沿。选用的方案是:使用 HCSl2 单片机的 ECT 模块采集帧有效信号的上升沿，使用 ECT 模块普通端口模式采集行有效信号的上升沿。 采集对象要求纵、横分辨率都不能过低，而 HCSl2 内部存储空间有限，无法为高分辨率提供有利支持。针对这一矛盾，利用一个像素 与其周围点的值的关联性，以及摄像头所具有的隔行和隔列输出功能进行跳采集。确定了 1 280x 480 的分辨率和行列均跳 4行采集的模式， 同时软件上再进行一次隔行采集，最终可得 80×604 800 个像素数据。采集数据的流程如图 4 所示。 3(2(3 采集图像时遇到的问题及解决方法 1摄像头晶振的选择MT9M011 晶振的选择是一个很重要的问题，如果一帧图像的时间超过 20 ms，就无法体现它的主要优势。同时，也要考虑到 HCSl2 单片机的限制，HCSl2 的总线频率最大可达到 32MHz，而在此条件下如果 MT9M011 的晶振选取过大，则每一行采集到的点数过少。 通过式1可计算出 MT9M011 输出一帧图像所需的时间: 式中:ColNumHBlanking 和 RowNumVBlanking 分别表示包含空白数据的总列数和总行数;fcamera 表示摄像头晶振频率，在一帧图像大小已经确定的情况下，该值越大则一帧时间越短。 通过式2可计算出单片机一行采集像素点的个数: 式中:RowPixNum 表示一行能采集到的数据;ColNum 表示每一行中输出的像素数据个数;Tcamera 是摄像头晶振，fcamera 的倒数;Cycle 表示一个采集周期使用的机器周期数，在整个采集过程中固定不变的;fbus 表示单片机的总线周期。从式2可知，在 fbus一定的情况下，camera 越小，则一行采集到的数据就越少，这样不利于数据分析。 综合考虑，最终确定使用 8 MHz 的晶振作为 MT9M011 的时钟，而采用 16 MHz晶振作为 HCSl2 的时钟，单行采集 80 个点，可满足路径识别的 需要。 2摄像头曝光时间和增益的设置问题 MT9M011 是一款 RGB 三基色的彩色摄像头，采集到的数据为 Bayer 彩色格式。由于提取的是赛道上的黑线信息，图像环境相对简单，因此这里直接将每一个分量的值作为该点像素的灰度值处理。 如图 5a所示，在使用默认曝光时间和增益时采集得到的图像有明显的隔行噪声效应，而且在一行间也有明显的干扰噪声存在。这是因为同一光源对于 RGB 三种分量所体现出的数值不同，直接将其当作灰度值处理会产生恢复的图像不均匀、噪声大的现象。解决办法是通过多次 实践调整摄像头的曝光时间和 RGB 每个分量的增益值，使 3 个分量在同一光源下反应出的数值基本一致。经过调整后得到的图像如图 5b所示。 4 数字式 CMOS 摄像头与模拟摄像头比较 数字式 CMOS 摄像头 MT9M011最大的优势在于节约时间。选用合适的晶振及图像大小能将整个小车控制周期限制在 20ms左右。笔者曾经做过实验，选用 20MHz 的晶振作为摄像头时钟，将单片机倍频到 32 MHz。在这种条件下，一个控制周期的反应时间甚至能缩短到 4ms 左右，与模拟摄像头的 40 ms一帧图像相比有明显的优势。MT9M011 的另一个优势是图像大小可以任意设置，因此笔者可以软件调整图像的大小和视野的高度，且 MT9M011 与单片机接口简单，很大程度上减轻了硬件负担。 MT9M011 在智能车比赛应用中也具有一些缺点。它不能自动适应各种光源，需要人工进行调整;同时，它的动态特性不如 CCD 摄像头好，这点可以通过提高摄像头晶振时钟来缩短采集周期解决。 结语 本文介绍了数字式 CMOS 摄像头 MT9MOll 在基于 HCSl2 单片机的智能车中的应用，并针对数字摄像头与模拟摄像头的各自特点进行了比较。实践表明，选用数字式 CMOS 摄像头作为智能车路径识别传感器是可行的。