电脑硬件论文计算机硬件知识论文：基于FPGA高分辨率图像处理硬件设计

电脑硬件论文计算机硬件知识论文：基于FPGA高分辨率图像处理硬件 电脑硬件论文计算机硬件知识论文: 基于FPGA高分辨率图像处理硬件设计 摘 要: 嵌入式高分辨率图像处理系统以FPGA作为核心处理器 件，根据系统的要求在片外设计了LVDS接口的高分辨率 相机图像采集电路、LVDS接口的平板液晶驱动电路。基 于SDRAM和SRAM两种片外存储器设计了系统的图像 缓存部分，缓存框架采用乒乓缓存的形式，两组缓存交替 存储图像。此外还设计了触摸屏、SD卡、相机控制等接 口。 关键词: FPGA;高分辨率相机;乒乓缓存;LVDS 高分辨率图像处理系统总体上是由高分辨率图像传感器、图像采集部分、图像处理部分和图像显示等部分组成。高分辨率的图像中能获得更多的图像信息，为后续的处理和提供了更多有用的信息，已经在工业中的定位和、非接触测量、模式识别、科学图像和医疗影像等众多领域得到广泛应用。传统的方式是采用计算机配合图像采集卡的实现图像的采集和处理，这种方式的缺点是实时性不好，体积大，难以适应多种对体积和实时性有要求的场合。所以采用嵌入式处理器取代计算机实现高分辨率图像的采集、处理和显示有一定的现实意义。可编程片上系统(SOPC)是一种新兴的嵌入式技术，是基于大规模FPGA的单芯片系统，它将嵌入式处理器内核、小容量片内 高速RAM资源、丰富的IP Core资源、足够的片上可编程逻辑资源融合到一个芯片中。采用FPGA作为系统的核心器件，Nios II软核作为嵌入式处理器，实现图像的采集、预处理算法、图像显示，具有设计灵活、可裁减、可扩充、可升级的特点，而且FPGA内部可以真正 [1]实现算法的并行处理，提高系统的实时性。 1 高分辨率图像处理系统总体设计 本系统由高分辨率相机、嵌入式图像处理板和LCD显示器组成，系统组成示意图如图1。 1.1 图像采集传感器 本系统采用IMPERX公司的IPX-4M15-LC型高分辨率数字相机，相机最大分辨率为2048×2048，帧速率为15fps，以Camera Link协议接口传输图像数据和相机控制命令。 1.2 嵌入式图像处理板 本系统中采用FPGA作为系统核心芯片，可以发挥FPGA设计灵活、I/O接口丰富和支持片上可编程系统(SOPC)的优势。 1.3 显示设备，本系统选择NEC公司的NL8060BC液晶平板显 示器，LVDS接口，分辨率为800×600，刷新频率为60Hz，支持24位真彩显示。 1) 人机交互接口:采用四线电阻式触摸屏，分辨率2048*2048，RS232串口通讯。 2 嵌入式处理板硬件总体设计 嵌入式高分辨率图像处理板要实现的功能: 高分辨率图像采集:根据相机的通讯协议将图像数据读取到图像缓存中。高分辨率图像处理:实现一些图像处理算法，其中预处理图像包括降噪处理、色彩变换、边缘锐化，高级处理包括目标识别、跟踪等算法。高分辨率图像显示:包括原始图像显示、彩色图像显示和局部放大显示，目标跟踪显示等。高分辨率图像存储:以BMP保存图像到非易失存储器中，用于后续的图像分析和处理。 硬件组成框图如图2所示。 核心处理器件采用采用Altera公司的Cy,clone II系列FPGA EP2C35F672C8，具有33，216个逻辑单元(LE)，具有105个M4K的RAM，共组成483，840bit可用RAM，可达到250MHz的性能， [2]具有475个用户I/O口，满足系统设计需要的资源。 外围存储器包括用于图像缓存的SRAM和SDRAM，用于基于Nios II处理器C语言代码存储和菜单字库存储的Flash、用于存储FPGA配置信息的Flash，用于图像保存的SD卡，以下重点分析下图 [3]像缓存部分的体系结构和芯片选型。 3 图像缓存设计 图像缓存的存储器SRAM和SDRAM都设计为可进行乒乓操作的体系，乒乓缓存体系示意图如图3所示。 通过“输入图像数据流选择单元”和“输出图像数据流选择单元”按节拍、相互配合的切换，将经过缓冲的数据流没有停顿地送到“图像处理模块”进行运算与处理。把乒乓操作模块当做一个整体，站在这个模块的两端看数据，输入数据流和输出数据流都是连续不断的，没有任何停顿不会丢失数据。而且这样的体系位图像处理模块完成复杂的算法提供了更加充裕的图像处理时间。 SRAM采用ISS公司的IS61WV102416作为原始黑白图像的缓存。从存储空间上考虑，单片容量为1024K×16=2MB，由于所采用的高分辨率相机单帧图像所占用存储空间为4MB，所以为满足缓存一帧图像设计要求，就需要两片SRAM进行存储器位扩展，扩展为 1024K×32=4MB。由于采用了乒乓缓存体系，系统最终用到4片IS61WV102416作为原始图像缓存。从存储器访问时间上考虑，高分辨率数字相机的数据时钟为40M，采用双通道模式，每个时钟上升沿需要存储2个字节数据，即25ns存储2个字节。该型号SRAM的访问时间为10ns，完全满足存储速度要求。 SDRAM采用Hynix公司的HY57V283220-H用于通过图像算法处理图像的缓存。从存储空间上考虑，单片容量4Banks×1M×32Bit=16M，-H型号时钟频率最大133M。SDRAM用于色彩变换后图像的缓存，4MB的灰度图像经过色彩变换成为RGB的彩色图像，大小为12MB，容量满足需求。由于采用乒乓缓存体系，最终需要2片SDRAM。 4 图像采集接口设计 高分辨率数字相机IPX-4M15-LC使用Camera Link协议标准传输图像。Camera Link标准是由国家半导体实验室(National Semicon ,ductor)提出的一种Channel Link技术标准发展而来的，该接口具有开放式的接口协议，使得不同厂家既能保持产品的差异性，又能相兼容。它在传统LVDS传输数据的基础上又加载了并转串发送器和串转并接收器，Camera Link标准使用每条链路需两根导线的LVDS传输技术，Camera Link发送接收示意图如图4所示。驱动器接收28个单端数据信号和1个时钟信号，这些信号以7:1的比例被串行发送，也就是5对LVDS信号通道上分别传输4组LVDS数据流和1组LVDS [4]时钟信号，即完成28位数据的同步传输只需5对线。 图像通过相机内部处理转化为告诉串行LVDS信号，由Camera Link接口MDR26将图像传输出去，图像数据经过传输最终由MDR26接口将信号输入到嵌入式高分辨率图像处理板。本设计采用国家半导体公司的DS90CR288A作为Camera Link协议的解码芯片，将串行LVDS信号解码为并行LVTTL信号，最终连接到FPGA具有LVTTL属性的I/O口上，图像采集接口示意图如图5所示。在电路板设计中，应注意差分走线等长、平行、结成对偶等原则，这样会使信号的高频 [5]Ω的匹配电阻特性达到最好，还有在靠近接收器端口加入100。 5 图像显示接口及其他接口设计 NL8060BC液晶平板显示器是采用高速串行LVDS接口标准，所以FPGA输出的并行LVTTL信号要经过一个编码过程和一个电平转化过程。本设计采用国家半导体公司的DS90CR385A来实现此功能。 FPGA需要传输驱动液晶显示器的40M时钟信号CLK，数据使能信号DE，分别表示红色、绿色和蓝色色彩分量的R[7.0]、G[7.0]、B[7.0]。图像显示接口示意图如图6所示。 相机控制接口:高分辨率相机有两路LVDS电平标准的、用于设置相机和返回相机状态的全双工异步串口，波特率9600bit/s。这里选择国家半导体公司的DS90LV301A作为串口发送端电平转换芯片，实现FPGA与相机的通讯。 触摸屏控制接口:触摸屏接口外接触摸屏控制器，控制器将当前被触摸点的位置数据通过RS232异步串口向FPGA发送。设计中选择MAX3232作为RS232电平到LVTTL电平的转换芯片。 SD卡接口:SD卡无需特殊驱动芯片，只需将信号线直接连接到FPGA管脚上，再附加简单的阻容电路即可。SD卡的驱动在FPGA内部实现。 6 结论 基于FPGA的嵌入式高分辨率处理系统，以FPGA为核心进行设计的好处是可以根据系统要求，在外围硬件电路不改变的前提下，对 FPGA内部配置和基于Nios II的代码做相应的调整软硬件协同设计，这样的系统有具有良好的可升级性和可扩展性。FPGA内部硬件部分采用SOPC技术，将Nios II处理器、图像采集IP核图像显示IP核与其他外设集成在基于Avalon总线的片上系统中，再结合软件最终实现了具有高分辨率图像的采集、算法处理、存储和显示功能的并且集 [6]成度很高的嵌入式图像系统。本系统的实现使得高分辨率视觉系统可以脱离笨重的计算机，装载到对体积有要求的场合，比如移动机器人、车辆等。 参考文献 [1] 赵有金.基于FPGA的高分辨率全景图像处理平台的设计与实现[D].哈尔滨:哈尔滨工程大学，2009 [2] Altera corporation.Cyclone II Device familydata sheet[EB/OL]. www. altera . com，2006.4. [3] 梁海军，赵健.基于Nios II的高分辨率图像采集系统设计[J].中国测试技术，2008，34(5):61,65. [4] 杨坤明.现代高速串行通信接口技术与应用[M].北京:电子工业出版社，2010. [5] Imperx corporation.LYNX Hardware 2006.3. User'sManual[EB/OL].www. imperx.com， [6] 夏宇闻.Verilog SOPC高级实验教程[M].北京:北京航空航天大学出版社，2009.