高帧频CMOS相机图像采集系统研究

西安工业大学 硕士学位论文 高帧频CMOS相机图像采集系统研究 姓名：杨会伟 申请学位级别：硕士 专业：测试计量技术及仪器 指导教师：侯宏录;王伟 20090420 高帧频CMOS相机图像采集系统研究 学科：测试计量技术及仪器 研究生签字：勘公伟 指导教师签字：／；7；争 摘 要 高帧频图像采集是研究高速瞬态现象发生机理和运动规律的一种直观地测试技术和 手段。以某型号炸点坐标测量经纬仪为应用背景，设计了一种高帧频图像采集系统。 论文介绍了高帧频CMOS图像采集系统的发展现状，根据功能需求把整个采集系统 设分为成像器设计、图像采集卡设计和软件设计三个部分。 成像器设计围绕Cypress公司CMOS图像传感器LUPA．300，设计了该图像传感器的 外围电路；基于FPGA设计了CMOS传感器的时序驱动，实现了CMOS图像传感器的数 字图像输出；根据CMOS传感器内部寄存器各个参数性能指标，通过FPGA与上位机串 行通信完成CMOS相机自动化参数设置，实现了CMOS图像传感器工作状态的可变配置。 图像采集卡设计主要包括CameraLink接口、FPGA控制、PCI总线接口三个功能模 块。CameraLink接口主要负责接收成像器传送的高速图像数据，并将其传输到FPGA内 部；FPGA控制模块主要负责完成对高速图像数据的缓存处理，并为整个图像采集卡提供 控制命令，协调各个功能模块问的工作；PCI总线接口采用专用的接口芯片PCI9054，通 过DMA操作实现了图像数据的高速传输。 针对图像采集卡设计了驱动程序和上层应用程序，实现了图像数据的采集与显示。最 后运用两点校正和一点校币相结合的方法实现图像的非均匀性校正。 该高帧频图像采集系统具有10位数据位宽，在分辨率为640×480的情况下，图像成 像单元可产生最高250帧／秒数字图像数据流，图像采集卡可达到200帧／s的采集速率。 实验表明该高速图像采集系统具有结构简单、性能稳定可靠、实时性强、灵活性好等优点。 关键词：高帧频；CMOS图像传感器；现场可编程逻辑门阵列；PCI总线 AHighFrameFrequencyCMOSImageCaptureSystem Discipline：MeasuringandTestingTechnologiesandInstruments StudentSignature：、7么勺H‘c知∥眵Z supervisorSigⅢu瞅H以 Abstract Hi曲framerateimagecaptureprovidesareliabletestingtechnologyandmethodtostudy themechanismandlawsofhigh-speedphenomena．Ahighframefrequencyimagecapture systemforaexplosionpointcoordinatemeasuringtheodoliteisdesingned． ThedevelopmentsofhighframerateCMOSimagecapturesystemisintroducedinthis thesis．Accordingtothefunctionsofthecapturesystem，thedesignofsystemisdividedinto threeparts：imagedevice，softwareandimagecapturecard． TheperipheralcircuitsoftheLUPA-300CMOSimagesensorisdesignedfortheimage device．TheCMOSsensortiming-drivenbasedontheFPGAisdesigned，whichrealizesthe digitalimageoutputoftheCMOSimagesensors．Inordertorealizethevariablestatus configurationaccordingtovariousparametersoftheinternalregisters，theautomation parametersettingoftheCMOScameraiscompletedthroughtheserialcommunicationbetween FPGAandthecomputer． Thedesignofimagecapturecardismainlydividedintothreefunctionalmodules，Camera Linkinterface，FPGAcontrolandPCIbusinterface．CameraLinkinterfaceismainly responsibleforacceptinghigh—speeddatatransferredbyimagedeviceandsendthedataintothe FPGA；FPGAcontrolmoduleismainlyresponsibleforthecacheofhigh-speedimagedata acquisitionandalsoprovidescontrolcommandsfortheentireframegrabbersinorderto coordinatetheworksbetweeneachmodule；PCIbusinterfacewhichusesaspecialinterface chipPCI9054，realizeshigh—speedtransmissionofimagedatathroughDMAoperations． Finallythedesignofthesystmsoftwareincludesofdriverandapplicationfortheimage acquisitioncard，realizestheimagedatacapturemethordanddisplay，alsopresentsanew nonuniformitycorrectionalgorithmtosolvethenonuniformityfortheCMOSimageofthe camera． Thesystemhas10-bitswidedata，withtheimagingflame250／seeinaformatof640木480； theflamegrabberscanreach200F／srate．Experimentalresultsindicatethatthissystemhas someadvantagesassimplestructure，reliableandsteady，real-timeandflexible． Keywords：Highframerate；CMOSimagesensor；FPGA；PCIBus 学位论文知识产权声明 学位论文知识产权声明 本人完全了解西安工业大学有关保护知识产权的规定，即：研究生在校攻读学位期间 学位论文工作的知识产权属于西安工业大学。本人保证毕业离校后，使用学位论文工作成 果或用学位论文工作成果发表论文时署名单位仍然是西安工业大学。学院有权保留送交的 学位论文复印件，允许学位论文被查阅或借阅；学校可以公布学位论文的全部或部分内容， 可以采用影印、缩印或其他复印手段保留学位论文。 学位论文作者签名：杨丢争 指导教师签名： 红主孚 日期：。刚．i．中·如 69 学位论文独创性声明 学位论文独创性声明 秉承学院严谨的学风与优良的科学道德，本人声明所呈交的学位论文是我个人在导师 指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，学位论文中不含有其他人已发表或撰写过研究成果，不包含本人己申请学位或其他 人己申请学位或其他用途使用过的成果。与本人一同工作的同志对研究所做的任何贡献均 已在论文中作了明确的说明并表示感谢。 学位论文与资料若有不实之处，本人承担一切相关责任。 学位论文作者签名：桶会律 指导教师签名： 勿彳争J 日期：》卯cjt妒·M 70 1绪论 1绪 论 高帧频图像采集系统是研究高速运动物体或瞬变流逝现象的最有效方法之一。它能把 视觉无法分辨的高速过程“冻结”在介质(存储器、磁盘)上，从而提供一系列与之耦 合的空间一时间信息。这样，就把高速过程的发生、发展和运动规律等清晰地展现在人们 的面HU[11。高速图像采集系统在国防领域得到了广泛地应用，特别是在武器鉴定试验中是 不可缺少的。 1．1高帧频图像采集系统概述 1．1．1高帧频图像采集系统的优点 现代高帧频图像采集系统较传统光机式高速摄影机具有以下几方面的优点： 首先使用简单，能实时显示拍摄画面，能够将采集到图像存储起来，不需要购买胶片 和洗胶片用的化学药水，因而省去了以往使用耗材的订货、运输、储存和处理等工作⋯。 其次，高速图像采集系统无复杂精密的光补偿及机械传动机构，属于常压小电流驱动 方式，因而启动快，记录完善，测试成功率高。因为胶片摄影机需要胶片张紧的时间(或 启动时间)才能达到设定的速度，当被测事件不可预测或I'hJ断发生时，电子高速摄像具有 明显优势。因为有些事件无法预测准确的发生时间，事前难以知道何时启动摄影机，另一 方面，电子高速摄像机可以由多种触发方式进行触发，或者系统循环记录采集图像直到有 触发才停式记录【2刮。 高速图像采集系统另一个明显的优点是同步，易实现图像采集系统与拍摄对象、图像 采集系统与图像采集系统间的同步。多个高帧频图像采集系统可以从不同的角度记录事件 的发生过程，图像采集系统可同时触发，或按一定的时序进行触发。关键是当这些图像采 集系统被同时触发时，获得的数据为严格的同一瞬间的信息，如此高精度的同步拍摄在胶 片高速摄影系统中是不可能实现。 高帧频图像采集系统最突出的优点就是能够立即将刚拍摄的图像进行保存回放，方便 工程人员对图像数据进行分析进而判断是否需要进行下一个实验【5】。采用高速图像采集系 统代替高速摄影，大量的实验间隔时问以及实验设备的拆装时|’日J都可以省去。 1．1．2CMOS传感器在高帧频图像采集系统中的应用 自从上世纪60年代木期，美国贝尔实验室提出固念成像器件概念后，固体图像传感 器便得到了迅速发展，成为传感技术中的一个重要分支，它是PC机多媒体不可缺少的外 设，也是监控中的核心器件。互补会属氧化物半导体(CMOS)图像传感器与电荷耦合器 件(CCD)图像传感器的研究几乎是同时起步，但由于受当时工艺水平的限制，CMOS图像 传感器图像质量差、分辨率低、噪声降不下来和光照灵敏度不够，因而没有得到重视和发 两安T业人学硕十学位论文 展。而CCD图像传感器因为有光照灵敏度高、噪音低、像素小等优点一直主宰着图像传 感器市场。随着集成电路设计技术和工艺水平的提高，CMOS图像传感器过去存在的缺 点，现在都可以找到办法克服，而且它固有的优点更是CCD器件所无法比拟的，因而它 再次成为研究的热剧61。 根据像素的不同结构，CMOS图像传感器可以分为无源像素被动式传感器(PPS)和有 源像素主动式传感器(APS)。根据光生电荷的不同产生方式APS又分为光敏二极管型、 光栅型和对数响应型，现在又提出了DPS(digitalpixelsensor)的概念。相比CCD图像传 感器，CMOS图像传感器有着诸多的优点【7】：首先，由于CMOS图像传感器自身结构具 有高度系统整合的条件，因而具有集成度高、体积小、重量轻、功耗低、兼容性好的特点； 其次，CCD图像传感器制造需要特殊工艺，使用专用生产流程，成本高，而CMOS图像 传感器使用与制造半导体器件的技术和工艺90％基本相同，且成品率高，制造成本低； 再次，CCD图像传感器使用电荷移位寄存器，当寄存器溢出时就会向相邻的像素泄漏电 荷，导致亮光弥散，在图像上产生不需要的条纹，而在CMOS(APS)图像传感器中光探测 部件和输出放大器都是每个像素的一部分，积分电荷在像素内就被转为电压信号，通过 X．Y输出线输出，这种行列编址方式使窗口操作成为可能，可以进行在片平移、旋转和 缩放，增加了工作的灵活性，没有拖影、光晕等假信号，图像质量高。CMOS图像传感 器最大的特点就是其高速性，光电转换后直接将图像半导体产生的电子转变成电压信号， 不需要复杂的处理过程，信号读取十分简单，这个优点使得CMOS图像传感器对于高速 摄像机非常有用，在不同的分辨率下帧频可从数百帧至上万帧每秒。鉴于这个原因，在本 系统设计中，采用了CMOS图像传感器作为整个高速图像采集系统的感光器件。 1．1．3高帧频图像采集系统的发展 早期的高速摄影技术在信息论中是这样定义的：对于一个人眼无法跟随的高速流逝过 程，高速摄影提供了一种耦合的时空信息系列，其中空间信息用图像来表达，时间信息用 拍摄频率来表达【81。20世纪80年代中期以前，如果人们想“看清”高速运动目标的图像， 获得运动的参数，最有效的技术手段是用高速摄影机来加以记录。世界各国发展的各种各 类高速摄影机解决了当时急需的测试需求，如原子弹、氢弹的爆炸，火箭、导弹等飞行弹 丸的测量，各种军工目标以及工业、农业、生物医药工程、体育等各个领域的目标测量， 推动了生产力的发展。随着技术的进步，军工研究对测量实时性要求越来越高，高速摄影 实时性差的缺点越来越显现出来。美国海军在做舰艇发射火箭的试验时，急于想立即看到 飞行火箭的姿态照片，高速摄影难于满足这一要求，因为胶片要冲洗，要判读，至少要几 个小时【9。01。而高速摄像由于采用录像带、硬盘和其他光磁装置作为记录介质，提高了实 时性，可做到即拍即放，能够满足这一要求。高帧频图像采集系统也正属于高速摄像这一 范畴。 高帧频图像采集技术已经经过了几代发展，其核心技术是基于关键性的图像传感器的 不断发展而进步的，从最早期的硅靶型真空管摄像机FPS(聚焦投影和扫描)摄像机到 2 1绪论 CCD(电荷耦合装置)、PDA(光敏二极管阵列)摄像机，帧频率由50帧／秒，100帧／秒， 300帧／秒到1000帧／秒，也逐步提高。CMOS图像传感器是近年发展起来的新型传感器， 相比于CCD、PDA等固体传感器，其具有单电源工作、单片集成、体积小、重量轻、功 耗低、成本低、编程方便、易于控制、抗光晕和耐辐射等优点。在系统的应用潜力上， CMOS图像传感器适合用于高帧频图像采集系统【111。目Ij{『国外的高帧频CMOS成像系 统很多，下面介绍几种目前典型的高速摄像系统，它们代表了当今高速摄像系统领域的先 进水平和发展方向【12。15】： ①美国Redlake公司M1／M2型便携式高速摄像机，采用高速CMOS图像传感器， M1型在640×512分辨率下帧频可达1000fps，M2型在1280x1024分辨率下帧频可达 500fps，在缩减垂直分辨率至1280×32下可达到16000fps，黑白8bit，彩色24bit，IEEE1394 接口方便连接电脑对相机进行操作和图像文件的快速传输。 ②瑞士Weinberger公司VisarioG2型高速摄像机，采用高速CMOS图像传感器， 1536x1036分辨率下，帧频可达1000fps；1024×768分辨率下，帧频可达2000fps；768×512 分辨率下，帧频可达4000fps，512×192分辨率下，帧频可达10000fps，黑白10bit，彩色 30bit，千兆网络传输接口，可接入网络，通过网络实现控制与图像传输。 ③德国Cooke公司pco．1200型高速摄像机，采用高速CMOS图像传感器， 1280×1024分辨率下，帧频可达636fps；1280×512分辨率下，帧频可达1272fps； 1280×128分辨率下，帧频可达5020fps；1280×16分辨率下，帧频可达40720fps，内置 图像缓存最大至4GB，同时具有IEEE1394接口和cameralink接口。 ④美国NAC图像科技公司Memrecamfx系列高速摄像机，Memrecamfx系列高速摄 像机最大的特点就是内置高速RAM(最大可达16G)，无需接PC机就可以存储长达数分 钟的无压缩高速图像数据(视帧频大小)。仅一K4型在1280×1024分辨率下帧频可达 1000fps，并且能达到IS02400(彩色)和IS07500(单色)的感光度。fX—RX5型可以无需连 接PC机进行高速摄像操作，通过手柄就可以设置不同的拍摄分辨率，并且可以同时连接 多达4台高速摄像机同时拍摄。fx--RX6型不但具备RX5型可脱离PC机独立操作的功 能，而且还支持外部同步控制功能可以将自身作为从属设备，接受来自其它设备的同步控 制。fx--K3R型同样也可以不连接PC机进行独立操作拍摄，并且可以远程遥控控制。 就目前高速摄像系统发展的现况来看，国外品牌的高速摄像系统发展迅速，规格多样， 功能强大，代表着高速摄像领域的顶尖水平，但是设备价格高昂。国内的高速摄像应用领 域市场几乎全部被国外品牌所占有，关键技术也都掌握在国外技术厂商手中，国内从事这 方面研究的技术厂商屈指可数，产品性能参数与国外产品相比也存在一定差距。所以很有 必要自行研制低成本的高速图像采集系统，这也是本文研究的主要目的，研究并设计一套 基于CMOS图像传感器的高帧频图像采集系统，掌握丌发方法，积累一定的经验和数据 【16】。 3 两安1：业人学硕十学位论文 1．2课来源及研究意义 本课题来源是在研某型号炸点坐标测量经纬仪。炸点测量经纬仪特点是测量视场大， 对应的拍摄区域要求很大，主要应付目标随机性；炸点爆炸是瞬间的，要求拍摄帧频高， 实时记录性强【17】。由于目前CCD图像传感器在大分辨率和高帧频技术指标性能上无法克 服技术难题，所以市面上很难有高帧频大面阵CCD相机。在工业、军事、航天等领域， 需要有性能指标较高，成本较低，集成度高，应用方便的图像采集系统。CMOS图像传 感器的特性正好满足这方面的要求。目前我国高帧频CMOS图像采集系统的开发还比较 少，在系统丌发上缺乏工程试验数据和经验积累【18】。因此选择一款性能指标较高的CMOS 图像传感器并以其为基础进行CMOS图像采集系统的开发，通过工程实践了解CMOS图 像采集系统的开发规律，掌握开发方法，积累一定的试验数据和经验，对将来丌发高性能 的可应用于工业或军事、航空航天等领域的视频系统积累一些可借鉴的经验。本文正是针 对这一目的设计一种高帧频CMOS图像采集系统。 1．3本文研究内容及组织结构 本论文研究内容在于实现高帧频CMOS图像数据采集系统，主要研究内容包括如下 几方面： ①在深入研究CMOS传感器性能及技术指标基础上，设计出CMOS图像传感器数字 相机硬件电路； ②通过FPGA设计出CMOS图像传感器的时序驱动，完成CMOS图像传感器的数字 图像视频输出； ③根据CMOS相机各个参数性能指标，设计CMOS相机自动化参数设置软件，基于 FPGA与上位机串行通信来完成此功能； ④高速PCI数字图像采集卡硬件电路设计； ⑤高速PCI图像采集卡驱动程序设计及应用程序设计； ⑥图像的非均匀性校正。 本文的组织结构如下： 第一章绪论 本章主要介绍了高速图像采集系统的优点、应用和发展，以及本文的课题来源及研究 意义。 第二章高帧频CMOS图像采集系统总体设计 本章设介绍了系统的整体研究，包括整体结构方案及各个功能模块的实现方法。 第三章高帧频CMOS图像成像器设计 本章主要介绍高帧频CMOS图像传感器成像器设计，主要内容包括：高帧频CMOS 图像传感器LUPA．300的性能特点、内部结构及性能指标；CMOS图像传感器外围电路设 4 1绪论 计，控制单元设计，数据传输单元设计，CMOS成像器逻辑控制单元设计。 第四章高帧频CMOS图像采集卡硬件设计 本章主要介绍高帧频CMOS数字图像采集卡设计，主要内容包括：PCI总线接口芯 片的选择，PCI9054接口芯片的功能介绍及外围电路设计，高速数据传输接口设计，FPGA 控制单元设计。 第五章高帧频CMOS图像采集系统软件设计 本章主要介绍高帧频CMOS图像采集系统软件设计，主要内容包括：PCI图像采集 卡驱动程序设计及上位机应用程序设计，实现图像的显示与存储。并提出了一种图像非均 匀性校正方法。 第六章系统调试 本章介绍系统的调试过程，得出了调试结果。 第七章结论 本章对全文进行了总结和展望。 5 两安jr：业人学硕十学位论文 2高帧频CMOS图像采集系统总体设计 2．1系统需求分析 本文所研究的高帧频图像采集系统主要用于某炸点测量系统。测量目标为地面炸点和 低空炸点。空中炸点指电子引信爆炸时的时空炸点坐标和特种弹的抛射点、开伞点、熄火 点等时空坐标；地面炸点指炮射弹的地面炸点坐标，其炸点可能为火光、土柱、烟柱、水 柱等【15】。技术指标及功能要求要求： ①采集象元数大于或等于640x480； ②拍摄帧频：最高帧频大于等于100帧／秒； ③数据位宽大于等于8位； ④能够对高速图像数据的缓存又能提高数据传输效率； 在WindowsXP平台上开发驱动程序及应用程序，程序可运行于Windows2000及 WindowsXP系统中。 针对CMOS图像传感器采集图像存在的非均匀性问题提出解决图像非均匀性的方 案。 2．2系统的结构与组成 高l帧频CMOS图像采集系统由高帧频CMOS图像成像器、PCI图像采集卡以及软件 组成。 高帧频CMOS成像器由CMOS图像传感器、FPGA控制芯片、串行通信接口和Camera linktl91输出接口组成，CMOS图像传感器是系统的成像部件，它是系统的“眼睛”，能够 捕获高速运动物体的图像，其电路输出为数字信号图像数据；FPGA控制芯片主要完成对 CMOS图像传感器参数配置，它是系统的“指挥中心”，用以协调整个系统的工作；串 行通信单元设计主要是针对CMOS图像传感器功能参数的多样性来实现图像传感器的自 动化参数配置，CameraLink输出接口主要完成高速图像数据的输出。PCI图像数据采集 卡主要包括CameraLink输入接口、PCI总线接口、FPGA控制单元三部分。CameraLink 输入接口主要负责接收成像器传送的高速图像数据，并将其传输到FPGA内部；FPGA控 制模块主要负责完成对高速图像数据的缓存处理，并为整个图像采集卡提供控制命令，协 调各个功能模块问的工作；PCI总线接口主要通过DMA操作实现图像数据的高速传输。 系统软件完成对硬件电路控制并把采集单元采集到的数据进行处理与显示，重现成像单元 捕获的图像。系统结构如图2．1所示： 6 2高帧频CMOS图像采集系统总体设计 ⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一 图2．1系统总体结构图 2．2．1高帧频CMOS图像成像器设计方案 根据系统要求，本相机的硬件设计采用Cypress公司推出的产品LUPA一300图像传感 器作为系统的成像部件，其技术参数指标为[20-21】： ①分辨率：640×480； ②像元尺寸：9．91xm； ③时钟：80MHz； ④动态范围：61dB，采用多斜率积分最高可达到90dB； ⑤量化长度：10bit； ⑥ADc采样率：80Msamples／s； ⑦帧频：250fps。 本部分主要完成LUPA．300外围电路设计，并采用Xilinx公司提供的FPGA芯片 XC2S200实现对该成像模块的控制，完成对LUPA．300驱动程序设计。为了实现对 LUPA．300自动化参数配置，通过与计算机I、日J串行通信来改变LUPA一300内部参数，以实 7 两安jr业人学硕+学何论文 现不同功能。为了提高高帧频图像数据的传输速率，采用专业的相机接口CameraLink高 速传输接口实现数据的传输。 2．2．2高速图像采集卡设计方案 根据系统要求设计一个基于PCI总线的图像采集卡，这种方法充分利用PCI总线的 高速传输速率，计算机强大的计算能力和操作系统良好的人机界面，将大量的数据传输至 计算机内存，然后通过应用程序实现对采集数据的存储与显示。 1)PCI接口方案设计 通常PCI接口的设计方法有3Soot22之3】： a、采用可编程逻辑器件 采用ALTER公司和Xilinx公司生产的部分CPLD和FPGA来实现PCI接口，这种方 法最大的优点在于其灵活的可编程性，可根据系统需要有选择的实现PCI的部分功能， 节约了资源，设计灵活，具有较高的性能价格比，节省板卡面积。它的缺点是要求设计者 对PCI总线协议必须有较深入地理解，实现起来难度大，开发周期长。 b、采用专用接口芯片 目前市场上有一些专用的PCI接口芯片，如AMCC公司的$5920、$5933，PLX公 司的PCI9052和PCI9054等。它们放置在系统或插卡与PCI总线之间，用于提供数据和 控制信号的接口电路。采用这些专用芯片，优点是功能强，可靠性高，设计者可以避丌复 杂的PCI总线协议与PCI总线接口，把主要精力放在对整个系统的设计上，以实现完整 的PCI主控模块和目标模块接口功能，将复杂的PCI总线接口转换为相对简单的接口， 缺点是用户可能只使用到部分功能，会造成一定的资源浪费，系统的性能不够优化。 c、带PCI总线接口的DSP芯片 一些DSP芯片中集成了PCI接口的功能，如TI公司的6000系列，但这种芯片只能 用在一些特殊的应用中，功能比较单一，而且价格很高。 比较以上三种实现PCI接口的方案可知，采用第一种方案可以较为灵活地实现所需 功能，但是，为了达到PCI规范的严格要求，需要作大量的逻辑验证、时序分析和程序 调试。用第三种方案价格高昂，功能单一且应用环境也受限制。出于系统稳定性的要求和 降低丌发难度、缩短丌发周期的考虑，本课题最终选择了专用PCI接口芯片以比较容易 地实现PCI接口，无论从技术、开发周期或者成本方面考虑，都是比较理想的选择。 2．2．3软件设计方案 本文软件设计主要包括PCI图像采集卡驱动程序设计及上位机应用程序设计。 1)驱动程序设计 a、设备的初始化 该模块主要完成的功能为：找到所要控制的硬件；在驱动程序对象中设置驱动程序各 个分发例程的程序入口点；建立所有驱动程序对缘或其它系统资源。 8 2高帧频CMOS图像采集系统总体设计 b、创建设备对象 创建一个设备对象，并将其联接到以物理设备对象(PDo)为底的设备堆栈中【241。 c、中断的响应与处理 完成对外部硬件中断的响应，并将中断信息传递给应用程序，通过应用程序实现一定 的功能。 d、DMA操作 完成DMA的读写操作，并在DMA传输结束后产生DMA中断，通过响应的DMA 中断处理将传输的数据发送到外部总线或应用程序。 21应用程序功能 采用vC++作为应用程序开发工具，通过建立基于对话框完成简单的数据存储与显 示，方便用户操作。 3)图像非均匀性校正 针对CMOS图像传感器在成像过程中存在的图像不均衡现象，提出一种图像非均匀 性校正方法。 9 两安：l：业人学硕十学位论文 3高帧频CMOS图像成像器设计 高帧频CMOS图像成像器主要由高帧频CMOS图像传感器外围电路、FPGA控制电 路、接口电路三部分组成【25瑚】。其中高速CMOS图像传感器完成空间图像的光电转换， 输出数字视频信号；FPGA控制电路为整个成像器系统的控制核心，完成系统初始化和成 像电路参数软件调节控制、高速CMOS图像传感器驱动时序以及高速数字图像数据的传 输控制；接口电路中CameraLink接口完成高速数字图像数据的传输，RS．232接口主要 通过计算机与FPGA间的通信实现对CMOS传感器内部参数的更改。设计框图如图3．1 所示： 图3．1CMOS图像成像器设计框图 3．1高帧频CMOS图像传感器LUPA．300 本论文中所采用的CMOS图像传感器是Cypress公司推出的产品LUPA．300。它将模 拟图像获取、数字化和数字信号处理的功能集成在单一芯片中[20-211。 3．1．1LUPA．300的主要特点 11动态范围 目前的CMOS图像传感器动态范围多在60dB左右。而LUPA．300在同步模式下，使 用者可以采用多斜率积分模式来提高动态范围，最高可达90dB。多斜率积分采用不同的 曝光时间，当光强很弱时采用长时|’白J曝光，输出信号曲线的斜率很大；而当光强很强后， 改用短时间曝光，曲线斜率便会降低，从而可以扩大动态范围。 2)片载可调整增益和偏置的输出放大器 通过4bit的增益控制字，可以摔制增益曲线按指数规律变化。偏置电压由两个8bit 10 3高帧频CMOS图像成像器设计 控制字(Voffset、Vblack)控制，其输出的偏置电压Voutput可由公式(3．1)计算得到。 Voutput=Vsignal+(Voffset—Vblack)(3．1) 这样就将信号的抖动限制在片载10．bitADC的输入范围内。 3．)片上10bit模数转换器 LUPA．300内部集成有四个独立的模数转换器(ADC)，采样频率为80Msamples／s，直 接输出数字信号。 4)随机开窗与亚采样 随机开窗可对片上任意感兴趣区域(regionofinterest)进行读取，并且每帧图像可以读 取不同的区域。随机开窗功能的实现是通过控制传感器内部的X和Y移位寄存器起点指 针，控制x方向和Y方向的起始读出位置，实现ROI操作的。X方向地址的最小步进距 离是8(只能选择4的倍数列作为起始地址)，Y方向为1(每一行都可以作为起始地址)， 所以最小可以输出8xl窗口大小的像素单元。进行ROI操作时，帧速率近似成线性增长。 利用这一功能，可以根据实际使用需要，通过减小成像区域提高帧速率。 亚采样(sub—sampling)也叫“抽点取样”，即通过选取某一区域的某点(或某些点) 代替该区域，从而将影像的分辨率缩小到指定点。LUPA．300只在Y方向有亚采样模式， 可以满足用户直接输出压缩图像的需要。 5)可编程读出方向 通过对片内寄存器ReverseX、ReverseY设置，图像数据的读出方向可翻转。 3．1．2LUPA．300的内部结构 LUPA．300的图形核心，包括一个像素矩阵，一个x地址寄存器和一个Y地址寄存 器分别用于x方向和Y方向的读出，一个列放大器用于矫正固定模式噪声，一个模拟多 路转换器和四个模拟输出放大器。像素矩阵是CMOS图像传感器的最重要的部分，入射 光通过微透镜照在芯片的这个区域上，由于光电效应，光信号转变成电信号，通过行列选 址，像素中被选中像素的信号经列级放大器和模拟多路选择电路输出。输出的是离散的电 压或电流信号序列，这些信号最后经芯片的接口电路输出至片外。 控制成像核心的大多数信号由片载序列发生器产生，还有部分信号(如二次斜率积分 起止、三次斜率积分起止信号等)可从外部产生。如图3．2所示： 西安I：业人学硕十学位论文 10bitoutput 图3．2LUPA-300的内部结构 3．2CMOS图像成像器硬件电路设计 3．2．1CMOS传感器成像单元 传感器成像部分主要负责接收对传输模块的控制指令，为传感器等器件提供电源、 去耦，保证LUPA．300正常工作，同时要保证传感器与FPGA之间双向的信号传输。该 模块主要包含：LUPA．300CMOS图像传感器，去耦电路，供电电路，LUPA一300周边电 路。 LuPA．300芯片使用PLCC封装插座，便于调试。CMOS图像传感器和电源放置在顶 层，去耦电路就近放置在相应的管脚附近。尽量保证信号的完整性。该电路板需要提供六 种电源：VDDA(模拟电源+2．5V)，VDDD(数字电源+2．5V)，VPIX(像素电源+2．5V)， VRES(复位电源+3．3V)，VMEMH(像素存储电源+3．3V)，VADC(ADC电源 +2．5V)[20】。由于需要电源较多，而且考虑到元件的管脚分布情况，尽量做到电源和地到 相应的管脚距离最短，电源分压芯片采用ASll17系列芯片，该系列芯片可将5V电压转换 成+3．3V、+1．5V、+2．5V等电压信号。同时为了保证传感器工作稳定，在位于传感器底座 下方的TOP层进行了大面积铺地。六种供电电源原理图如图3．3所示： 12 攀品一譬一搿 峰搿一嚣一10”tⅧ象 jⅢⅡ Ⅷ‰ mⅢ 国譬一譬 图3．3LUPA．300供电电源原理图 出于冗余保护的考虑，传感器的所有供电管脚都由两个并接的0．1uF和0．01uF，封装 分别为为1206、0805的滤波电容。 3．2．2串口通信单元 串口通信部分主要负责接收上位机的控制指令和CMOS图像传感器的成像参数，并 实现FPGA与上位机问的通讯。此部分主要包括DB9连接器和MAX．232接口芯片。原 理图如图3．4所示： 图3．4串行通信硬件原理图 13 两安I：业大学硕十学位论文 3．2．3FPGA控制单元 FPGA控制部分主要包括以下几个部分：与CMOS图像传感器接口设计、时序控制 部分(FPGA及附属的PROM、晶振)、复位和下载模式选择部分，JTAG下载端口。 系统中负责时序控制的FPGA选用Xilinx公司的XC2S200，片内集成有56Kbits的 BlockRAM，4个延迟锁相环(Delay．10ckedLoop，DLL)。XC2S200能兼容多种I／O电 压，并且具有丰富的I／O引脚。其核心电压为+2．5V，设计中采用的I／O电压为+3．3V。 本设计中选用的PROM是XCF02S，这是Xilinx公司采用低功耗CMOSNORFLASH 工艺生产的新一代产品，其核心电压为+3．3V，设计中采用了+3．3V的I／O电压。它相比 以前同类产品的最大改进增加了一个VCCJ供电端，能够为JTAG端口单独提供适合的工 作电压，从而保证了下载的正确性和稳定性【291。 FPGA的每个供电管脚(VCCO和vcCINT)都外接了一个0．1uF的滤波电容。其下 方也进行了大面积铺地。 1)FPGA与CMOS图像传感器接口电路设计 FPGA与CMOS图像传感器之间的接口信号主要包括如下几部分：SPI总线接口，该 接口作用是FPGA通过该SPI总线向CMOS图像传感器内部寄存器传送参数，实现CMOS 图像传感器的驱动功能；图像数据线、行信号、场信号、像素时钟是CMOS图像传感器 输出给FPGA的，通过FPGA将这些图像数据信号发送出去。FPGA与CMOS图像传感 器接口电路示意图如图3．5所示： CMOS SPI总线 图 《 像 图像数据 传 感 》 行信号 FPGA 器 场信号 图3．5FPGA与CMOS图像传感器接口电路示意图 2)复位和下载选择模式部分 系统设计了两个复位控制，RESET对整个成像器系统复位，RESET_-N对CMOS图 像传感器复位，两者都足高电平有效。 FPGA配置的方式通过M0、M1、M2三个信号来选择，这三个信号直接连接到FPGA 对应的配置管脚M0、M1、M2。配置方式的设定如表3．1所示： 14 3高帧频CMOS图像成像器设计 表3．1FPGA配置方式的设定 M0、M1、M2高低电平的切换是通过跳线进行控制的，跳线断开时为高，跳线连接 时为低。 3)JTAG下载端口 JTAG(JointTestActionGroup联合测试行动小组)是一种国际测试协议(IEEE 1149．1兼容)，主要用于芯片内部测试。现在多数的高级器件都支持JTAG协议，如DSP、 FPGA器件等。由于AlteraCyclone系列FPGA器件支持JTAG标准测试访问端口和边 界扫描结构，所以也可以通过JTAG方式进行对FPGA芯片的配置，JTAG配置方式接 口电路原理图如图3．6所示： ： ．I j 卜＼TDI 4 TDI VCCJ 20 卜瑚5 T^Is、℃CO 19 ＼TCK6 1B TCKVCCINT TD0 Nc 16、／ CLK Nc 15C— D0 Nc 14C— cF Nc 12C 0E NC 9C CE NC 20 lloCEO GND JDl J1啪 1 2 3 4 5 6 7 8 图3．6JTAG下载接口原理图 3．2．4图像的传输单元 图像的传输单元主要负责系统图像数据的输出。由于本系统采集剑的图像数据是高帧 频图像，数据量非常大，一般的接口很难符号要求。所以本系统采用专业的相机接口 Cameralink接口实现数据的上传。CameraLink是一种基于视频应用发展而来的通信接口， 应用ChannelLink技术。而ChannelLink技术则是基于LVDS技术发展而来的，它是一种 用来传输视频数据的新技术。ChannelLink技术使用一个并转串驱动器和一个串转并接收 器传输数据，其最高速率可达2．83G[30圳】。该部分主要由Cameralink接口芯片DS90CR285 及其外围电路组成。原理图如图3．7所示： 15 西安：[：业人学硕十学位论文 CLD CLDAl A2 A3 A4 A7 A5 A8 A9 CLD CLD CLD CLD CLD CLD CLD CLDB8 CLDB9 CLD CLDB6 B7 B1 B2 B3 N B5 CLD CLD CLD CLD CLD CLD LV，XL2 Ⅳ缸： CLD PCLK23l 32 丁XinO TXinl TXi皿2 TXill3 TX曲4 TxIN5 TdN6 TxrN7 Tx【N8 TxⅨ9 Tx】N10 hⅨll TxINl2 TxINl3 TdNl4 TxIXl5 TxINl6 T，dXl7 TxⅨ18 Tx】X19 T—N20 TxrX21 TxIN：2 T，dX23 TxIN24 TxⅨ。2， TxD：：6 TxDi27 丁虻LKin PWRD“Ⅳ TXo哦O． 1X∞lO+ TX嘲1． 了X∞tl+ TX口Ⅱt2． D【∞12+ TX∞t3． TX们lt3"- TxcIKa吐． 丁xcIKout．'- 笤； >∞ 口口口口-o ；；；；皇三 LⅥ)SGXD LVDSGND LVDSGND PLLG：‘D PLLGXD GND ∞ GXD GXD∞ C】6l 010 C16： 0．10 C163 01r 2霜蕞l荨 VLVDS332 l?LL332 C165— 0．01U C166— 0．0IU C16'。 O．01U C168 O．01U C1舒—一C11r—C171o．1【T0．c】丁0．001U 48 47 46 45 42 4l 38 37 40 39 J移一 Y1． Y1- Y2． Y2一 Y3． Y3- Ycllc． Yelk- C1—r—C1—广一C174 0．1U1 0．OlU0．001U 3．2．5PCB设计 图3．7CameraLink输出接口原理图 PCB设计是系统设计从理论走向实际的一个重要的一步。它不仅要求设计者要具有 丰富的经验和知识，而且还要正确地使用EDA工到321。 在系统中，CMOS图像传感器工作频率最高可达80MHz，频率比较高，所以在进行 PCB设计时十分谨慎，否则就会造成系统不稳定，甚至无法正常工作。 1)电源、接地设计 任何一块电路板都要将电源线和地线连接到芯片的电源和地引脚。由于电源线和地线 的考虑不周全而引起的干扰，会使设备的性能下降，或导致设备不能『F常工作。 PCB设计采用的是两层板，没有专门的电源层和地层，而系统中又有三种供电电压 值，所以在PCB板的布局上的考虑是将使用相同供电电压的器件尽量放在一起。这样做 的目的是为了防止不同电源线混在一起，增加布线的难度；同时也可以避免因电源线走线 过长，使电源线的阻抗增加，而造成的电源噪声增大以及电源驱动能力不足。另外，在整 个PCB板的设计中，还专门对电源线和地线的宽度作了加宽处理，以减小线路的阻抗。 由于LUPA．300有模拟电源和模拟地引脚，所以在PCB设计时，要将模拟地与数字 地分开布线。最后在PCB与外接电源和地的连接处，将数字地与模拟地一点连接。这样 做的目的是为了防止模拟地与数字地之间相互干扰。 16 盼驺 弘芬站 ”均nn；。 n～”～孔～”～她一2—3—4—6—7—8一均一n—n—H一”一M一螬一砖～如f，兰玛一N～”～”一嚣一如一如 ．工B 112zl，：“o 1 1 C 0 3高帧频CMOS图像成像器设计 2)去耦电容的设计 在直流电源回路中，增加去耦电容是必要的。这是因为在直流电源回路中，负载的变 化会引起电源噪声。特别是在数字电路中，信号从一个状态转换到另一个状态时，在电源 线上会有很大的尖峰电流，形成电源噪声。去耦电容的作用就是起电荷池的作用，可以抑 制电源噪声。在系统中PCB板上去耦电容主要放在了以下几个位置： a、在电源输入端跨接了一个4701．tF和一个0．19F的电容。 b、在芯片的电源线和地线的输入端接入0．11．tF和0．019F去耦电容，以平滑电源的波 动。这类去耦电容的放置原则采用就近原则，即电容放置的位置与引脚的距离尽量的近。 c、在PCB板上均布大小为101．tF的电容。 3)电磁兼容性设计 电磁兼容性是指电子设备在各种电磁环境中仍能够协调、有效地进行工作的能力。为 了让电子设备能够抑制各种外来电磁干扰，同时又能减少其本身其它电子设备的干扰，所 以在进行PCB设计时要考虑设备的电磁兼容性。 提高设备的电磁兼容性主要从以下几个方面来考虑： a、采取合理的布线策略 由于长距离的平行走线会增加导线问的互感和分布电容，使得两条线之间形成耦合而 相互干扰，所以在系统设计中尽量避免长距离的平行走线，而是采取了井字形网状布线结 构。即一层采取横向布线的方法，而另一层采取纵向布线的方法，然后在交叉处用过孔连 接。 b、选择适当的导线宽度以及导线长度 设备工作时，PCB板上信号线的电平状态一直都在变化，由此而产生的瞬变电流会 在信号线上产生冲击干扰。信号线的电感量越大，则冲击干扰也越大。所以减少信号线的 电感量可以有效地减少冲击干扰。信号线的电感量与信号线长度成正比，与信号线宽度成 反比。因此，在进行系统的PCB设计时，尽可能地减少导线长度并且增加导线的宽度。 c、减少回路的数目 电流回路是电磁波的辐射源。要减小回路的电磁干扰就要减小回路的数量以及回路的 天线效应，不要过多地造成电流回路。但是凹路在PCB设计中是不可避免的，所以在PCB 设计时有意识地减少了回路的形成。 3．3CMOS成像器逻辑控制功能实现 CMOS成像器逻辑控制单元主要是通过Verilog硬件设计语言实现【29，331，主要功能包 括：UART的设计，通过计算机与FPGAI'BJ的串行通信实现对CMOS图像传感器内部寄 存器的功能参数的多种配置；CMOS图像传感器时序驱动设计，通过SPI总线对CMOS 传感器内部的16个功能寄存器进行参数配置，实现的传感器的图像采集与数据输出功能。 设计方案如下： Xilinx公司提供了FPGA开发软件ISE，这是一个集成的丌发环境。用户可以在ISE 17 两安T业大学硕十学11；7：论文 工程管理器ProjectNavigator界面的统一管理下，完成所有的设计输入、仿真、综合、布 线、下载等工作，而且其中集成了强大的仿真工具ModelSim。本设计中采用的版本为ISE 9．Oli． 用ISE丌发FPGA的完整流程包括以下几个部分： ①设计输入。可以采用原理图输入、Verilog语言描述、EDIF网表读入及波形输入等 方式。 ②功能仿真。此时为0延迟模式，主要检验输入是否有误。 ③综合。主要对输入逻辑进行综合，同时能分析器件资源的占有，器件的工作延时， 以及当前的最高工作速率等情况。 ④后仿真。将编译产生的延时信息加入到设计中，进行布局布线后的仿真，是与实际 器件工作时情况基本相同的仿真。 ⑤编程验证。用后仿真确认的配置文件以JTAG方式直接下载到FPGA中，加入实际 激励，进行测试，以检查是否完成预定功能。 以上各步如果出现错误现象，则需要重新回到设计输入阶段，改J下错误输入和调整电 路重复上述过程。设计流程框图如图3．8所示： 图3．8ISE开发FPGA的设计流程 考虑到Verilog语言具有描述能力强、支持层次化、可读性好、与工艺技术无关等优 点，本设计采用Vefilog语言作为设计输入方式进行时序设计。 3．3．1UART设计 UART(即UniversalAsynchronousReceiverTransmitter)通用异步收发器，是一种应用 广泛的短距离串行传输接口。基本的UART只需要两条信号线(TXD、RXD)就可以完 成数据的相互通信，接收和发送是互不干扰的，也就是全双工的，但要求在TXD、RXD 制定一定的规则，以使接收、发送之fBJ能协调一致。 18 3高帧频CMOS图像成像器设计 1)串行异步通信的帧格式 在串行异步通信中，数据位是以字符为传送单位，数据位的前、后要有起始位、停止 位，另外可以在停止位的前面加上一个比特位(bit)的校验位。其帧格式如图3．9所示。 I I回IDI l D2I D3I阱l ⋯ Dn l l 始 数据位 位 图3．9串行异步通信的帧格式 验 止 位 位 起始位是一个逻辑0，总是加在每一帧的开始，为的是提醒数据接收设备接收数据， 在接收数据位过程中又被分离出去。数据位根据串行通信协议，允许传输的字符长度可以 为5、6、7或8位。通常数据位为7位或8位，数据位被传输时从一个字符的最低位数据 丌始，最高位数据在最后。校验位是为了验证传输的数据是否被正确接收，常见的校验方 法是奇、偶校验。另外校验位也可以为0校验或者1校验，即不管数据位中1的个数是多 少，校验位始终为0或者1，如果在传输的过程中校验位发生了变化，这就提示出现了某 类错误。不过，在传输数据的时候，也可以不用校验位。停止位，为逻辑1，总在每一帧 的末尾，可以是l位、1．5位或者2位。最常用的是1位，超过1位的停止位通常出现在 这样的场合：在处理下一个即将发送来的字符之前接收设备要求附加时间。 2)UART的实现原理 本系统中的UART实现主机与成像系统的通讯，完成对CMOS图像传感器成像参数 的传递。 UART内核模块的功能是控制数据接收、数据加载和数据发送的过程，这可以用状态 机来实现。下面就按接收和发送的过程来介绍UART内核模块状态机的实现。 a、数据接收过程 数据接收过程可以定义3个状态：空闲、接收和完成，其状态变换图如图3．10所示： 19 两安T业人学硕十学位论文 图3．10UART内核数据接收状态转换