车牌识别系统

车牌识别系统 车牌的自动识别在交通的智能监视和管理中有着极其重要的应用。尽管车牌的先验知 识比较丰富，但是在复杂的背景下，车牌的自动识别仍然比较困难。目前的车牌识别系统大 多是针对简单场景，单一车辆。本提出了一种复杂背景下的多车牌图象分割和识别方法， 首先采用统计和特征匹配相结合的方法进行背景提取，将可能存在车辆的区域提取出来；然 后分别对可能的车辆区域进行局部边缘，并使用车辆的先验知识确定车牌的位置和单个 字符分割，包括车辆倾斜时的字符分割；最后使用PCA和神经网络相结合的方法精确识别车牌。 ：图像预处理 字符分割 字符识别 特征提取 1. 车辆牌照识别在交通监视、监控与管理方面有着广泛的应用。目前的车牌识别方法主 要是针对车辆自动注册和收费、停车场管理等场合，所监视的区域一般只有单一车辆，背景 比较简单。在许多应用场合，监视区域比较复杂，现有的方法无法直接应用，比如高速公路 的监视与监控，城市要道的监视与监控，所监控的区域一般同时会出现多辆汽车，背景也比 较复杂，有广告牌、树木、建筑物、斑马线以及各种背景文字等。首先采用统计和匹配相结 合的方法进行背景提取，将可能存在车辆的区域提取出来；然后分别对可能的车辆区域进行 局部边缘检测，并使用车牌的先验知识确定车牌的位置和单个字符分割，包括车牌倾斜时字 符分割；最后使用PCA和神经网络相结合的方法精确识别车牌。 PCA的摄像部分工作于开放的户外环境，拍照时的光线，摄像机与牌照的距离和角度等 都会造成采集图像的模糊、歪斜等，严重影响车牌的分割识别。所以在进入车牌识别模块之 前，首先要对采集到的车牌图像进行预处理。目前，适应于各种应用环境的，较为通用的图 像预处理方法还不是很成熟，论文在现有车牌预处理算法的基础上，针对车牌图像提出了改 进的预处理。具体过程是在现有的中值滤波、灰度化及二值化的常规处理后，又提出了 对二值图像进行二次中值滤波来对二值图像降噪，并将通常用于实现车牌定位的锐化边缘算 法运用到预处理中，为去除车牌图像背景，提取车牌字符做好了准备 中值滤波对于消除孤立点，即椒盐噪声和线段干扰十分有用，特别是对于二进制的椒盐 噪声尤为有效，所以论文对二值图像再次进行了中值滤波。CCS仿真测试表明，中值滤波后的车牌二值图像，清晰度得到了显著提高（如图1所示），为车牌字符分割打好了基础。 在车牌识别系统中通常采用锐化边缘的方法实现车牌定位，论文将其用于预处理，采用 Roberts算子，利用局部差分算子寻找边缘，对车牌二值图像进行了边缘锐化(如图2所示),为去除车牌背景提取字符做好了准备，同时经过边缘锐化提取了车牌边框及字符的外部轮廓 信息，相对整个车牌信息，后续处理的数据量大大减少了，从而提高了系统的处理速度。 车牌字符分割是在车牌定位后把车牌的整体区域分割成单字符区域。字符分割主要有自 顶向下分割、边缘检测分割、迭代像素聚类和区域生长法等。论文结合车牌自身的特点，提 出了先去车牌背景提取字符，再进行字符分割的改进的车牌分割方案。 在得到一个或几个车牌区域后，要先将其分割为单个的字符，然后才能进行下一步的单 个字符的识别。 传统的方法是使用投影的方法进行切割。先统计定位出来的车牌区域的直方图，然后将 统计值等于零的几列中的一列作为分割的界限。这种分割方法实现起来比较简单，但是适应 性很差，在预处理效果不好的情况下，很难有满足条件的列。而为了获取满足传统方法的条 件，只有加强预处理的条件，因此处理完后的图像不可避免的损失一部分有用信息，给进一 步的处理造成不必要的困难，并可能引入额外误差。并且，在车牌倾斜的角度比较大或是拍 摄的车牌上的字符为密集的时候，投影的方法从本质上就失去了意义。 为了避免上述两种弊端，本文提出一种新方法来分割单个字符，该方法既从一定程度上 避免了 预处理效果不好带来的影响，又可以从根本上解决了倾斜车牌分割的问。 背景对车牌字符的正确分割和识别有很大的影响，为了提高识别效率，论文在车牌分割 之前，充分利用定位车牌两铆钉中间部分无铆钉干扰，且字符与车牌边框的粘连度较小的特 点，首先采用改进的局部投影法去除了车牌图像的背景（边框、铆钉以及噪音），准确提取 出车牌图像的纯字符区（如图4（b）所示）。首先，截取车牌二值图像的中间部分（通常 为车牌长度的1/3到2/3部分）进行局部水平投影，通过从中间向两边扫描投影值（0或255）的大小寻找字符区域的上下边界，再根据车牌各字符字体高度相等的特点，即可去除车牌的 上下边框和铆钉。同理，对去除水平背景的二值图像进行垂直投影并从左到右扫描投影值， 便可找到并去除车牌图像的左右边框，彻底提出车牌中的字符图像 经过对车牌图象的定位和分割处理,得到的车牌图象已经是较为单纯的灰度图象。但是 车牌中字符的分割(即切分)还有很大困难,如光照条件和车牌表面光洁度不同,就会增加字符切分的难度。字符的切分是字符识别的基础,它决定孤立字符的状况。字符的切分通常采用 以下几种方法。 (1)间隙、间距切分法,是利用字符间隙(相邻字符间的间隔)和字符间距(相邻字符中心的距离)进行字符切分。这里要求字符的宽度和字符间隙基本相同,所以对输入图象的质量的依赖性很大。 (2)投影法是利用水平和垂直投影来进行字符切分。水平投影特征是每一行中心黑色像 素点的总和;垂直投影特征是每一列中心黑色像素点的总和。这种切分有速度快的特点,但对不规范的字符会出现误切分的问题。 (3)识别切分法,其切分是识别的信度, 这个识别信度由单字符识别模块给出。一般,识别信度还可以有后处理的词法,句法,语义分析给出。 本论文的车牌识别系统的解决方法是利用二值化后的白点投影信息和灰度投影信息,辅以相应判断条件来进行字符切分的。由于切分时主要是利用垂直投影信息,但为了减少干扰,需要将非字符候选点尽量先抹去,所以事先要进行水平投影,这样可以利用水平投影信息将相 当一部分非字符候选点抹去。 字符识别是PCA系统的最后一个环节，也是整个车牌识别系统的关键，识别方法的 好坏直接影响到整个车牌最终的识别效果。本系统所使用的单个字符识别的系统，是基于主 成分分析PCA(Principle Components Analysis)原理。因为车牌上字符的种类是有限的， 所以可以将所有类型的字符进行穷举的训练，用于训练的字符就形成训练空间。将一副有N个像素组成的图像，看作一个长度为N的矢量，或是一个N维空间中的一点。通过训练，可 以建立相应的字符空间，即将字符的矢量投影到N维空间中，然后在识别的过程中，将相应 的字符也投影到相应的字符空间中，计算与已知的训练字符的距离，经过比较，将最为接近 的字符作为识别结果。 由于分割出来的字符图像大小有差异，而字符特征提取及模板匹配都是建立在各字符图 像大小一致的基础上，所以在对字符识别前首先需要进行字符归一化，包括分割字符归一化 和标准字符归一化。论文根据字符提取时得到的各字符的上下边界以及字符分割时得到的各 字符的左右边界，分别计算出各字符的高度和宽度，并求出各自的最大值作为分割字符最小 包络归一化的识别模板尺寸，通过调试，考虑到计算量的问题论文将标准字符模板统一为 W40*H40的像素大小。 特征提取图像特征通常可以分为结构特征和统计特征两类，论文将两者相结合，采用对 各字符的外部轮廓进行统计特征提取的方法实现特征提取，包括待识别字符的特征提取和标 准字符模板的特征提取。首先，将边缘锐化并二值化了的分割字符分成3x3的9份，并计算每一份中像素点总数与黑象素点(目标点)个数的比值，从而得到一个9维特征向量，然后提取该向量作为待识别字符的特征。同理可以得到模板字符的特征向量，建起模板字符特征库。 实践证明，当字符的形状发生变化时，该方法仍可以保证特征提取的正确性。并且相对字符 的整体信息，对字符的边缘信息进行特征提取计算量要少的多，从而提高了处理速度。 车牌字符的识别算法主要有模板匹配法、统计模式识别和基于神经网络法。基于模板匹 配算法首先将待识别字符二值化，再将其尺寸大小缩放为字符数据库中模板的大小，然后与 所有的模板进行匹配，最后选最佳匹配作为结果[2][3]。由于这种算法稳定性较差且耗时较 长，所以论文提出基于特征向量的匹配算法，具体算法是将待识别字符的特征向量与模板字 符特征库中的特征向量依次对应相减，若结果为零向量则完全匹配，其对应的模板字符即为 识别结果。若为非零向量，则对这9个差值的绝对值求和，取最小值对应的标准模板字符作 为最佳匹配字符并将其输出，完成了字符识别。由于数字“1”的字高与字宽之比大于3， 而其他字符的高宽之比都小于3，所以论文首先根据这一特性判断分割字符是否为“1”， 若是则识别结果输出标准字符“1”，若不是则依次对分割字符进行字符归一化、特征提取 和基于特征向量的模板匹配，输出识别结果。这样既可以较为简单和准确的识别字符“1”， 而且不需要建字符“1”的模板特征向量，减少了计算量，提高识别了速度，同时也降低了 整体识别的难度。 车牌识别系统分为硬件部分和软件部分两部分。它的基本硬件配置是由摄像机、工控机、 采集卡、照明装置组成。而软件则是由基于DSP的具有车牌识别功能的图像分析处理软件，和满足具体应用需求的后台管理软件组成。车牌识别系统的流程图如图3所示。其中车牌识 别软件部分具体又分为三个步骤：车牌定位、车牌图像预处理字符分割和字符识别。首先通 过车牌定位获取车牌图片，随后将图片切割成包含单个字符的七个子图像，最后对各个字符 进行字符识别，得出识别结果。 TMS320VC6713是TI公司推出的新一代高性能、低价位、低功耗的32位浮点数字信号处理器，其主要特点是运行速度快、大容量的片内存储器、大范围的寻址能力、优化的CPU结构、低功耗设计[4]。虽然TMS320C67XX的运算速度比不上定点的定点系列是TMS320C62XX，但是67系列的高性能及其良好的表现，足以满足数字图像处理系统的要求。并且相对定点 系列，浮点数字信号处理器在编写程序时可以不用考虑烦琐的Q点数值。综合考虑，系统采 用TMS320C6713系列的DSP进行车牌识别模块的相关处理。 系统采用TMS320C6713系列的DSP进行仿真测试，仿真环境为 CodeComposerStudio(CCS)。 仿真测试表明，论文提出的预处理过程对图像的降噪、增强达到了较好的处理效果(如图1、图2所示),而且在一定程度上解决了由外界光线造成的车牌图像对比度低的问题，对 可见光具有一定的鲁棒性。论文结合车牌结构的特点，采用局部投影法有效地对预处理后的 定位车牌进行了纯字符提取，如图4(b)所示。由于字符提取驱除了车牌图像的边框、铆钉 等车牌背景，所以有效的降低了分割和识别的难度，如表1所示，通过对358副定位车牌的测试，正确提取字符图像的为356副，提取率为99.44%，提取错误的2副图像是由车牌定位不准确所致。正确分割和识别的车牌图像为355副，识别率为99.16%。 论文基于DSP对车牌识别模块中的图像预处理，字符分割及字符识别技术分别提出了改 进算法。图像预处理部分，改进点在于提出了对二值图像进行二次中值滤波来对二值图像降 噪，并将锐化边缘算法运用到了预处理中。CCS仿真结果表明,论文提出的预处理方案能够 有效的提高图像的质量，同时采用Roberts算子进行边缘锐化，为车牌纯字符区域的提取打 好了基础。字符分割部分的改进点，一是通过对边缘锐化并二值化的车牌图像进行局部投影， 有效的去除了车牌的边框和铆钉，准确的提出了车牌的字符区域。二是对纯字符图像进行字 符分割，使分割正确率达到了99.16%，提高了分割的准确性。车牌字符识别部分，改进处 在于对各字符的外部轮廓进行统计特征提取，并基于特征向量的进行匹配识别。仿真结果表 明，改进的算法具有良好的鲁棒性，识别正确率达到了99.16%，提高了识别效率。 ［1］严宝民，于万波，魏小鹏.汽车牌照定位研究综述［J］.大连大学学报，2002 ［2］刘伟铭，赵雪平.一种基于扫描行的汽车牌照定位算法［J］.计算机工程与应用,2004 ［3］ 赵雪春，戚飞虎.基于彩色分割的汽车自动识别技术［J］.上海交通大学学报，1998 ［4］燕鹏，刘长松，丁晓青. 复杂背景下的汽车牌照自动识别系统［J］. 电视技术,2005，. ［5］叶茂亮，刘长松，丁晓青，等. 基于笔画分析和形态学的汽车牌照定位算法［J］. 电视技术，2005， ［6］崔屹.图像处理与分析——数学形态学方法及应用［M］.北京:科学出版社，2000.1-50. ［7］周妮娜，王敏，黄心汉,等.车牌字符识别的预处理算法［J］.计算机工程与应用，2003 ［8］张引，潘云鹤.面向车辆牌照字符识别的预处理算法［J］.计算机应用研究，1999 ［9］张玉姣，史忠科.一种新的车牌识别预处理算法［J］.西北工业大学学报，2002