利用多帧信息融合提高视频车牌识别系统性能的研究讲义.doc

利用多帧信息融合提高视频车牌识别系统性能的研究 赵永辉 刘长松 (清华大学 电子工程系 智能技术与系统国家重点实验室，北京 100084) 摘要：针对视频车牌识别系统中，同一车辆被多次采样，多次识别的情况，本文提出了一种结果融合的策略。该策略能从同一车辆产生的多次结果中选取一个最可靠的结果输出。该策略主要有两个部分组成：1） 找出由同一车辆产生的所有结果。2）从这些结果中选取最可靠的一个作为输出。通过实验表明，采用此策略的系统识别率比相同质量的图像识别率提高6个百分点以上。 关键词：模版匹配 识别分数 匹配分数 识别奖励 Research on Video Vehicle License Plate Recognition System Performance Improvement using Multi-frame Information Amalgamation ZHAO Yong-hui LIU Chang-song State Key Laboratory of Intelligent Technology and Systems Dept. of Electronic Engineering, Tsinghua University, Beijing 100084 China Abstract: In this paper, a result amalgamation method in video vehicle license plate recognition (LPR) system is proposed. This method can choose the best result from several results of the same car, since a car can be sampled several times in video LPR system. The method is divided into two steps: 1) find the results of the same car, and 2) judging which result is the best. An experiment has been performed to prove the effect. The correct rate of our video LPR system is 6 percent more than the same quality images correct rate. Keywords: Template Matching Recognition Score Match Score Recognition Award 引言 作为智能交通系统的重要组成部分，视频车牌自动识别系统可以大大提高车辆管理的工作效率，加速交通管理自动化和智能化的步伐。因此，视频车牌识别系统在高速公路收费管理和超速监控、公安海关车辆管理、城市交通路口监控、交通参数调查等方面有着广泛的应用前景。 图1出示了图像车牌识别系统结构。从中可以看出，图像车牌识别系统主要由车牌定位，车牌切分和字符识别三部分组成。 图1 传统车牌识别系统结构 一般的视频车牌识别方法是针对于单幅图片，通过地感线圈[1]，红外触发，背景差法[2]等方式获得车辆经过的信号，抓拍一张图像识别。而实际上在车辆经过的过程中，摄像机可以取得多帧图像，车牌在多帧图像中由于位置和视角不同，其信息具有相当大的互补性，充分融合和利用多帧图像中的信息，是提高识别率的重要手段。 图2 车牌的类型 以及其他附加信息：车牌的匹配分数[3],每个字符的识别分数以及车牌的宽度。车牌的匹配分数是车牌切分的矩形框结果按照一个最佳比例缩放后和对应模版的吻合度。匹配分数越高，说明这个车牌切分的越可靠。图3是一个标准车牌的模版。 图3 标准车牌的模版 背景重建和背景差法[2]是一种常见的判断是否有新的车辆到来方法。其原理是：假设摄像头位置不变，重建出一个背景以后每帧图像与这个背景比较当差别超出一个阈值后，认为有新车到来，当差别恢复为0时则认为此车已经离开 为两个不同车辆产生的结果中前四位某一位相同的概率 为两个不同车辆产生的结果中后三位某一位相同的概率 因此不同车辆产生的两个结果被判为同一车辆产生的误判率为： 是7个字符中有且只有位字符相同的概率。 假设进行比较的两个结果互相独立，显然有 下面分析同一车辆产生的两个结果被判为不同车辆产生的误判率。以下的分析是在车牌中字符切分正确的假设下所进行的。如果切分错误那么识别出来的结果肯定是错误，而且与正确切分的识别结果相差很大。我们只考虑只有两个对