基于FPGA的模式识别和人脸识别资料.docVIP

基于 FPGA 的图像识别与语音播报系统 第一部分 设计概述 /Design Introduction 本设计实现了图像识别与智能语音播报的功能。能实时的识别出当前图像，并进行智能的播报。本 设计主要涉及到图像采集，图像处理与识别，语音技术等一系列当前热点技术，并将它们有机结合，构 建出了一个实用性很强的系统。主要可以应用于机场，安检，监控等需要图像处理技术的领域中。同时 利用智能语音播报系统将图像处理结果进行实时的播报，极大的增强了人机交互界面的友好性。另外， 本设计根据图像处理以及语音模块的控制等特点，采用了FPGA 与单片机相组合的数字系统。即利用了 FPGA 的高速处理能力（主要处理图像信号），同时又采用了单片机的强大控制驱动能力（主要控制智 能语音播报系统），同时又借助于高效的数据传输协议，搭建出了一个集高速的数据处理能力与强大的 控制能力于一身的多处理器系统。该架构在现实的复杂数字系统中也有较多的应用。具有一定的实用性。 第二部分 系统组成及功能说明 /System Construction Function Description 整个系统由摄像头，前端FPGA，核心FPGA，语音MPU，VGA 显示器构成。 系统通过摄像头读取图像信息，由前端FPGA 进行图像初步降噪二值化处理，仅保留有效信息后由 前端FPGA 存储，由后端FPGA 进行有效图像区域的提取、压缩、特征对比过程，完成图像识别的功能， 并利用语音MCU 播报被识别的图像 1、可以手动设置图像的“亮度”，以适应不同光照条件下的图像采集。 2、可以切换自动/手动模式。自动模式下系统将连续采集摄像头数据。手动模式下，单击按键进行 一次图像识别。 3.语音模块的详细框图如下： 在本系统中，当前端图像识别完成后，按下播报按钮后，语音模块能将当前识别出的图像播报出来。 交互说明： 前端FPGA 1、4 键控制摄像头二值化灰度阈值，2 键使阈值恢复为128。 A 键切换自动和手动模式，自动模式下系统不断采集新图像进行识别，手动模式下采集暂停，需要按下F 键才采集一帧。 2、核心FPGA A. 数码管显示当前被识别的图像序号及成功识别次数。 B. LED 显示前端FPGA 与后端通信情况。 3.语音播报系统 主要采用单片机来驱动语音模块。在前端图像识别完成后，当按下语音播报按钮后，单品机将 要播报的内容传给语音模块，进行播报。 4、VGA 图像 VGA 显示各区域意义解释 工作流程： 能够提取出有效图像区域时的时序流程 第三部分 完成情况及性能参数/Final Design Performance Parameters 1、能进行图像识别，识别0~9 十个数字，少量字母，部分形状如方形、圆形、X 形。 2、以VGA 显示摄像头采集的数据，能标出有效图像的区域；后端数码管实时显示识别结果。识别 快速准确。 3、系统可识别图像种类非常容易添加和更改，具有良好的编程可拓展性。 4、可以手动设置图像的“亮度”，能适应不同光照条件下的图像采集。 5、可以切换自动/手动模式，手动模式下功耗低。 6、可以语音播报被识别的图像，声音洪亮清晰。 可识别内容举例： 第四部分 总结 /Conclusions 经过几个星期的努力，我们小组终于将作品设计完成。经过实际测试后，该系统基本完成了当初的 设计任务，即当给出不同的图像时，前端摄像头能采集图像，自动识别，并进行语音播报。本系统中图 像识别速度快，准确率较高，语音播报模块声音基本自然，没有明显播报的错误。当然，此次设计还有 一些不足之处。比如准确率还没有达到99%以上，对于一些奇怪的图像无法准确的检测出来，语音播报 模块的声音在自然度上还需进一步的提升等问题。 可以进一步发挥提高的部分 1.优化识别流程，让识别更快速，VGA 显示的抖动更小。 2.设置临时模板，可以不再次编程而通过摄像头输入一个模板。 3.语音模块声音更加的自然流畅，能使用不同的声音比如男声，女声以及方言等播报。 组员设计体会 不同的处理器有不同的特点，比如本系统中使用的FPGA 与单片机就是两个典型的处理器。 FPGA 具有强大的数据吞吐与处理能力，但是它在控制方面不太擅长，单片机有强大的控制能力，但是 在数据处理上又显得力不从心。因此，如果能将其二者合二为一，则构建出来的系统就具有很强大的性 能力。但是，如何有效的进行两类处理器之间的通信则是一个非常关键的部分。一个高效的数据传输协 议不紧能使两个处理器之间数据传输误差减小，还能保持整个系统合理快速的运行。 图像处理技术非常复杂，这个系统中每一个步骤——去除多余图像信息、图像降噪、提取目 标区域、压缩目标区域、图像识别——都选择了相对简单的算法进行。其实这每一个步骤都值得深入研 究。 参加此次竞赛对自己的查阅资