人工智能基础 第8章 人工智能系统应用.ppt

三、FPGA实现 OpenVINO使用介绍 使用OpenVINO来对模型进行推理主要有以下步骤，训练模型首先被输入模型优化器，模型优化器支持由Caffe，Tensorflow，MxNet等主流深度学习框架训练所生成的模型文件。 总结起来使用OpenVINO将算法模型部署到FPGA完整的开发流程主要经过如下步骤： 1)下载实验所需要的数据和数据集 2)训练深度学习模型 3)使用OpenVINO进行模型转换 4)使用OpenVINO进行模型推理 第8章 人工智能系统应用 图8-17 使用OpenVINO进行推理步骤 三、FPGA实现 算法执行 英特尔FPGA深度学习加速套件是开放式视觉推理和神经网络优化OpenVINO工具包的一部分，它是用于在各种英特尔平台上开发和部署计算机视觉解决方案的综合工具包。 通过编译Caffe、下载数据集、训练模型、模型转换、编译推理应用，最后将算法部署到FPGA并执行推理。结果如图8-18所示： 其中，classid表示的是物体分类的id编号。在物体分类当中，通常会有一个文本文件，记录了id编号，以及编号所对应的物体名称。因此，可以直接通过查询id编号，获得对应的物体名称，即所谓的物体分类。 第8章 人工智能系统应用 图8-18 结果 目录/Contents 8.2 无人驾驶系统典型应用 一、Python实现 二、嵌入式系统实现 三、FPGA实现 一、Python实现 利用Python和Mask R-CNN设计一个模型，该模型可以自动检测并在发现可用的停车位。解决该问题的具体流程如图8-19所示。 为了能够自动检测图像中的停车位，我们将停车位检测问题转化为静止车辆检测问题，在图像中检测车辆，实际上是一个目标检测的问题，采用Mask R-CNN方法: 图8-20 Mask R-CNN能够检测出对象位置及其轮廓 第8章 人工智能系统应用 图8-19 具体流程 一、Python实现 选择COCO数据集来训练我们的模型，在COCO数据集中所有的图像都用目标掩膜标注过，而且在这个数据集中，已经有超过12000张汽车图像做好了轮廓标注。 采用预训练的模型对摄像头采集的街景图像进行处理以后得到的检测结果如图8-21所示。 图8-21 通过预训练模型获得的检测结果 从图中得到如下结论: 被检测到的目标类型很多; 目标检测的置信得分越大，越说明模型准确识别了目标； 图中目标的边界框，是以像素位置的形式给出的； 通过位图(掩模)，能够分辨边界框里哪些像素是目标的一部分，哪些不是。图8-22是检测结果中目标类型汽车的轮廓标注结果。 图8-22 由预训练模型检测出的汽车轮廓 第8章 人工智能系统应用 使用交并比(loU) 指标，衡量汽车边界框与停车位边界框重叠程度，确定汽车是否在停车位。对比视频中相邻帧图像，判断哪些车辆在视频中是没有移动的，或者哪些车辆正在移出所在车位。 二、嵌入式系统实现 利用STM32设计一个模拟无人驾驶智能系统。在模拟场景下，该系统通过视觉传感器对道路环境进行感知，控制器做出相应判断，从而控制执行部分做出相应动作，实现车辆在模拟场景中的正常行驶。模拟道路采用双黑线设置，并设有障碍物。该无人驾驶智能系统主要由传感器、控制器、执行器、人机交互等部分组成，如图8-23所示。 图8-23 模拟无人驾驶智能系统总体构架图 第8章 人工智能系统应用 二、嵌入式系统实现 硬件传感器模块：包括摄像头模块和超声波测距模块。 摄像头模块采用双摄像头的设计，分别采用广角摄像头采集双黑线信息，长焦摄像头采集红绿灯信号。超声波测距模块采集小车与障碍物之间的距离信息。 采集到数据经模块处理后，通过串口将处理好的实时数据发送至小车主控制器。主控制器采用PID控制算法，通过驱动电路，控制电机转动方向和速度，可以使电机产生正转、反转。 人机交互部分通过WIFI网络，实现手机端APP与车辆互联，实时跟踪小车动态。 系统的硬件模块组成框图如图8-24所示。 图8-24 硬件系统模块框图 第8章 人工智能系统应用 二、嵌入式系统实现 软件系统模块： 模拟无人驾驶智能系统软件设计主要包括主控制器的软件设计、摄像头模块的软件设计、电机驱动的软件设计等。主控制器STM32的主程序流程图如图8-25所示： 第8章 人工智能系统应用 图8-25 主控制器的程序流程图 主控制器的工作过程： （1）上电后进行初始化，包括：设置最小安全距离、前进速度等参数初值、外部中断初始化、定时器初始化、WIFI模块以及串口的初始化。 （2）然后打开定时器中断和串口接收中断，设定标志位Timeflag=1。 （3）系统进入WIFI串口接收中断后，判断是否接收到APP发的指令数据，对接收到APP发的指令进行