一种基于深度学习的盲人助行装置实现.docxVIP

一种基于深度学习的盲人助行装置实现 　　摘要：文章提出一种新型的盲人助行装置，为盲人朋友的便利出行提供一种新方案。主要是通过深度学习与传感器相结合的嵌入式开发，增加盲人朋友的道路信息获取量，突破以往单一辅助设备的不足，具有一定的实用意义。 　　关键词：深度学习;盲人助行;嵌入式开发;传感器应用 　　据世界卫生组织在2019年提供的数据显示，中国大陆盲人约有1700万。盲人群体在我国乃至世界都是不可忽视的弱势群体，其生活质量也影响着社会的和谐发展。 　　如今，盲人出行依靠的工具主要有：无障碍设施、导盲犬和盲人专用拐杖等，但是对盲人正常出行的帮助有限，体验性、实用性、交互性等无法充分满足盲人的需求，目前盲人的个人出行依然很困难，影响其生活质量[1]。 　　21世纪以来，尤其是近年来，深度学习和移动便携式终端设备的不断发展使得可穿戴设备的研发备受瞩目，能够帮助盲人群体，切身享受到科技带来的福音。 　　1实现方法 　　该设计是基于深度学习的嵌入式开发，使用者通过yolo3深度学习模型、python-opencv、树莓派以及传感器的应用，可以突破单一的信息获取，实时获取更多的外界路况信息，从而使使用者的出行更加容易。系统结构设计如图1所示。 　　2主要功能 　　（1）通过图像识别技术识别到交通中的物体并给予使用者语音提示，例如车辆、红绿灯、斑马线等[2]。 　　（2）通过超声波测距传感器获取障碍物的距离，并给予使用者提示。 　　（3）通过gps给予使用者位置信息等。 　　3深度学习模型 　　3.1模型阐述 　　本设计主要采用yolo3模型进行目标识别工作，如红绿灯识别、车辆识别、行人识别等。近年来，目标检测技术层出不穷，从基本的计算方式来看，可以分为基于候选区域和基于回归两类。 　　所谓基于候选区域是指对图像的基本特征做分析，选取一定的区域对图像进行特征提取，该类目标识别的特点是准确度高、流程简单，但是因为要逐一提取每个候选区域，所以速度较慢。fastr-cnn是基于候选区域的目标识别模型。而yolo模型属于基于回归的目标识别，相较于基于候选区域的目标识别，yolo模型的识别速度大大提高，可以满足实时识别的需求，但是会存在识别准确度较低的问题。 　　考虑到yolo的轻量化，本文采用基于回归的yolo模型。yolo模型的特征提取流程：首先，將输入的图像划分成s×s的网格;其次，特征提取器对每个网格进行卷积操作，得到每个特征矩阵;再次，输出到全连接层，继而在全连接层进行预测，输出每个边框在指定类中匹配的概率以及边框的坐标信息、置信度;最后，通过设定的区间值来判定目标窗口的最大可能，同时使用非极大值抑制除去其他不需要的冗余窗口。 　　3.2模型训练过程 　　（1）下载yolo源码和预训练权重文件。使用yolo的开源模型代码，其中包含模型文件和训练文件，可以通过开源的训练代码训练自己的模型，设置需要的标签，并且准备好训练数据集[3]。 　　（2）模型训练。需要不断调整模型参数和数据集进行训练，增加模型的鲁棒性。 　　（3）模型测试。将权重文件yolov3.cfg和yolov3-tiny.cfg转换成.h5格式，方便使用，然后对训练得到的模型进行准确率和鲁棒性的测试。 　　3.3实现的功能 　　（1）调用摄像头，使用不同颜色的框框出人脸、红绿灯、公共汽车、轿车、卡车、自行车、摩托车等马路上可以看到的物体，在识别成功后可以显示识别出几个物体，每个物体的标签名称和识别的准确率，以及物体在摄像头中的位置。 　　（2）在识别成功后可以调用麦克风，将识别的物体名称通过语音播报出来。 　　4硬件实现 　　该便携式盲人助行器的硬件系统主要是基于树莓派（微型卡片电脑，其系统基于linux），各个功能模块依赖于摄像头、超声波测距以及gps模块等传感器，具体功能则由python程序实现，总体上具有轻量、便携、处理能力强等特点。 　　4.1摄像头模块 　　该摄像头模块主要用于采集视觉信息，并交由树莓派处理，在本系统所使用的树莓派中内建了opencv环境，可以通过特殊算法识别如红绿灯、人行道、各种障碍物等特定物体，并给予用户反馈。比如：当前方有障碍物时，助行器会提示用户注意障碍;当前方交通灯为红灯时，助行器会提示用户停止穿越路口等。 　　4.2超声波测距模块 　　该超声波测距模块使用的是市面上常用且技术成熟的hc-sr04。该模块有4个引脚，分别为：vcc电源引脚、gnd接地引脚、触发控制信号的输入端trig和回响信号输出端echo。该超声波