基于全景立体视觉的交通危险预警系统设计及算法研究.pdfVIP

摘要 摘要 随着市场对于汽车的主动安全和智能化需求不断提高，国内外众多的企业、科研机 构对于自动驾驶技术的研究日趋火热，其社会价值和经济价值愈发凸显。自动驾驶技术 当前研究重点之一在于车辆的个体智能，包含车辆的感知、控制等多个方面，其中对道 路环境信息的实时获取至关重要。目前，针对于智能驾驶技术，国内外提出了多种解决 方案。双目视觉因其深度信息获取容易等优势，近年来备受关注，将其融入自动驾驶技 术中，一定程度上可以提升自动驾驶的安全性。深度学习技术不断发展，使得物体检测 门槛降低、准确率有效提升。为此，结合立体视觉算法及深度学习技术，本论文开发了 一种基于双目立体视觉的多视点全景图像采集系统并将其与深度学习算法融合,实现对 周边交通环境的检测及潜在危险的预警。 本论文具体工作及成果如下：①自行搭建了一套360 度全景立体图像采集系统，该 系统由四路150 度（对角线角度）双目相机以正方形拼接的方式组成，用以实现对水平 方向360 度全景立体图像的实时采集。该系统中，双目相机模组单目分辨率320x480， 帧率30-60fps 可调，以USB 连接的方式与PC 进行连接；②首次提出了一种基于特征匹 配和图像互信息（灰度对矩阵）的图像配准及拼接方法。对比传统配准及拼接方式，本 论文中提出的方法，在图像透视变换的基础上，通过行矫正及左右眼图像互信息关系进 行图像的局部矫正和配准，并利用图像的柱面投影和反透视变换进行全景图像的拼接， 实现全景图像的获取。该方法有效解决了拼接过程中视差变换所带来的重影现象；③利 用深度学习算法，基于SSD 模型对视频图像进行实时检测，实现对汽车、公交车、摩托 车、行人四类物体的识别，并以矩形框的形式加以标注。结合矩形框内的深度点云信息 实现对潜在交通危险的预警。测试结果表明，在GTX1080 显示芯片和IntelXeonE5-1650 v3 处理器搭配32G 内存的系统条件下，本论文实现了对于4 路320x480 分辨率图像的 实时拼接及特定物体的识别功能，拼接后帧率可达20fps 以上，拼接图像无重影现象出 现，物体识别准确率达70%以上，结合深度信息可实现对潜在交通危险的预警。 关键字：全景拼接，立体视觉，物体检测，深度学习 I Abstract Abstract With the increasing demand for active safety and intelligence of automobile in the market, the research of automatic driving technology in many enterprises and scientific research institutions at home and abroad is getting hotter and hotter. One of the key points of the current research on automatic driving technology is the individual intelligence of single vehicle, including the perception and control of the vehicle and so on. Therefore,it is very important for the real-time acquisition of road environmental information.At present, a variety of solutions have been put forward for automatic driving technology at home and abroad.Binocularvision has attracted much attention because of its advantages such as easy access to depth information. Integrating it into