ABB决赛-基于机器视觉三维重建与虚拟现实的机器人实时在线远程编程与控制.pptx

互联网 +智能制造基于机器视觉三维重建与虚拟现实的机器人实时在线远程编程与控制谭景焕罗欣刘云明C目 录ontents1 2 3 4 系统概述问题分析解决方案总 结C目 录ontents1 1 2 3 4 系统概述系统概述问题分析解决方案总 结01系统概述背景介绍简要描述背景介绍选题方向：互联网+智能制造工业4.0将信息化推向智能化简要描述kinect （数据采集发送形成大数据源） 运用机器视觉将工厂现场三维重建，工程师用虚拟现实设备通过互联网对重建场景中机器人进行实时编程和控制。2G、3G、ZIGBEE 等无线或有线网络 （形成物联网，云计算中心）虚拟现实互联网Unity虚拟现实（实现物联网应用APP）三维重建C目 录ontents1 2 2 3 4 系统概述问题分析问题分析解决方案总 结02问题分析全球化趋势工业现场现场调试带来的问题需求分析全球化趋势全球化带来的线下矛盾，互联网是解决矛盾的关键工业现场现场调试客户培训现场维修现场调试带来的问题员工食宿开支差旅补贴开支提高服务成本员工人身安全旅途时间耽搁需求分析如何让现场工程师不出公司就如同亲临现场般地进行远程操控？C目 录ontents1 2 3 3 4 系统概述问题分析解决方案解决方案总 结03解决方案三维重建虚拟现实机器人远程控制和示教编程KinectUnity 3D三维重建虚拟现实远程控制Oculus Rift三维重建昂贵实时性差廉价实时性好机器视觉？激光扫描？三维重建A. 机器视觉三维重建B. Kinect工业级高精度彩色摄像机红外线发射器红外线摄像机机器视觉摄像机借鉴方案精度低三维重建如何保证实时性？现场网络情况多变减小传输数据量三维重建C. 具体实现第1步：初始化，生成场景三维模型，并全部传输三维重建 利用Kinect Fusion项目，借助两组摄像机组就可以对一定范围内的物体进行实时三维表面模型重建。三维重建C. 具体实现第2步：识别出活动部件，简化成骨骼，只传递骨骼运动数据 三维重建Kinect 和Unity3D结合交互进行开发三维重建虚拟现实A. 工业虚拟现实技术 虚拟设计虚拟装配数字工厂虚拟现实B. Unity3D虚拟现实再现场景用Unity 轻松构建VR虚拟现实C. Oculus Rift第一视角操控感受操作无人机操作机器人虚拟现实D. 具体实现 用Unity3D引擎构建Oculus Rift虚拟现实场景，开发接收机器人点云数据并实时显示的上位机软件。E. 虚拟现实辅助应用虚拟现实局部放大距离测量眼球追踪机器人远程控制和示教编程 远程控制网络 C目 录ontents1 2 3 4 4 系统概述问题分析解决方案总 结总 结04 总 结结论创新点不足结 论NO.1利用Kinect Fusion项目，进行现场场景三维重建，并将重建后得到的三维模型通过互联网传输至位于办公室的计算机。结 论NO.2 识别出其中能进行相对运动的物体，比如机器人各个关节，传送带上运动的工件等，简化生成三维活动骨骼的形式，并将骨骼与远端办公室计算机中对应的三维模型进行匹配绑定。结 论NO.3 现场摄像机采集到的实时图像数据，均转化成三维活动骨骼的运动数据之后，再通过互联网实时传送至远端办公室计算机。结 论NO.4 将骨骼运动数据导入到基于Unity开发的软件平台生成实时虚拟现实场景，并传输至Oculus Rift头戴式显示器中显示出来。结 论NO.5 工程师戴上Oculus Rift，在虚拟现实场景中进行机器人示教编程和控制，控制信号通过网络实时传输至现场的机器人。创新点实时再现远方工厂的虚拟现实场景，让人如同亲临现场一般网络传输数据量小，延迟低减少机器人的调试时间节省现场工程师出差费用以及路上花费的时间不 足系统需要较强的抗干扰能力现场需要预先布置摄像机和计算机摄像机每次更换地点需要重新标定尚需自行开发和测试感谢聆听，欢迎指导！