基于深度学习的智能果实采摘系统设计与实现.docxVIP

基于深度学习的智能果实采摘系统设计与实现 0 降低农业生产自动化、提高工作效率 实现臂机械动作的控制以及果实空间坐标的定位是提取和实现的重要因素。随着现代科技的发展，智能识别算法、机械领域新技术也越来越多地应用到果蔬采摘设备设计中，这些新技术在提高农业生产自动化和智能化的同时，也降低了生产成本、提高了工作效率。目前，国内外学者对采摘设备进行了大量的研究和实验 本文使用YOLO v4目标检测识别算法对果实进行像素定位和识别，训练多种果实的识别模型，并结合Android开发技术、服务器和网络通信技术，对多种果实进行智能识别及采摘，为降低机械臂逆运动学求解时的分析难度和计算量，通过降维方式进行机械臂逆运动学解算。 1 系统的全球设计 1.1 机械臂逆运动学解算和运动轨迹规划 图1为果实采摘系统的连接及功能框图，系统中树莓派和手机端APP使用Socket通信协议与服务器进行连接，实现数据的互传。树莓派对实时图像拍摄和上传，完成机械臂逆运动学解算和运动轨迹规划，通过GPIO管脚与六自由度机械臂连接，输出控制信号，控制机械臂运动到指定位置，实现果实的采摘。服务器使用YOLO v4识别算法对树莓派上传的图像数据进行果实目标检测和像素定位，并对果实空间坐标进行解算，再将解算结果发送到树莓派。手机端APP可以实现与采摘设备的远程连接，控制采摘设备的启动和停止，可实时查看采摘设备的现场采摘视频，还可以通过手机端选择需要采摘的果实类型。 1.2 机械臂逆运动学制作 系统的设计流程如图2所示。打开手机APP以及采摘设备开机上电，APP和采摘设备自动连接至服务器，服务器端将采摘设备的IP信息发送到手机APP，在APP选中IP地址即可进行采摘设备的连接。设备连接成功后，可通过手机APP对采摘设备进行远程控制，此时树莓派将采摘现场的实时图像上传至服务器进行图像识别和空间定位，而后服务器将空间定位坐标返回树莓派。树莓派根据空间坐标进行机械臂逆运动学解算和机械臂运动轨迹规划，最终由树莓派输出控制信号，控制机械臂进行果实采摘。采摘过程中，可以点击APP中的查看按钮查看采摘现场的实时视频。 2 采购系统臂设计 2.1 机械臂的导致果实采摘 对果实进行采摘的是一个六自由度的机械臂，图3a为其实物图。该机械臂由6个6125型数字舵机构成旋转关节，单个舵机的扭矩为25 kg·cm,6个舵机与其它金属零件组成机械臂。 机械臂爪子部分可根据采摘不同的果实进行更换，这样可以使采摘机器人更好地完成果实采摘任务。当采摘的果实直径较小时，选用如图3b所示的开口较小的爪子进行采摘，该爪子最大的开口为55 mm。果实直径较大时，选用如图3c所示的开口较大的爪子进行采摘，该爪子最大的开口为125 mm。该机械臂参数见表1。 2.2 机械臂逆运动学应用 机械臂的运动学分为正运动学和逆运动学两种。正运动学是设定好机械臂各个关节角，来实现机械臂的运动控制;逆运动学是已知一个在机械臂运动范围之内的空间坐标，根据已知的空间坐标来求解得到机械臂各个关节所需旋转的角度，最终控制机械臂运动到指定位置。在机械臂的实际运用中，更多的是实现机械臂的逆运动学求解。本文设计的采摘系统，通过图像识别算法来指定果实的空间坐标，进行机械臂逆运动学求解使机械臂运动到果实位置，最终实现采摘。 机械臂的逆运动学求解，通常是在三维坐标系中实现。首先需要通过右手定则确定机械臂各个关节的正旋转方向。之后得到各个关节的旋转矩阵和平移矩阵，将旋转矩阵和平移矩阵相乘得到一个新的矩阵，该矩阵描述了机械臂末端在空间的坐标及姿态。通过该矩阵就能得到机械臂末端和各个关节间旋转角的关系，通过这个关系可实现机械臂的逆运动学求解。但是这需要进行大量的矩阵运算和三角函数运算，并且可能求得多个解，使得机械臂的逆运动学求解变得很复杂。为了降低运算量，该采摘系统中结合使用的机械臂，对机械臂各个关节进行拆分，最终通过二维坐标系实现机械臂逆运动学求解，大大简化了计算。 2.2.1 dh模型和坐标系的建立 在分析机械手臂的运动过程时，需要先建立机械手臂中各个关节的坐标，图4a为根据D H模型建立的机械臂各个关节的坐标图 2.2.2 机械臂逆运动学建模 为了提高机械臂控制的实时性，通过降低维度的方法来进行分析得到逆运动学求解。求解过程中，先将底部云台的旋转关节和控制末端机械爪转动及开合的关节去掉，这样就可以在XOY二维平面进行机械臂姿态的分析。 如图5所示，在XOY二维平面中 根据机械臂正运动学方程的DH表示法，建立图5中坐标系原点与机械臂末端的总变换矩阵为 式中， 式(1)表示机械臂末端位姿与各关节变量之间的关系，该式为正运动学方程。其中，连杆变换通式 其中cθ 式(2)表示机械臂末端连杆坐标系相对于机械臂的描述 由式(2)可以得到机械臂末端的坐标为 根据几何方