10 郜鸿语 基于panda机械臂的人机协同操作系统.pdfVIP

.

燕山大学

本科毕业设计（论文）中期报告

课题名称：基于Panda机械臂的人机协同

操作系统

学院：电气工程学院

年级专业：自动化

学生姓名：:郜鸿语

指导教师：闫敬刘华平

填写日期：2022年4月22日

一、任务书中本阶段工作目标与任务要求

1、本阶段工作目标

任务书中对于中期安排了如下任务：

1设计基于视觉的人体行为检测和预测算法

2学习人机协同相关的规划与控制策略

但是由于方案有些许改动，基于视觉的人体行为检测被更换为了基于视觉的物

体目标检测，因此工作目标也更换为如下两项：

设计基于视觉的物体目标检测算法

学习人机协同相关的规划与控制策略

2、任务要求

识别桌面上的物体，完成指定工作，设计一种任务分配调度器，从人与机器人

相互影响与任务执行效率的角度分析算法性能，在学习中提升沟通能力，以及团队

合作意识

二、目前已完成任务情况

1、完成任务情况

（1）目标识别

在这里我们应用了YOLOv5目标检测算法，目前我们跑通了基于COCO数据

集的检测算法，我们将confidence调整为0.25、IoU调整为0.45，经过我们的测试，

它的检测效果如下：

部分检测结果：

（2）人机协同策略算法

这里我们应用了任务分配器的思想，我们设定在协作单元中只包含一个机器

人（H）、一个人类（R）以及一项工作（J）。这里的J可以被分割成一系列任务（T1、

T2、...、TN），同时我们假定这些任务都是互相独立耦合性比较低的，我们的任务就

是设计一个任务分配和动态调度框架。

这里我们应用了如下体系结构：

框架中一共分成了上下两层。

首先是TaskAssignmentLayer，也就是我们说的任务分配层，在这一层我们给

人和机器人建立任务时间表，这里应用了多目标混合整数规划：

计算每项任务对于人和机器人的权重和分配结果的乘积累加和循环时间的和

的最小值，确定任务时间表。

其次是DynamicSchedulerLayer，也就是动态调度层，这一层我们会通过人机

交流的方式，对任务进行重新分配（例如：原本分配给人的任务，但是人觉得应该

由机器人来完成、原本分配给人的任务，但是人无法完成，需要交给机器人完成、

原本分配给机器人的任务，但机器人做不了，需要人来完成）。

三、存在的问题和拟解决方法

1、存在的问题

（1）目标检测方面

目前只是跑通了源代码中的coco数据集，但是针对我们自己的任务场景，我

们还需要自己训练一组数据集。

（2）人机协同策略方面

目前只是暂时确定了这样一个任务分配的框架，但还没正式开始应用到我们

自己的场景中。

（3）实验场景

目前设想的实验场景是，在桌面上分散随机放置一些大小不一、质量不同的

多面物体，物体的某一面上会有标识信息，人与机械臂需要协作将这些物体有标识

的一面翻出来，并对物体按照一定的规则进行分类放置。由于场景中可能存在一些

标识不清楚、破损以及物块距离人过远的情况，因此在完成工作的过程中会需要进

行初步任务分配及动态调度，进而对我们的算法进行可行性的验证。

2、解决方法

（1）目标检测算法方面

我们将会针对自己的场景拍摄照片，确定物体的坐标信息，交由YOLOv5进

行数据集的训练，生成一组针对我们试验场景的数据集模块。

（2）人机协同策略方面

在接下来的工作中，我们会先利用上面提到的框架跑一个简单的demo，再根

据场景的情况，利用可视化马尔可夫模型对算法进行优化。

（3）实验场景方面

目前还没有对我们所设想的场景进行搭建，因此还未能发现假定场景中的不

合理情况，在后续的实际操作中，我们还会根据实际情况对场景进行调整，达到更

理想的状态。