消化内镜术中器械与软组织安全交互及预警方法研究.pdfVIP

摘要

摘要

胃部消化道肿瘤的发病率和死亡率一直位于各类肿瘤前列，随着手术机器

人和内镜微创技术的发展，越来越多的消化道肿瘤切除手术已经通过内镜下手

术机器人操作完成，这改变了早期手术中创面大、出血多等危险情况，拥有广

泛的应用前景。

为了探究在单目内镜术中场景下机器人与软组织交互过程中的安全性问题，

具体针对夹钳牵拉软组织场景下的安全性保障上，本文提出了一种基于器械分

割、软组织特征点识别追踪以及器械位移估计的安全交互预警方法。对于器械，

首先通过分割网络获取到夹钳分割图信息，再利用位移估计网络得到器械的位

移大小；对于软组织，通过特征点识别追踪算法获取到软组织特征点最大移动

像素信息；最后将器械与软组织两类位移信息与阈值进行对比，实现夹钳与软

组织的安全交互预警功能。

针对术中器械分割问题，本文制作了猪胃离体实验数据集，设计了基于翻

转残差和深度可分离卷积的编码器部分以及基于特征融合金字塔结构的解码器

模块，同时在横向连接处引入注意力模块、通道打乱机制并优化了网络层数，

通过自制猪胃数据集验证了网络分割性能，同时通过2017MICCAI医学图像数

据集验证了网络泛化性能，得到了一个分割精度87.53%mIoU、分割速度

40.11FPS的轻量化分割网络。

针对软组织特征点识别追踪问题，本文基于光流法进行了特征点优选和追

踪有效率提高等改进，选取FAST角点检测提高提取速度，用Hessian矩阵求解

角点的二阶偏微分完成特征点的进一步筛选，在光流追踪中引入前后向误差模

型剔除误匹配点，最后通过对比实验验证了算法的有效性，提升了保留内点中

有效追踪的内点比例。

针对胃消化道下的安全预警问题，本文首先设计了基于分割图夹钳面积的

位移估计BP神经网络，最后将分割算法与特征点追踪算法进行了整体集成，再

通过多组模拟牵引实验对时间和空间误差进行了分析，验证了位移估计算法和

预警算法的有效性。

关键词：单目视觉；深度学习；图像分割；特征点；位移估计；安全预警

-I-

Abstract

Abstract

Theincidencerateandmortalityofgastricanddigestivetracttumorshave

alwaysbeenintheforefrontofallkindsoftumors.Withthedevelopmentofsurgical

robotsandendoscopicminimallyinvasivetechnology,moreandmoredigestivetract

tumorresectionoperationshavebeencompletedbyendoscopicsurgicalrobots,which

haschangedthedangeroussituationoflargewoundandbleedinginearlysurgery,

andhasabroadapplicationprospect.

Inordertoexplorethesafetyproblemsintheinteractionbetweenrobotandsoft

tissueinthemonocularendoscopicscene,specificallyforthesafetyassuranceinthe

clamppullingsofttissuescene,thispaperproposesasafetyinteractionearlywarning

methodbasedondevicesegmentation,softtissuefeaturepointidentificationand

tracking,anddevice