混合现实手术辅助系统中呼吸运动关联预测方法研究.pdfVIP

摘要

肝癌是我国近年来最常见的癌症之一，在临床中具有高发病率与病死率。目前，

射频消融（RadiofrequencyAblation，RFA）是治疗肝癌的主要方案，通常使用计算机

断层扫描（ComputedTomography，CT）或磁共振图像（MagneticResonanceImaging，

MRI）做引导治疗或切除患者体内肿瘤。然而，现有引导模式中一般只用到影像的二

维静态信息，存在深度信息缺乏和手眼不协调问题。虽然已有很多可显示三维信息的

引导系统，但仍不能满足临床需求。混合现实（MixedReality，MR）技术可以提供患

者透视引导模式，通过3D虚拟对象与真实人体配准，可以辅助医生根据三维可视化结

果更好地观察病灶位置，极大地提高了手术效率和精度。混合现实手术辅助系统的关

键在于真实人体和虚拟模型之间的精确配准。然而，目前存在着真实患者呼吸运动引

起的虚实配准困难问题，在以呼吸运动为主的一系列生理因素影响下，真实人体和虚

拟模型配准后会产生较大的位移。因此在配准过程中建立呼吸体内外信号之间的内在

联系，具有重要的应用潜力和意义。

本文围绕基于混合现实的手术辅助系统展开研究，通过将混合现实与三维配准技

术相结合，设计相应的可视化虚拟操作与结果分析，并进行配准过程中呼吸体内外信

号的关联预测。具体研究如下：

（1）设计搭建基于混合现实的手术辅助系统。首先将三维重建的胸腹表面以及其

内部血管和肿瘤的全息三维信息叠加在真实的手术场景中，同时关联真实人体与虚拟

3D模型的空间坐标系。通过空间坐标变换完成虚实模型之间配准，调整透明度，研究

不同大小测试目标的配准结果。然后当匹配度在设定的阈值范围内时，提示进针并显

示进针深度信息。为避免相应模型发生穿透现象，需要添加碰撞检测模块，同时在实

时进针的过程中尽量缩小碰撞检测区域。最后辅助医生更加准确地定位肿瘤位置，在

手术前模拟RFA临床手术，尽可能地避免手术时引起并发症或损伤其他人体组织。

（2）针对呼吸体内外信号的关联预测任务中，存在难以全面描述胸腹体表和三维

运动信息缺失关联的问题，本文设计了一种基于黎曼和多元特征增强的时间卷积网络

（TemporalConvolutionalNetworks，TCN）关联预测模型—R-MFE-TCN。该模型采用

面向呼吸的黎曼信息增强策略，以扩展数据集的多样化。提出一种新的多元特征增强

模块用来保留呼吸数据信息，使网络能够充分挖掘体内外三维信息的关联性，其中多

头自注意力获取呼吸峰-谷值周期性信息。同时采用粒子群优化算法（ParticleSwarm

Optimization，PSO）进行超参数优化。在数据集上的大量实验结果证明了本文方法的

良好性能，该方法在提高预测准确性的同时也具有较强的鲁棒性。

关键词医学图像处理混合现实呼吸关联预测深度学习

KeywordsMedicalimageprocessingMixedrealityRespiratorycorrelationprediction

Deeplearning

目录

第一章绪论·····························································································1

1.1研究背景及意义··············································································1

1.2国内外研究现状··············································································2

1.2.1混合现实医学上的研究现状························································2

1.2.2呼吸运动关联方法的研究现状·····················································4

1.3本文主要研究内容及结构······················