基于Kinect3D医学影像辅助诊疗系统研究.docVIP

基于Kinect3D医学影像辅助诊疗系统研究 　　摘要：基于Kinect的3D医学影像辅助诊疗系统在VTK（Visualization Toolkit）的基础上对二维DICOM序列医学影像进行了三维重建。利用Kinect设备作为3D影像控制器，摆脱了传统交互设备（鼠标、键盘） 操控3D影像的局限性、带菌性，医生可以在真实的3D空间进行无菌操作。利用Kinect对用户手掌进行跟踪，记录并分析不同动作的数据变化特征，重复记录并分析多人数据，验证特征的准确性。对伸展或并拢双手动作用最小二乘法进行线性拟合，即通过数据模型匹配来识别用户行为。在识别出正确的指令后，对响应程度值进行转换，最终确定3D医学影像变化，进而实现在无接触性操作情况下，用户能在真实3D空间对三维重建后的医学影像进行无菌控制。实验结果表明，所设计的方案能准确识别用户行为，且图像变换效果符合大多数用户的自然习惯。 　　关键词：Kinect； DICOM； 三维重建； 行为识别 　　DOIDOI：10.11907/rjdk.143764 　　中图分类号：TP319 　　文献标识码：A 文章编号文章编号2015）001014303 　　0 引言 　　本文对基于Kinect的3D医学影像辅助诊疗系统进行了研究。本研究主要是基于Kinect设备，利用VTK三维图像处理类库，结合医学图像三维重建算法，对二维DICOM序列医学影像进行三维重建，实现无菌隔空操控3D医学影像辅助诊疗系统。本文提出了系统整体实现路线，并设计了系统涉及的主要算法。 　　1 研究背景及应用场合 　　目前，医学影像存档与通信系统（Picture Archiving and Communication Systems，PACS）已经在医院中普遍使用，为实现海量医学影像数据的存储、管理、计算作出了巨大贡献。然而，医生在PACS上查看的医学影像均为二维影像，欲得到病变部位的三维信息，需浏览一个序列的二维医学影像来进行推断[1，2]，这种做法不能保证信息的准确性及完整性。而手术对无菌有严格要求，医生在手术期间不可能操作PACS，如若有此需求，只能求助他人。 　　随着计算机技术的发展和医学影像的进步，3D医学影像应用越来越广泛，其在医疗领域中的地位越来越重要。医学3D重建技术是计算机可视化领域的一部分，3D医学影像能够有效地提高医生的诊断效率和诊断水平，提高医疗服务水平 [3]。 　　基于Kinect实现人机交互的3D医学影像诊疗辅助系统，遵循DICOM标准，通过Internet与医院的PACS系统通讯[4，5]，对二维DICOM（digital image and communication on medicine）序列医学影像进行三维重建，研究出只需显示器及Kinect便可通过手势及语音操作的3D医学影像医疗辅助系统。该系统可用于手术室、医生诊室以及各影像科、医学课堂等。在手术室应用不仅能提高手术成功率与手术实施率，还可以方便医生对实习生进行教学；在医生诊室，可以通过三维医学影像反馈病变部位三维信息，提高诊断准确率；在医学课堂上，绚丽的3D动画、人机交互效果可以大大提高学生的学习兴趣，使教学更形象化。 　　2 关键问题分析 　　针对医生不能快速准确地从二维DICOM序列医学影像中获得病变区的大小、位置、形状等三维信息问题，可以通过特定的重建算法，将二维DICOM序列医学图像重建为三维虚拟实体。结合Kinect for Windows技术，为进一步诊断病情、虚拟手术等提供丰富直观的信息与交互手段[6]。 　　3D医学影像辅助诊疗系统通过VTK读取DICOM标准医学影像序列[7]，并用相关三维重建算法对其进行三维重建，三维重建采用体绘制法[8-10]。对于重建出来的3D模型，医生不再采用传统的鼠标或键盘操控，而是使用更为舒适且无菌的隔空操控。为使操控方式符合多数人的习惯，对各操控动作所产生的空间坐标信息进行追踪，如缩放、三维旋转等，然后分析数据变化特征，根据对应特征识别出对应行为。为使对应行为响应更为舒适，对3D模型变化的程度进行重复对比，得出使用者感到舒适的值。 　　3 系统交互相关算法设计 　　3.1 双手运动数据采集及分析 　　编写Kinect Depth Stream数据采集程序，以时间为横轴，分别以Hand Right、Hand Left关节点X、Y、Z分量为纵轴绘制图像。实验者做伸展和并拢双手动作时，3个方向数据变化情况如图1所示。 　　初步推断，实验者在进行伸展或并拢双手动作时，X方向的数据呈线性变化，变化系数与运动速度相关。采用最小二乘法对X方向的数据进行线性拟合。 　　利用Visual Studio 2013编写Kinect Skeleton