基于时空深度神经网络的多视角手术流程识别.pdf

基于时空深度神经网络的多视角手术流程识别 技术创新，变革未来  AI 时代，打造智能化手术室已成为医 背 景 院信息化建设中尤为重要的一个环节。  数据和算力的迅猛增长，A I迎来了爆发期， 为医疗模式的变革带来了契机。 术 中 ✓ 信息集成 手势识别 ✓ 手术管理 语音识别 ✓ 智能中控 流程识别 目标：立足情景感知，探索手术流程智能识别， 降低手术过程中医生信息量过载情况下的术中错 误和损伤发生几率，提高手术效率和安全性。 重点研发计划:云端融合的多模态数据交互意图理解 采用多视角方式，结合深度神经网络的主流训练方法。整合CNN、 方 法 RNN等空间和时序行为分析技术，建立手术流程识别模型；利用 具有三元组损失的深度残差网络生成的时空特征嵌入进行训练。 Step 1 Step 2 Step 3 手术流程知识获取与建模 多角度手术流程视频数据库构建 多视角手术流程检测算法设计 对同一时间点不同视点的两个帧进行聚合，而对相邻时间点且视点相似的帧进行移除。 成 效 Result 1：构建手术流程视频数据集 ✓ 采集甲状腺手术视频42部； ✓ 采集腹部腔镜手术视频17部。 Result 2：通过甲状腺手术，对该方法进行 了实验。 Result 3：从多视角视频帧中进行手术活动 识别的方法在帧精度方面比现有的方法具有 同等的性能，对开发智能手术流程多视图 自 动识别系统具有应用价值。 展 望  通过对多视角手术流程识别的探索， 结合语音与手势，能否对医生术中实 时手术器械需求进行判断，规划安全 高效的手术器械传递路径，实现手 术 器械准确传递与收纳管理，协助 器械 护士精准管理手术器械的功能 ？ 循序渐进、稳步积累、未来可期！