《CESA2024102多模态模拟诊疗行为感知系统参考架构团体标准（2024）》.pdf

ICS35.020

CCSL70

团体标准

T/CESAXXXX—202X

多模态模拟诊疗行为感知系统参考架构

Multimodelsimulateddiagnosisandtreatmentperceptionsystem—Reference

architecture

（征求意见稿）

在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上。

已授权的专利证明材料为专利证书复印件或扉页，已公开但尚未授权的专利申请

证明材料为专利公开通知书复印件或扉页，未公开的专利申请的证明材料为专利申请

号和申请日期。

202X-XX-XX发布202X-XX-XX实施

中国电子工业标准化技术协会发布

T/CESAXXXX—202X

目次

前言III

1范围1

2规范性引用文件1

3术语和定义1

4参考架构3

4.1概述3

4.2多模态模拟诊疗数据采集3

4.3多模态特征提取4

4.4多模态特征融合处理4

4.5多模态模拟诊疗感知结果5

5业务流程5

参考文献6

II

T/CESAXXXX—202X

多模态模拟诊疗行为感知系统参考架构

1范围

本文件确立了多模态模拟诊疗行为感知系统参考架构。

本文件适用于多模态模拟诊疗行为感知系统的设计、开发和应用。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T21023-2007中文语音识别系统通用技术规范

GB/T36464.1-2020信息技术智能语音交互测试方法第1部分：语音识别

GB/T40691-2021人工智能情感计算用户界面模型

3术语和定义

下列术语和定义适用于本文件。

3.1

多模态数据multimodeldata

多种异构模态数据，包括音频数据、视频数据、文本数据等。

注：本文件中多模态数据指模拟诊疗过程发生的问诊、操作等相关的语音、情绪、动作等相关音频、视频数据。

3.2

模拟诊疗simulateddiagnosisandtreatment

一种教学方法或训练方式，用于医学教育、诊疗培训相关领域。通过模拟真实的诊疗环境，让被试

者对模拟的/虚拟的患者进行诊疗。

注：模拟诊疗通常使用虚拟患者模型（如患者实体模型、虚拟3D数字人等）来模拟各种疾病的症状和体征。被试者

通过病史询问、体格检查、制定治疗方案等，并可能面临各种复杂的诊疗情况和决策。

3.3

模拟诊疗行为simulateddiagnosisandtreatmentbehavior

对于患者诊断治疗所产生的，涉及语音问诊、情绪识别、治疗产生的动作等行为。

3.4

语音识别speechrecognition

1

T/CESAXXXX—202X

将人类的声音信号转化为文字或指令的过程。

[来源：GB/T21023-2007，3.1]

3.5

语音交互speechinteraction

人类和功能单元之间通过语音进行的信息传递和交流活动。

[GB/T36464.2-2018,定义3.1]

3.6

情