《医疗大模型应用测评指南》征求意见稿.pdf

T/XXXXXXX—XXXX

医疗大模型应用测评指南

1范围

本文件提出了医疗大模型应用需要具备的核心能力，并提供了应用评测架构体系及相关的评测方法。

本文件适用于评估医疗大模型应用效果的评测方。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T5271.1-2000信息技术词汇第1部分：基本术语

GB/T25069-2010信息安全技术术语

GB/T41867-2022信息技术人工智能术语

T/SAIAS020—2024医疗大模型语料一体机应用指南

3术语和定义

GB/T5271.1-2000、GB/T25069-2010、GB/T41867-2022、T/SAIAS020—2024界定的下列术语和

定义适用于本文件。

医疗大模型largemedicalmodel

基于深度学习等AI技术，针对医疗领域特定问题（如疾病诊断、药物研发等）训练而成的大型神经

网络模型，具备处理和分析复杂医疗数据，提供精准医疗决策支持等能力。

单模态monomodal

文本、图像、或音频的任意一种数据类型。

多模态multimodal

图文、文音、图音、或图文音的任意一种数据类型。

4缩略语

AI：人工智能ArtificialIntelligence

5概述

基本框架

本文件聚焦大模型在医疗垂类领域的应用效果评估，从通用基础能力、伦理安全与价值对齐能力、

医疗专业认知能力、医疗场景应用能力四大维度构建了医疗大模型应用评测架构体系（图1）。

1

T/XXXXXXX—XXXX

图1医疗大模型应用评测架构体系

5.1.1评测维度

5.1.2通用基础能力

医疗大模型所具备的通用基础能力包括但不限于以下内容：

a)单模态能力；

b)多模态能力。

5.1.3伦理安全与价值对齐

医疗大模型的伦理安全与价值对齐能力包括但不限于以下内容：

a)伦理安全；

b)价值对齐。

5.1.4医疗专业认知能力

医疗大模型在专业认知能力包括但不限于以下内容：

a)医学基础知识；

b)临床医学；

c)公共卫生；

d)中医药；

e)健康管理。

5.1.5医疗场景应用能力

医疗大模型在场景应用能力包括但不限于以下内容：

a)医疗服务能力；

b)医药服务能力；

c)医院管理能力；

d)医用机器人能力；

e)医学教学能力；

f)医学科研能力；

2

T/XXXXXXX—XXXX

g)健康管理服务能力；

h)养老托育服务能力；

i)公共卫生服务能力；

j)中医药管理服务能力；

k)医保服务能力。

6评测内容

通用基础能力评测

6.1.1单模态能力

医疗大模型的单模态能力评测涵盖以下方面：

a)文本分类：能够将文本划分为不同的类别或标签；

b)信息抽取：能够根据文本内容，完成内容、实体、事件、属性、关系等信息的抽取；

c)因果推理：在文本模态中识别和计算因果关系的能力；

d)常识推理：能够结合医学常识和专业知识，进行基本医学循证的能力；

e)任务