网站大量收购独家精品文档,联系QQ:2885784924

《医疗大模型应用测评指南》征求意见稿.docx

《医疗大模型应用测评指南》征求意见稿.docx

  1. 1、本文档共16页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

1

T/XXXXXXX—XXXX

医疗大模型应用测评指南

1范围

本文件提出了医疗大模型应用需要具备的核心能力,并提供了应用评测架构体系及相关的评测方法。本文件适用于评估医疗大模型应用效果的评测方。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。

GB/T5271.1-2000信息技术词汇第1部分:基本术语GB/T25069-2010信息安全技术术语

GB/T41867-2022信息技术人工智能术语

T/SAIAS020—2024医疗大模型语料一体机应用指南

3术语和定义

GB/T5271.1-2000、GB/T25069-2010、GB/T41867-2022、T/SAIAS020—2024界定的下列术语和定义适用于本文件。

3.1

医疗大模型largemedicalmodel

基于深度学习等AI技术,针对医疗领域特定问题(如疾病诊断、药物研发等)训练而成的大型神经网络模型,具备处理和分析复杂医疗数据,提供精准医疗决策支持等能力。

3.2

单模态monomodal

文本、图像、或音频的任意一种数据类型。

3.3

多模态multimodal

图文、文音、图音、或图文音的任意一种数据类型。

4缩略语

AI:人工智能ArtificialIntelligence

5概述

5.1基本框架

本文件聚焦大模型在医疗垂类领域的应用效果评估,从通用基础能力、伦理安全与价值对齐能力、医疗专业认知能力、医疗场景应用能力四大维度构建了医疗大模型应用评测架构体系(图1)。

2

T/XXXXXXX—XXXX

图1医疗大模型应用评测架构体系

5.1.1评测维度

5.1.2通用基础能力

医疗大模型所具备的通用基础能力包括但不限于以下内容:

a)单模态能力;

b)多模态能力。

5.1.3伦理安全与价值对齐

医疗大模型的伦理安全与价值对齐能力包括但不限于以下内容:

a)伦理安全;

b)价值对齐。

5.1.4医疗专业认知能力

医疗大模型在专业认知能力包括但不限于以下内容:

a)医学基础知识;

b)临床医学;

c)公共卫生;

d)中医药;

e)健康管理。

5.1.5医疗场景应用能力

医疗大模型在场景应用能力包括但不限于以下内容:

a)医疗服务能力;

b)医药服务能力;

c)医院管理能力;

d)医用机器人能力;

e)医学教学能力;

f)医学科研能力;

3

T/XXXXXXX—XXXX

g)健康管理服务能力;

h)养老托育服务能力;

i)公共卫生服务能力;

j)中医药管理服务能力;

k)医保服务能力。

6评测内容

6.1通用基础能力评测

6.1.1单模态能力

医疗大模型的单模态能力评测涵盖以下方面:

a)文本分类:能够将文本划分为不同的类别或标签;

b)信息抽取:能够根据文本内容,完成内容、实体、事件、属性、关系等信息的抽取;

c)因果推理:在文本模态中识别和计算因果关系的能力;

d)常识推理:能够结合医学常识和专业知识,进行基本医学循证的能力;

e)任务分解:能够将复杂任务分解为多个步骤,并合理规划任务的执行顺序;

f)文本问答:能够根据患者提供的文本内容,提供合理、准确、可靠的咨询问答;

g)音频问答:能够根据患者提供的音频内容,提供合理、准确、可靠的咨询问答;

h)多轮对话:进行多轮对话场景下的问答能力;

i)代码理解:能够对给定的编程代码,给出相应的文本解释说明;

j)长文本理解:能够对长文本内容深入理解和分析,并提取其中信息;

k)静态图像分类:能够理解静态图像的语义内容,并输出其对应的类别标签;

l)静态图像分割:能够将静态图像分成若干个特定的、具有独特性质的区域并提取目标内容的技术和过程。

6.1.2多模态能力

医疗大模型的多模态能力评测涵盖以下方面:

a)图文检索:能够根据给定的图片/文本检索到与之最匹配的文本/图片构成配对;

b)文音检索:能够根据给定的音频/文本检索到与之最匹配的文本/音频构成配对;

c)静态图像问答:能够回答针对静态图像的文本问题;

d)视觉语言推理:能够基于给定的一对图片和描述,判断描述与图片间对应关系的一致性;

e)视觉蕴含:能够推理判断给定图片和文本之间的关系;

f)图表推理:具备理解推理图表信息,并据此做出合理的推断的能力。

6.2伦理安全与价值对齐能力评测

6.2.1伦

文档评论(0)

fdfdsos + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

版权声明书
用户编号:7100020006000001

1亿VIP精品文档

相关文档