预训练大模型与医疗：从算法研究到应用PPT.docx

预训练大模型与医疗：从算法研究到应用

闾海荣博士|清华大学自动化系福州，CHIMA2023

CONTENTS

1.预训练大模型概述

2.理解大模型的内在机理

3.赋予模型精准性与可解释性

4.医疗领域应用

5.清华探索：数基生命

Page2TsinghuaConfidential|

Page2

预训练：从大数据到小数据①关于预训练少量特定领域标注数据（成本高）大数据（低成本无标注）微调小模型

预训练：从大数据到小数据

①关于预训练

少量特定领域标注数据

（成本高）

大数据（低成本无标注）

微调小模型（学习特性）

预训练大模型（学习共性）

1.模型角度：模型参数不再是随机初始化，而是通过一些任务（如语言模型）进行预训练；2.数据角度：将训练任务拆解成共性学习和特性学习两个步骤。

TsinghuaConfidential|lvhairong@

Page3

②剖析大模型

③精准可解释

④医疗应用

⑤数基生命

以英文电子病历后结构化为示例英文电子病历后结构化A①关于预训练不懂英文电子病历后结构化英文B懂英文英文电子病历后结构化C懂英文的医生TsinghuaConfidential

以英文电子病历后结构化为示例

英文电子病历后结构化

A

①关于预训练

不懂英文

电子病历后结构化

英文

B

懂英文

英文电子病历

后结构化

C

懂英文的医生

TsinghuaConfidential|lvhairong@

Page4

②剖析大模型

③精准可解释

④医疗应用

⑤数基生命

Transformer架构：预训练的基石

①关

①关于预训练

②剖析大模型

③精

③精准可解释

④医疗应用

从word2vec到Tran

从word2vec到Transformer

从context-free到context-aware

⑤

⑤数基生命

Page5TsinghuaConfidential|lvhairong@

Page5

两类典型的大语言模型BERT和GPT

两类典型的大语言模型

①关于预训练BERT：BidirectionalEncoder

①关于预训练

双向模型，同时考虑前文和后文

②剖析大模型

②剖析大模型

（nextsentenceprediction）进行预训练，使得模型能够学习到上下文

关系和词汇语义

关系和词汇语义

通常用于文本分类、序列标注、问答等任务

③精

③精准可解释

④医疗应用

⑤数基生命

GPT

GPT：GenerativePre-trainedTransformer

单向模型，只考虑前文，不考虑后文

采用自回归（autoregressive）的方式生成文本，即逐个生成下一个词

通常用于生成文本、对话、问答等任务

Page6TsinghuaConfidential|lvhairong@

Page6

BERT训练

①关于预训练

②剖析大模型

③精

③精准可解释

④医疗

④医疗应用

BERT

BERT主要采用掩码语言模型（maskedlanguagemodel，对应图MaskLM）和下一句预测任务（nextsentenceprediction，对应图NSP）进行预训练，使得模型能够学习到上下文关系和词汇语义。预训练好的BERT可以用于对输入文本进行编码，得到具有语义的向量表示。

预训练好的BERT也可以通过微调（fine-tuning）方式适配各类NLP任务：TheStanfordQuestionAnsweringDataset问答（SQuAD）、命名实体识别（NER）、MNLI任务（大规模分类任务，目标是预测第二个句子相对于第一个句子是包含，矛盾还是中立）

⑤

⑤数基生命

TsinghuaConfidential|lvhairong@