基于自监督增强Prompt学习的低资源环境下医疗命名实体识别方法研究.pdfVIP

目录

摘要I

AbstractIII

1绪论1

1.1研究背景及意义1

1.1.1研究背景1

1.1.2研究意义2

1.2国内外研究现状3

1.2.1命名实体识别3

1.2.2提示学习5

1.2.3自监督学习6

1.2.4大型语言模型7

1.3论文研究内容及结构8

1.3.1研究内容8

1.3.2论文贡献9

1.3.3论文结构10

2基于知识索引和双重提示的少样本医疗命名实体识别11

2.1问题引入11

2.2GKP-BioNER模型12

2.2.1GKP-BioNER模型框架12

2.2.2知识检索模块14

2.2.3编码器模块15

2.2.4解码器模块16

2.2.5生成索引模块16

2.2.6Prompt-Guided注意机制17

2.3实验结果与分析18

2.3.1实验数据集18

2.3.2评价指标19

2.3.3实验结果20

2.3.4分析验证22

2.4本章小结25

3基于对比学习和提示学习的少样本医疗命名实体识别26

3.1问题引入26

3.2ConP-BioNER模型27

3.2.1ConP-BioNER模型框架27

3.2.2提示模块28

3.2.3嵌入模块29

3.2.4映射模块30

3.2.5推理模块32

3.3实验结果与分析32

3.3.1实验数据集34

3.3.2实验结果35

3.3.3分析验证38

3.4本章小结41

4基于大模型生成的对抗学习少样本医疗命名实体识别43

4.1问题引入43

4.2LMAdv-BioNER模型44

4.2.1LMAdv-BioNER模型框架44

4.2.2样本生成模块45

4.2.3多语言BERT模块47

4.2.4多语言对抗训练47

4.3实验结果与分析48

4.3.1实验数据集48

4.3.2实验结果49

4.3.3分析验证52

4.4本章小结54

5总结与展望56

5.1论文总结56

5.2工作展望57

参考文献1

致谢8

攻读硕士期间主要研究成果9

摘要

随着众多智能医疗设备的出现，电子医疗系统中积累了大量的临床数据，为医学研究

和临床实践提供了丰富的数据资源。然而，要有效利用这些数据支持临床决策还面临着众

多挑战。其中，医疗命名实体识别（BiomedicalNamedEntityRecognition,BioNER），尤其

是少样本BioNER，是最具挑战性的难题之一。

命名实体识别在许多领域取得不错的效果，但是，BioNER仍然存在许多亟待解决的

问题。首先，医疗文本标记相对稀缺，难以支持大规模有监督的模型训练。其次，由于医

疗文本的专业性，一般领域NER方法难以直接应用在医疗文本上。虽然可以采用预训练模

型提升BioNER的结果，但是提升效果非常有限。最后，许多BioNER模型仅适用于英文

文本，由于多语言数据的分散性和低资源，这些模型难以有效利用多语言医疗文本数据。

针对上述挑战，论文对大量生物医学文本数据和NER相关成果进行深入分析和研究，

提出了一系列基于自监督增强提示学习（PromptLearning）的少样本医疗命名实体识别方

法，并实验证明了方法的有效性。本论文的主要创新成果如下：

（1