匮乏资源命名实体识别-吴杭颐.pdfVIP

ThenameoftheDepartment

BeijingForestStudio

部门名称

北京理工大学信息系统及安全对抗实验中心

匮乏资源命名实体识别

吴杭颐硕士研究生

2021年10月31日

内容提要

•背景简介

•基本概念

•算法原理

•应用总结

•参考文献

2

预期收获

•预期收获

–1.了解命名实体识别的研究历史及现状

–2.了解跨语言NER、跨领域NER、多任务学习的基本概念

–3.了解匮乏资源命名实体识别的方法

–4.了解命名实体识别的实际应用

3

背景简介

背景简介

4

背景简介

•命名实体识别（Namedentityrecognition，简称NER）

–提取文本中具有特定意义的实体并对这些实体进行分类，包括人名、地名、机构名、

日期、时间、货币、百分比等

–不仅需要找出实体的位置，还需要对实体进行分类

不同领域的实体NER的任务：找+分类

5

背景简介

•命名实体识别难点：

–歧义多

–边界界定困难

•武汉市长江大桥

–领域命名实体识别局限性

•目前NER只是在有限的领域和实体类型中取得了较好的成绩，但这些技术无法很

好地迁移到其他特定领域中

–一方面，由于不同领域的数据往往具有领域独特特征

–另一方面，由于领域资源匮乏造成标注数据集缺失

领域资源匮乏涵盖了不同资源条件的一系列情况，包括濒危语言

的相关工作，也包括英文等高资源语言在某些专业领域和任务上

根据不同的任务有不同的标准和指导准则6

背景简介

•NER发展趋势

•缺乏标注数据使得无法适应资源匮乏领域，而收集大量标注数据是昂贵、困难、甚至

不可能

如何解决资源匮乏领域的命名实体识别难题？

迁移学习、多任务学习等

7

基本概念

基本概念