基于神经网络的跨语言命名实体识别研究综述.docVIP

基于神经网络的跨语言命名实体识别研究综述

跨语言命名实体识别（Cross-lingualNamedEntityRecognition,Cross-lingualNER）旨在突破单语语料资源限制，将资源丰富语言（如英语）的NER知识迁移到低资源或零资源语言中，是自然语言处理领域支撑多语言信息抽取、跨语言问答、机器翻译等下游任务的关键基础技术。早期跨语言NER研究多依赖平行语料、双语词典或人工设计的语言无关特征，面临迁移成本高、泛化能力弱、小语种适配难度大等瓶颈。随着深度学习技术的发展，神经网络模型强大的语义表征能力与跨语言知识迁移能力为跨语言NER提供了全新的解决方案，相关研究在近十年呈现爆发式增长，形成了基于并行数据、基于预训练语言模型、基于元学习等多个技术分支。

基于并行数据的跨语言NER神经网络方法

并行数据（包括平行句对、多语言对齐语料）是早期神经网络跨语言NER的核心数据基础，其核心思路是通过词级别或句子级别的对齐关系，将高资源语言的实体标签投影到低资源语言侧，实现监督信号的跨语言迁移。

词级对齐的标签投影方法

该类方法首先利用自动词对齐工具（如GIZA++、FastAlign）获取平行语料中源语言与目标语言的词对应关系，随后将源语言句子的NER标签按照对齐关系直接投影到目标语言单词上，生成目标语言的弱标注训练数据。早期代表性工作是2016年提出的跨语言BiLST