面向阿拉伯语理解基于TransformerAraBERT模型.pdfVIP

AraBERT：面向语理解的基于

Transformer的模型

WissamAntoun*，FadyBaly*，Hazem

HajjAmericanUniversityofBeirut{wfa07，fgb06，

hh63}@.lb

语是一种形态丰富的语言，资源相对较少，语法结构相较于英语也较为不明确。鉴于这些限制，语自然语言处

理（NLP）任务，如分析（SA）、命名实体识别（NER）和问答（QA），已被证明非常具有性。，随着基于

Transformer模型的兴起，特定语言的BERT模型在语言理解方面表现出非常高的效率，前提是它们已经在非常大的语料库

上进行了预训练。这些模型能够设定新的，并在大多数NLP任务中达到最先进水平。在本文中，我们专门为语预

1

2训练了BERT，以期实现BERT在英语中取得的成功。AraBERT的性能与