基于深层语言模型的古汉语知识表示及自动断句研究 .pdfVIP

35卷第.1期中文信息学报Vol.35,No.4

2021年■!月JOURNAL()FCHINESEINFORMATIONPROCESSINGApr.,2021

文章编号：1003-0077(2021)04-0008-08

基于深层语言模型的古汉语知识表示及自动断句研究

胡韧奋U2,李绅、诸雨辰3

(1.北京师范大学中文信息处理研究所.北京100875;

2.北京师范大学汉语文化学院，北京100875;

3.北京师范大学文学院，北京100875)

•

摘要：古文句读不仅需要考虑当前文衣的语义和语境信息还需要综合历史文化常识，对专家知识有较高要求。

BERT)

该文提出了一种基于深层语言糢型（的古汉语知识表示方法，并在此基础上通过条件随机场和卷积神经网

F,99%95%92%

络实现了高精度的自动断句模型。在诗、词和古文三种文体上，模型断句值分别达到、和以上。

在表达较为灵活的词和古文文体上，模型较之传统双向循环神经网络方法的F,值提升幅度达到10%以上。实验

教据显示，模型能较好地捕捉诗词表达的节奏感和韵律感，也能充分利用上下文信息，实现语序、语法、语义、语境

等信息的编码。在进一步的案例应用中，该方法在已出版古籍的断句疑难误例上也取得了较好的效果。

关键词：古汉语；自动断句；深层语言模型

H087A

中图分类号：文献标识码：

KnowledgeRepresentationandSentenceSegmentationof

AncientChineseBasedonDeepLanguageModels

HURenfen2,LIShen,ZHUYuchen3

(1.InstituteofChineseInformationProcessing,BeijingNormalUniversity*Beijing100875»China；

2.CollegeofChineseLanguageandCulture*BeijingNormalUn