一种改进的基于n-gram的古汉语断句与标点方法.pdfVIP

第３０卷第２期集美大学学报（自然科学版）Ｖｏｌ．３０Ｎｏ．２

２０２５年３月ＪｏｕｒｎａｌｏｆＪｉｍｅｉＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅ）Ｍａｒ．２０２５

［文章编号］１００７－７４０５（２０２５）０２－０１９８－０７ＤＯＩ：１０．１９７１５／ｊ．ｊｍｕｚｒ．２０２５．０２．１２

一种改进的基于ｎ⁃ｇｒａｍ的古汉语断句与标点方法

秦瑞琳

（集美大学计算机工程学院，福建厦门３６１０２１）

［摘要］古汉语文本的自动断句与标点对提高我国古籍整理的自动化水平具有重要意义。现有古汉语

断句与标点算法大多缺少对前后标点间相互影响的考虑。针对这一问题，本文提出一种改进的基于ｎ⁃ｇｒａｍ

的古汉语断句与标点方法。该方法综合考虑了二元组到五元组的上下文信息，加权计算当前位置标点的概

率，并据此辅助计算前后位置标点的概率，从而反映出前后标点间的相互影响。在多种古籍语料上的实验

表明，所提方法在断句任务上能够取得比现有ｎ⁃ｇｒａｍ和ＧＲＵ⁃ＲＮＮ模型更高的Ｆ值，且在部分语料上的断

１

句与标点性能优于ＢｉＬＳＴＭ＋ＣＲＦ模型。

［关键词］古汉语；断句；标点；ｎ⁃ｇｒａｍ模型；深度学习

［中图分类号］ＴＰ３９１

ＡｎＩｍｐｒｏｖｅｄＭｅｔｈｏｄＢａｓｅｄｏｎｎ⁃ｇｒａｍＭｏｄｅｌｆｏｒＡｎｃｉｅｎｔ

ＣｈｉｎｅｓｅＳｅｎｔｅｎｃｅＳｅｇｍｅｎｔａｔｉｏｎａｎｄＰｕｎｃｔｕａｔｉｏｎ

ＱＩＮＲｕｉｌｉｎ

ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇＪｉｍｅｉＵｎｉｖｅｒｓｉｔｙＸｉａｍｅｎ３６１０２１Ｃｈｉｎａ

ＡｂｓｔｒａｃｔＴｈｅａｕｔｏｍａｔｉｃｓｅｎｔｅｎｃｅｓｅｇｍｅｎｔａｔｉｏｎａｎｄｐｕｎｃｔｕａｔｉｏｎｏｆａｎｃｉｅｎｔＣｈｉｎｅｓｅｔｅｘｔｓａｒｅｏｆｇｒｅａｔｓｉｇ⁃

ｎｉｆｉｃａｎｃｅｔｏｔｈｅｉｍｐｒｏｖｅｍｅｎｔｏｆｔｈｅａｕｔｏｍａｔｉｃｌｅｖｅｌｏｆＣｈｉｎｅｓｅａｎｃｉｅｎｔｂｏｏｋｓ．Ｍｏｓｔｏｆｔｈｅｅｘｉｓｔｉｎｇａｌｇｏｒｉｔｈｍｓ

ｌａｃｋｔｈｅｃｏｎｓｉｄｅｒａｔｉｏｎｏｆｔｈｅｉｎｔｅｒａｃｔｉｏｎｂｅｔｗｅｅｎｔｈｅｐｒｅｃｅｄｉｎｇａｎｄｔｈｅｆｏｌｌｏｗｉｎｇｐｕｎｃｔｕａｔｉｏｎｍａｒｋｓ．Ｔｏａｄｄｒｅｓｓ

ｔｈｉｓｉｓｓｕｅｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｎｉｍｐｒｏｖｅｄｍｅｔｈｏｄｂａｓｅｄｏｎｎ⁃ｇｒａｍｍｏｄｅｌ．Ｔｈｅｍｅｔｈｏｄｃｏｍｐｒｅｈｅｎｓｉｖｅｌｙｃｏｎ⁃

ｓｉｄｅｒｓｔｈｅｃｏｎｔｅｘｔｕａｌｉｎｆｏｒｍａｔｉｏｎｆｒｏｍ２⁃ｇｒａｍｓｔｏ５⁃ｇｒａｍｓａｎｄｃａｌｃｕｌａｔｅｓｔｈｅｐｕｎｃｔｕａｔｉｏｎｐｒｏｂａｂｉｌｉｔｙｏｆｃｕｒｒｅｎｔ

ｐｏｓｉｔｉｏｎｂｙｗｅｉｇｈｔｉｎｇｗｈｉｃｈｆｕｒｔｈｅｒａｓｓｉｓｔｓｉｎｃａｌｃｕｌａｔｉｎｇｔｈｅｐｕｎｃｔｕａｔｉｏｎｐｒｏｂａｂｉｌｉｔｙｏｆｔｈｅｐｒｅｃｅｄｉｎｇａｎｄｔｈｅ

ｆｏｌｌｏｗｉｎｇｐｏｓｉｔｉｏｎｔｈｅｒｅｂｙｒｅｆｌｅｃｔｉｎｇｔｈｅｍｕ