基于局部上下文特征的组合的中文真词错误自动校对研究.PDFVIP

Vo 1. 43 No. 12 第 43 卷第12 期 计算机科学 2016 年 12 月 Computer Science Dec 2016 基于局部上下文特征的组合的中文真词错误自动校对研究 刘亮亮1 曹存根2 (江苏科技大学计算机科学与工程学院 镇江 212003)1 (中国科学院计算技术研究所智能信息重点实验室 北京 100190)2 摘 要 中文的真词错误类似于英文的真词错误，指一个中文词错成另一个词典中的词。提出一种基于混淆集的真 词错误发现方法，通过对目标词的局部特征的提取，形成局部左邻接二元、右邻接二元及3 个三元特征，然后通过和目 标词对应的混淆集中的混淆词来估计二元概率和三元概率。最后提出一种多特征融合的模型，然后利用规则来判断 中文文本中的真词错误。将查错结采分为标记错误和更改错误两种类型，采用 18 纽混淆集，构造 2 万行的测试语料 进行实验。实验表明，该方法能有效地发现中文文本中的真词错误，并且能给出真词错误的修改建议。该方法是一种 集自动查错和自动纠错于一体的中文文本自动校对方法。 关键词 真词错误，混淆集，上下文特征，NGram 模型 中圄法分类号 TP391 文献标识码 A DOI 10. 11896/j. issn. 1002-137X. 2016. 12.005 Chinese Real-word Error Automatic Proofreading ßased on Combining of Local Context Features LIU Liang-liang1 CAO Cun-gen2 (School of Computer Science Engineering ,]iangsu University of Science and Technology ,Zhenjiang 212003 ,China) 1 (Key Laboratory of Intelligent Information Processing ,Institute of Computing Technology ,Chinese Academy of Sciences ,Beijing 100190 ,China)2 Abstract Similar to the English context-sensitive spelling correction ,real-word error in Chinese refers to the error that a Chinese word is misused to another Chinese W ord. In the pap町， a Chinese real word error detection and correction method based on confusion sets was proposed. This method extracts local feature around the aim word which forms left adjacent bigram ,right adjacent bigram and three trigrams. The probability of bigram and trigram are computed with the confusion words in the aim word s confusion set. A model based on multi-feature fusion was proposed and rules was used to