基于ngram及依存分析的中文自动差错方法.pdf

基于n-gram 及依存分析的中文自动查错方法* 马金山 刘挺 李生 （哈尔滨工业大学计算机学院信息检索研究室 150001） E-mail: {mjs,tliu,ls}@ir.hit.edu.cn 摘 要：自动校对是自然语言处理领域中一个有着广阔应用前景的研究方向。本文使用字的三元模型对文本 进行局部的分析与错误查找，同时将依存文法分析应用于自动校对中，由于依存文法对句子进行全局分析， 指出了句子中词与词之间的依存关系，所以能够有效的查找出文本中的远距离搭配错误，补充了 n 元语法的 不足。结合对文本的散串分析，本文提出了一个较为理想的中文自动查错方法。 关键词：自动校对，自然语言处理，n-gram 模型，依存分析 A method of automatic detecting errors based on n-gram and dependency relationship analysis Ma Jinshan Liu Ting Li Sheng (Information Retrieval Lab, School of Computer Science and Technology, Harbin Institute of Technology, 150001) E-mail: {mjs,tliu,ls}@ir.hit.edu.cn Abstract: Automatic proofreading opens up broad possibilities for the application of natural language processing. In this paper, character trigram is used for analyzing the part of sentence and detecting local errors. Then dependency grammar is introduced into automatic proofreading. Dependency relationship analysis parses the whole sentence and denotes dominating and dominated relation among the words, so it is helpful to detect collocation errors with long distance, efficiently filling up the deficiency of n-gram. Finally an ideal system of automatic detecting errors is obtained with processing disperse string of text. Keywords: automatic proofreading, natural language processing, n-gram model, dependency relationship analysis 1 前言 自动校对是利用计算机自动查出在文本输入过程中产生的一些的错误，无论是对理论研究还 是对实际应用，这项工作都有着重要的意义。 * 本文受到家863 基金项目(2001AA114041)和国家自然科学基金项目的资助。 对中文的文本错误，一般将其分为三类：插入错误、替换错误和删除错误。例如： 把学生氛围 （分为）两组。（替换错误） 不断演深化经济体制改革。（插入错误） 我们联合起来追（求）共同的目标。（删除错误） 这里，我们根据错误对整个句子的影响及采用的不同校对方法，将文本中的错误分成两种类 型：局部错误和全局错误。 局部错误是指字词一级的错误，表现为错误和邻接的词语共现不合理，引起句子的局部异