繁体中文拼写检错研究-计算机应用技术专业论文.docxVIP

万方数据 万方数据 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘要 繁体中文拼写检错指使用计算机自动检测繁体中文文本中是否存在汉字误用的技术，是 中文信息处理领域的一个重要研究课题，是许多自然语言处理系统的重要部分，如搜索引擎、 文字处理软件等系统。与西方常用的语言如英语相比，中文语言有更加复杂的语言特性：词 与词之间没有明显的分隔符、词语搭配复杂多样、语法搭配复杂多样，所以繁体中文拼写检 错的研究比英文更加困难。 简体中文拼写检错的研究早于繁体中文拼写检错的研究，所形成的主要方法包括基于规 则、基于统计、以及基于特征与学习的方法，然而这些方法基于简体语料库，并且无法适用 于多种拼写错误的检测，因此它们仅能作为参考方法。近年来，随着繁体中文拼写检错评测 的开展，繁体中文拼写检错的研究已经渐渐成为中文信息处理领域研究的热点。 本文以检测繁体文本中存在的拼写错误为研究目标，提出三种有效的检错方法： （1）首先本文提出一种基于字串切分统计词典的检错方法，利用语料库中字串出现的频 率信息作为检错依据，根据字串及其频率信息来建立统计词典，并设计了基于统计规则评判 的检错算法。 （2）其次本文提出一种基于图模型与词性 bi-gram 模型的繁体中文拼写检错方法，以中 文分词为基础，将分词结果和可疑词替换结果以图模型来表示，并辅以词性 bi-gram 模型来 确定最终错误字。 （3）最后本文针对常用助词“的、地、得”的错误，提出一种基于上下文词性统计模型 的方法，该方法利用训练语料库建立上下文词性统计模型，并依据模型来判断助词使用是否 正确。 本文以繁体中文拼写评测数据集为实验数据集，对提出的三种检错方法都进行了实验验 证，并与现有的检错方法进行对比，实验结果说明本文的研究方法可以取得了较好的效果， 进一步地推动了繁体中文拼写检错技术的发展。 关键词: 中文语言处理，拼写检错，中文分词，n-gram 统计模型，词性标注 I Abstract Traditional Chinese spelling error detection is an important research subject in the field of Chinese language processing, as well as an important component of many natural language processing systems, including search engines, word processors and so on. Compared with some western languages such as English, Chinese spelling error detection is more complex because there is no word delimiter in Chinese texts, and the collocations of Chinese words and the grammatical are complicated. The Simplified Chinese spelling error detection has been researched earlier than Traditional Chinese spelling error detection. After years of research, three main techniques have been summarized to solve the problem of Simplified Chinese spelling error detection,