中文分词交集型歧义处理研究.pdf

摘要 摘要 词是最小的能独立表示语义的语言单位，因而是处理各种自然语言文本的基 础。汉语书写显得很特别，因为它没有明确的标志将词与词分开，而是一段连续 的汉字串。如何把汉字串正确地切分成词串，即对词边界的自动识别，是中文信 息处理中迫切需要解决的问题。对中文分词的研究很有意义，本文研究的是中文 分词中词典机制和交集型歧义的发现和消除。主要研究工作包括以下几个方面： (1)系统地阐述了中文分词研究背景、意义以及发展现状，并对一些有特 色的分词系统进行简单的介绍。 (2)对中文分词中常用的算法进行详细的介绍并举实例阐述其算法思想及 运行过程。对在中文分词过程中所遇到的困难进行了概括并给出了评价中文分词 的标准。 ． (3)分词速度和精度是衡量分词系统的核心指标。通过对几种常见的词典 结构的研究，发现各自词典结构的优缺点，在此基础上处于提高分词速度、提高 建构词典的空间效率、查找过程的时间效率以及汉语词组的统计规律的考虑，本 文选择双字Hash索引的词典机制，将前两字逐个建立Hash索引，并将剩余字串 有序排列组成词典的正文。 (4)本文主要对交集型歧义进行处理。首先介绍歧义产生的根源以及歧义 的分类。详细介绍了交集型歧义的发现算法和消解算法。本文发现了一种能识别 交集型歧义的方法，即在二元切分词图中，如果位于对称轴上的原子与它相连的 右边和上面位置上同时不为空，表明这里出现了交集型歧义。本文采用基于统计 的方法来对交集型歧义进行消解，先详细的介绍了几种基于统计的常见方法，并 分析它们的优缺点，最后采用双字耦合度和t一测试差的线性叠加，再对各个歧 andDifferenceof 义位置进行计算CDT(Couple T-test)并对是否进行切分做出选 择。实验结果表明，基于词典和统计相结合的分词算法对应于传统的分词算法在 分词速度和分词精度上都有显著的提高。然而该算法不能处理组合型歧义和未登 录词，有待进一步研究。 关键词：中文分词，Hash索引，分词算法，CDT 中文分词歧义处理研究 Abstract to semantic the isthesmallest unitshow is Word language independently,which foundationof withvariouskindsofnatural texts．Ris to dealing language veryspecial beChinese ithasnot clearto thewordfrom a writing,asany signseparate word，but into continuouscharacter tocutthecharacter word string．How string string，which meanstheautomaticidentificationofword a thatChinese boundary,iskeyproblem solvein researchforChineseword informationneedto processing urgent．The