基于字位信息中文分词方法研究.pdfVIP

总第１６４期　２００８年　第５期 基于字位信息的中文分词方法研究 张金柱　张　东　王惠临 （中国科学技术信息研究所　北京 １０００３８） 【摘要】分析中文自动分词的现状，介绍和描述几种不同的分词思想和方法，提出一种基于字位的分词方法。此 分词方法以字为最小单位，根据字的概率分布得到组合成词的概率分布，因此在未登录词识别方面比其它方法有 更优秀的表现。使用最大熵的机器学习方法来进行实现并通过两个实验得出实验结果的比较分析。 【关键词】中文分词　字位　最大熵　未登录词识别 【分类号】ＴＰ３１１　ＴＰ１８ ＴｈｅＲｅｓｅａｒｃｈｏｆＣｈａｒａｃｔｅｒ－Ｐｏｓｉｔｉｏｎ－ＢａｓｅｄＣｈｉｎｅｓｅＷｏｒｄＳｅｇｍｅｎｔａｔｉｏｎ ＺｈａｎｇＪｉｎｚｈｕ　ＺｈａｎｇＤｏｎｇ　ＷａｎｇＨｕｉｌｉｎ （ＩｎｓｔｉｔｕｔｅｏｆＳｃｉｅｎｔｉｆｉｃａｎｄＴｅｃｈｎｉｃａｌＩｎｆｏｒｍａｔｉｏｎｏｆＣｈｉｎａ，Ｂｅｉｊｉｎｇ１０００３８，Ｃｈｉｎａ） 【Ａｂｓｔｒａｃｔ】ＴｈｉｓｐａｐｅｒａｎａｌｙｓｅｓｔｈｅａｃｔｕａｌｉｔｙａｎｄｉｎｔｒｏｄｕｃｅｓｓｅｖｅｒａｌｄｉｆｆｅｒｅｎｔｒｅｐｒｅｓｅｎｔａｔｉｖｅａｐｐｒｏａｃｈｅｓｏｆＣｈｉｎｅｓｅｗｏｒｄ ｓｅｇｍｅｎｔａｔｉｏｎ，ｔｈｅｎｂｒｉｎｇｓｏｕｔａｃｈａｒａｃｔｅｒ－ｐｏｓｉｔｉｏｎ－ｂａｓｅｄｓｅｇｍｅｎｔａｔｉｏｎｍｅｔｈｏｄｗｈｉｃｈｔａｋｅｓｔｈｅＣｈｉｎｅｓｅｃｈａｒａｃｔｅｒａｓｔｈｅ ｌｅａｓｔｕｎｉｔ．ＩｔｉｎｄｉｃａｔｅｓｔｈｅｐｒｏｂａｂｉｌｉｔｙｄｉｓｔｒｉｂｕｔｉｏｎｏｆａｗｏｒｄｔｈｒｏｕｇｈｔｈｅｐｒｏｂａｂｉｌｉｔｙｄｉｓｔｒｉｂｕｔｉｏｎｏｆＣｈｉｎｅｓｅｃｈａｒａｃｔｅｒ，ｓｏｉｔ ｐｌａｙｓｍｕｃｈｂｅｔｔｅｒｔｈａｎｏｔｈｅｒａｐｐｒｏａｃｈｅｓｉｎｕｎｋｎｏｗｎｗｏｒｄｒｅｃｏｇｎｉｔｉｏｎ．Ｔｈｉｓｉｄｅａｔａｋｅｓａｍａｃｈｉｎｅ－ｌｅａｒｎｉｎｇｍｅｔｈｏｄｃａｌｌｅｄ ｍａｘｉｍｕｍｅｎｔｒｏｐｙｆｏｒｉｍｐｌｅｍｅｎｔａｔｉｏｎａｎｄｔｗｏｅｘｐｅｒｉｍｅｎｔｓｆｏｒｃｏｍｐａｒｉｎｇａｎｄａｎａｌｙｚｉｎｇｔｈｅｒｅｓｕｌｔｓ． 【Ｋｅｙｗｏｒｄｓ】Ｃｈｉｎｅｓｅｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎ　Ｃｈａｒａｃｔｅｒ－ｐｏｓｉｔｉｏｎ　Ｍａｘｉｍｕｍｅｎｔｒｏｐｙ　Ｕｎｋｎｏｗｎｗｏｒｄｒｅｃｏｇｎｉｔｉｏｎ 　　汉语自动分词是中文信息处理领域的一项基础性课题，也是智能化中文信息处理的关键，它在机器翻译、信 ［１］ 息检索、文本分类等中文信息处理的各项任务中都发挥着基础性的重要作用 。“词”的定义未确定、分词和理 ［２］ 解、孰先孰后、歧义切分字段处理以及未登录词识别等仍是中文自动分词的热点和难点问题 ，这些问题的解决 是自动分词前进和发展的关键。 　　当前，已有许多分词方法被应用到中文切分中，这些分词方法可分为３大类：基于字符串匹配的分词方法、基 ［３］ 于理解的分词方法和基于统计的分词方法 。基于字位信息的中文分词方法较当前一些分词方法有其特定的优势： 　　（１）更好地处理未登录词识别问题，同时兼顾歧义处理； 　　（２）对于不同的分词标准，只要有与此标准匹配的语料库，便能得到相应标准的切分结果； 　　（３）对于不同的应用，如机器翻译与全文检索，只要调整语料库的分词颗粒度，也可得到相应的切分结果。 １　基于字位分词方法的提出 　　中文词不像英文单词那样有空格分隔符，因而中文分词的关键就在于在句子合适的地方加上词语的分隔 符［４］，从而得到词语的序列。如果假想有这样一种语言：把所有词语的边界位置都用某些符号的有限集来表示， 用这个符号集的某一子集来表示词语的开始，用另一个子集表示词语的结束，而且这两个子集互相独立。这样， 　　收稿日期：２００７－１２－２８ 　　收修改稿日期：２００８－０１－２１ 　　 本文系中国科学技术信息研究所学科建设项目“语言技术与知识技术”（项目编号：２００７ＤＰ０１－８）和国家科技支撑计划课题“多语言信  息服务环境关键技术研究与