中文文本分词研究Chinese Text Segmentation Research.pdfVIP

中文文本分词研究 摘 要 中文文本分词问题是中文信息处理的一个重要问题，这个问题解 决的好坏将直接影响中文信息处理的发展前景。目前学术界主要采用 计算机自动分词解决中文文本分词，但是这种方法不能完全解决分词 问题，这是因为计算机自动分词不能彻底地解决歧义字段的切分。那 么，歧义字段倒底有多少，有哪些表现形式，形成的原因又是什么。 为了对这个问题有一个充分的认识，我们对计算机的自动分词中的歧 义字段做了定量分析，研究了歧义字段的分类和形成原因。 论文分为六个部分: 一、 研究背景及问题的提出 中文文本分词在中文信息处理中有重要的作用，中文信息处理必 须解决中文文本分词问题。 二、 研究现状及存在的问题 目前中文信息处理中利用计算机 自动分词解决中文文本分词，虽 然取得了一定的成果，但是计算机自动分词存在一个重要的问题就是 不能彻底解决歧义字段切分。 三、 研究内容和思路 为了全面认识歧义字段的切分问题，我们采用受限语言的研究方 法，以((信息交换用汉字编码字符集— 基本集》中的3,755个一级 字为研究对象，以 信《息处理用现代汉语常用词词表》为参考，以典