基于语义信息分词后处理研究.pdfVIP

基于语义信息的分词后处理研究+ 郭丈宏张永奎余明山 f山西大学计算机科学系，太原．030006) 摘要 本文对分词错误作了分析，设计出一个分词后语料的语义类别模型．并在此基础上提出 了一个利用语义信息排除分词错谋的算法。该项研究作为中文信息处理的基础工作，对情报检索、自 动文摘、自动分类等领域的研究有一定价值。 关键词 歧义切分语义分娄体系义类组台 1引 言 在中文信息处理中，词的处理是基础，信息检索、自然语言理解、机器翻译等都 以词作为基本单位。尽管自动分词的研究已取得了大量进展以及许多实用性成果。但 分词的结果仍不能满足中文信息处理高标准的要求。 从某种意义上说，分词错误的多少反映机器对篇章理解的程度，而对篇章理解水 平的提高又可以增加排除歧义切分的准确度。当前的分词系统主要是基于单纯的机械 匹配及少量规则的基础上，大多语料经过分词处理后仍有一定数量的分词错误存在。 我们的研究目的就是利用语义信息对分词后的语料加以整理，一方面初步确定文本的 语义类别；另一方面希望提出一个有效的算法．提高排歧的精确度。本文通过对分词 后的语