自动标引中的歧义词消除方法研究 - CAAS IR - 主页 - 中国农业科学院.PDF

自动标引中的歧义词消除方法研究 王丹 杨晓蓉 （中国农业科学院农业信息研究所北京 100081） （农业部农业信息服务技术重点实验室 北京 100081） 摘要：面对网络环境下的海量信息要实现精准检索,首先要在文献的标引词中不能出现歧义 词。在中文自动标引过程中经常会产生诸多歧义词，导致检出信息的不切题或漏检。本文在 论述自动标引中歧义词消除方法的相关研究基础上，提出一种将穷举法和消歧规则相结合的 消除歧义词算法。本文涉及到的歧义词是特定环境下出现的，研究结果表明,这是一种行之 有效地消除歧义词的方法。 关键词：中文文本；自动标引；关键词提取；歧义词消除；算法研究 Elimination Method Study of Ambiguous Words in Chinese automatic indexing Wangdan Yangxiaorong Institute of Agricultural Information ，Chinese Academy of Agricultural Sciences ，Beijing 100081 ，China Key Laboratory of Agricultural Information Service Technology, Ministry of Agriculture, The People‘s Republic of China Abstract: Massive information in network environment to achieve precise retrieval, first ambiguous word cannot appear in the literature indexing word. A lot of ambiguous words often are produced in Chinese automatic indexing process, leading to retrieve information irrelevant or missed. The paper focuses on a method to eliminating the crossed meanings ambiguous words in the automatic indexing. The paper puts forward a method to eliminating ambiguous words combined algorithm of exhaustive method and disambiguation rules. Experiments show that it can avoid a great lot segmenting ambiguities with better segmenting results. Keywords: Chinese text ；Automatic indexing ；Keyword extraction ；Ambiguous words ； Elimination algorithm 1 1. 研究现状 中文是世界上主要语言之一，也是世界上使用人数最多的语言。目前人们通 过网络进行信息交流更为广泛，通过网络技术从网络信息中获取大量有意义的信 息和资料已成为重要手段。然而，中文的基本文字单元是字，由字组成词，词与 词之间不存在明显的分隔标记，不像西文那样单词之间用空格分割，西文的处理 （标引）技术不宜借鉴，这就造成中文信息处理技术的难度。中文信息处理，即 中文自动标引技术研究始自上世纪80 年代初，90 年代研究此技术人员很多，发 表了很多文献，至今方兴未艾。经过30 多年的研究与实践，中文信