汉英跨语言检索系统中关键词提取方法的研究.docVIP

汉英跨语言检索系统中关键词提取方法的研究 　　(东南大学 影像科学与技术实验室,江苏 南京 210096) 　　摘要:设计与实现了基于语句的汉英跨语言检索系统的关键词提取模块,关键词提取模块包括中文关键词提取和翻译转换两部分,此模块为后续的检索模块提供输入信息,其性能及效率对整个跨语言检索系统有重要影响。该文首先通过Dijkstra算法的改进方法求解分词的最短路径,实现了汉语检索语句的分词处理。然后以汉英双语词典为基础,对语法提取后的中文关键词实现了汉英翻译转换。最后提取的关键词供检索使用,实验结果表明用本文方法提取的关键词能满足检索要求。 　　关键词:跨语言检索;关键词提取;中文分词;翻译转换;自然语言处理 　　中图分类号:TP311文献标识码:A 文章编号:1009-3044(2009)28-7848-02 　　Research on the Keywords Extraction in Chinese-English Cross-Language Retrieval System 　　CHEN Wen-jun1,YU Wen-xue2 　　 (Lab of Image Science and Technology, Southeast University, Nanjing 210096, China) 　　Abstract: Keywords extraction module of Chinese-English cross-language retrieval system based on sentence is designed and implemented. Keywords extraction module, which is composed of Chinese keywords extraction and translation, provides input to the follow-up retrieval module and impacts significantly to the performance and efficiency of cross-language retrieval system. Firstly, the improved algorithm of Dijkstras algorithm is realized in Chinese word segmentation module. Secondly, based on Chinese-English bilingual dictionary, keywords are transformed from Chinese to English in translation module. Finally, keywords extracted will be applied to retrieval module. Experimental results show that the extraction method in this paper meets the system requirement. 　　Key words: cross-language retrieval; keywords extraction; Chinese word segmentation; translation transforming; natural language processing 　　在当今的信息时代,网上每天都有海量的数字化信息在生成、存储、传播和转换,这种趋势不可避免地加剧了信息获取的困难。 　　目前的搜索引擎大都采用以关键词检索为基础的检索技术,用户是以输入检索关键词的形式向搜索引擎提出请求,而不是以自然语言形式提供。事实上,用户更习惯于用自然语言来描述一个问题而不是用一系列的关键词[1],因此解决这一问题的有效途径就是如何从完整语句中提取关键词。 　　同时,语言障碍越来越成为一个严重问题。跨语言信息检索(CLIR)提供了一种方便的途径,使用户能够使用自己熟悉的语言提交查询,而检索结果却为另一种语言的文档[2]。 　　汉语和英语是世界上使用最为广泛的两种语言,因此汉英跨语言检索已成为跨语言检索研究领域的一个重要方向。而对于基于语句的跨语言检索系统,关键词提取的性能及效率对系统有重要影响[3],是关键模块之一,它需要解决下列问题。 　　首先,与英语等语言不同,一个汉语句子由一串前后连续的汉字组成,词与词之间没有明显的分界标志。但在自然语言理解中,词是最小的、能独立活动的、有意义的语言成分。中文分词就是把没有分割标志的汉字串(没有词的边界)转换到符合语言实际的词串[4]。