跨语言信息检索中基于本体的查询扩展模型研究.docVIP

跨语言信息检索中基于本体的查询扩展模型研究 　　摘要:网络的发展和世界语言的多样性使跨语言信息检索(CLIR,Cross Language Information Retrieval)倍受关注。但用户查询与文档用词不匹配成为影响检索效率的重要原因。为此,本文提出了一种基于领域本体的跨语言信息检索模型,以解决传统CLIR查询效率低下的问题。 　　关键词:智能信息检索;查询扩展;本体 　　中图分类号:G642 文献标识码:B 　　 　　1问题的提出 　　 　　现代企业的国际化导致企业内部存在多种语言,这使跨语言信息检索CLIR(Cross Language Information Retrieval)备受关注,可是现存的跨语言信息检索系统大多使用基于关键词的单纯字符匹配的检索策略,只有当查询词出现在文档中时,才有可能被找到,这种检索系统无法提供基于概念的智能检索。例如,用户输入查询“trip”,可是包含“journey”和“travel”的文档却不能够被检索出来。由于大量同义词和多义词的存在,用户查询相关文档时一些内容由于用词不同而无法被检索出来,这种用词不匹配问题是长期困扰并影响信息检索效率的重要原因之一。 　　解决此问题的有效的方法是使用查询扩展策略。查询扩展是将用户输入的原始查询请求经过概念提取后,自动地根据用户的语义,加入新的检索词或短语。最终的查询请求是基于用户原始查询请求中关键词的一系列同义词及相关词。经过查询扩展后的系统具有很高的查询效率。 　　要实现上面的智能查询,查询扩展的构造是非常关键的。当前构造查询扩展的方法大致有两种:一种是基于语义词典的方法,如WordNet;另外一种是基于统计的方法,如基于关联共现频率的统计方法。本文提出了一种基于双语本体(Ontology)的跨语言查询扩展模型,利用领域本体在知识表示和知识描述方面的优势,实现基于概念的智能查询扩展。我们构建了一个旅游领域的跨语言信息检索模型,使用基于旅游领域本体对查询进行扩展。结果表明采用基于本体的查询扩展方法能够有效改善检索的性能。 　　 　　2相关概念和技术 　　 　　(1)CLIR (Cross-Language Information Retrieval):用户用某种语言(比如中文)表示的检索条件,检索由多种语言(比如中文、英文、德文、日文等)组成的文档集,我们称之为跨语言信息检索。 　　(2) 本体:本体是共享概念模型的明确的形式化规范说明。这个定义包含了概念模型、形式化、明确、共享4层含义。概念模型,通过抽象出客观世界中一些现象的相关概念而得到的模型,其表示的含义独立于具体的环境状态;明确,所使用的概念及使用这些概念的约束都有明确的定义;形式化,Ontology是计算机可读的;共享,Ontology中体现的是共同认可的知识,反映的是相关领域中公认的概念集,它所针对的是团体而不是个体。 　　本体的目标就是捕获相关的领域知识,提供对该领域知识的共同理解,确定该领域内共同认可的词汇,并从不同层次的形式化模式上给出这些词汇和词汇之间相互关系的明确定义,为基于知识的信息检索提供基础。 　　 　　3系统结构和实施 　　 　　3.1模块功能 　　我们实现的是一个关于旅游知识的智能跨语言搜索引擎,利用本体在知识表述和知识描述方面的优势,对查询进行扩展,从而提高检索的效率。模型主要由四大模块组成:过滤模块,翻译模块,查询优化模块,和检索模块。下面将对各个模块进行介绍: 　　 　　#61548; 过滤模块 　　过滤模块的任务是对用户的输入进行中文分词,分词后过滤掉无用词,如“的”“呀”等,取出查询的中心词。过滤模块由中国科学院的分词系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)改进而来。先对用户的输入进行分词,然后过滤无用词,取出中心词。我们的智能检索系统就把这些中心词作为处理的对象。 　　#61548; 翻译模块 　　跨语言信息检索中,关键技术就是实现目标语言和源语言的统一。在系统中我们使用的是提问翻译策略,也就是将查询提问中的源语言翻译成目标语言,然后再利用由目标语言构成的检索去查找相关信息。我们采用的是基于专业词典的翻译方法。中心词经过翻译模块的翻译后,把翻译结果和原中心词一并传给语义模块,接下来语义模块对这些中心词进行语义处理。 　　#61548; 查询优化模块 　　查询优化模块是整个系统的核心部分,在查询优化模块中,我们利用本体良好的概念层次和对逻辑理解的支持,帮助信息搜索引擎对潜在的目标对象进行甄别和判断,从而构建智能化的搜索引擎。在这里,我们使用了英汉本体库分别对中英文关键词进行扩展。