跨语言信息检索在搜索引擎中的应用.docVIP

跨语言信息检索在搜索引擎中的应用 　　摘要：简单介绍了跨语言信息检索在搜索引擎中应用的必要性、重要性和最近的国内外应用状况。指出了对应用中存在的不足和缺陷，并相对应提出了改进建议。最后对跨语言信息检索在搜索引擎中的应用趋势进行了展望。 　　关键词：跨语言信息检索 CLIR 搜索引擎 　　1 概述 　　所谓跨语言信息检索（Cross-language Information Retrieval，CLIR），系指用户以一种语言（通常是自己的母语）提问，检出另一种或几种语言描述的信息资源的信息检索技术和方法。CLIR中，用户用以表达自己的信息需求、构造检索提问式的语言称为源语言（Source Language），被检索的信息资源所使用的语言称为目标语言（Target Language）。网络用户检索信息主要通过搜索引擎来达到其目的。就中国来说，CNNIC最新发布的《第25次中国互联网络发展状况统计报告》显示，截至2009年12月31日，中国网民规模达到3.84亿人。目前搜索引擎用户规模达到2.8亿人，年增长率为38.6%。搜索引擎的使用率为73.3%，较2008年增加了5.3个百分点，超过了即时通信成为网民使用互联网的第三大应用[1]。然而，网络资源语种的多样性和差异性成为了网络用户存取信息的巨大障碍。网络信息语种分布和网络用户语言分布不平衡。据Internet World Stas统计，截止2009年12月31日，目前全球18亿多网络用户所使用的语言依次为：英语27.7%，中文22.6% ，西班牙语7.8%，日语5.3%，葡萄牙语4.3%，德语4.0%，阿拉伯语3.3%，法语3.2%，俄语2.5%，韩语2.1%，其他语言17.2%。虽然笔者没有找到最近Web网页所使用的语言比率，根据Netcraft统计显示，截止2010年6月全球共有2亿多个网站[2]。而根据《第25次中国互联网络发展状况统计报告》统计结果，中国网站数量仅为232万个，比率刚刚超过10%，由此可见一斑。因此，CLIR是全球知识共享的关键因素，是跨越地理和语言障碍获取信息的技术需求。而且，网络用户需要CLIR工具，用其查找、检索和获悉任何语言和形式的相关信息[3]。 　　2 跨语言信息检索在搜索引擎中的应用现状 　　搜索引擎按语种分为单语种搜索引擎、多语种搜索引擎和跨语言搜索引擎等。它主要涉及信息检索和机器翻译两个领域的知识，但又不是这两种技术的简单融合。跨语言综合搜索引擎是在一般的搜索引擎基础上加了两个功能：不同语言提问的翻译和不同搜索引擎检索结果的集成。 　　2.1 跨语言搜索引擎 　　2.1.1 国内外概况。国外多数主流的搜索引擎一般具有跨语言检索的功能，如Google、Yahoo！、AltaVista和ixquick等。另外，对检索结果的翻译功能是CLIR技术的一个有机组成部分，是检验CLIR是否成熟以及是否具有实用性的重要指标[4]。此外，Google和AltaVista还能够实现网页翻译，极大地便利了网络用户浏览外文网站。如AltaVista的Babel Fish翻译个人网页多达10000个，当用户点击链接时，链接的网页也会自动翻译。 　　而具有CLIR功能的中文搜索引擎则较少。就笔者所知的只有传承自Yahoo！的雅虎中国搜索。另外，搜狗具有在线翻译功能[4]。 　　2.1.2 支持语种数量。Google Translate目前支持52种语言之间的任何翻译，Yahoo！也可以进行13种语言之间翻译整个网站的文字或短文的检索，AltaVista则可以在19种语言之间进行翻译。但是这些标榜CLIR的搜索引擎大多其实只是多个单语言模式搜索的集合，只有Google Translate可以算是真正意义上的跨语言搜索引擎。这仍将是CLIR发展的一个重要方向[5]。 　　2.1.3 工作流程。跨语言搜索引擎的工作流程可以简单的概括为：用户向系统提交检索词，形成一个源语言的搜索式。系统对搜索式进行语言识别，识别出语种后，就进行提问式的词法分析和结构分析，然后把这些分析过的搜索式翻译成各种语言的搜索式。最后把这一系列的搜索式提交给系统进行检索。系统再将检索到的结果反馈给用户。 　　Google Translate则在它的帮助文档中提到的：“Google Translate是一个自动翻译器，也就是说，它不受人类翻译的干预，而是以国家最先进的技术代替。现在大多数使用中的商业机器翻译系统已经开发了基于规则的方法，并且需要大量的工作来定义词汇和语法。我们的系统采用不同的方法，我们提供数十亿字词的文本给计算机，同时包括目标语言的集成文本，和由各种语言之间人类翻译实例构成的对齐文本。然后，我们应用统计学技术，来建立一个翻译模型。”可见，不同于传统的基于