基于Lucene／XML的全文检索机制研究.pdfVIP

总第 105期 闺 ．徂 ．乞^ NO．105 2005年 6月 Jun．，2005 基于Lucene／XML的全文检索机制研究 周 宁 谷宏群 (武汉大学信息管理学院，武汉，430072) [摘要] 本文简述 了网络环境下站内全文检索的必要性，对 XML及基于Java的全文索引工具包 Lucene进行 了简介，探讨 了使用 XML技术及 Lucene进行站 内全文检索的实现机制。 [关键词] 全文检索 LuceneXML [中图分类号]G252．7 [文献标识码]A [文章编号]1003—2797(2005)03—0075—03 1 站 内全文检索的必要性 更具访问性 ，保证了检索结果具有针对性和更加准 目前，很多站点都使用 Google的站内检索功能 确。XML文件 的作者可以选择性地利用 DTD或 来代替 自己的站 内数据库”全文”检索。但依靠 XML模式 (XMLSchema)来确认文件的有效性，而 Google这样 的大型搜索引擎做站 内检索会有以下 HTML不具有这个性质。XML还包括可扩展格式 弊端 ： 语言 XSL和可扩展链接语 言 XLL。XSL用于将 (1)数量有限。搜索引擎不会深度遍历一个网站， XML数据翻译为 HTML或其它格式 的语言。它 而将网站所有内容都索引进去，如Google就喜欢静态 提供了一种叠式页面功能，可以构造出具有表达层 网页，而且是最新更新的，而不喜欢带?的动态网页， 结构的页面，以有别于 XML的数据结构。它还可 Google甚至会定期将缺少入 口的网站内容逐渐抛弃。 解释数量不限的标记，使 Web页面更加丰富多彩， (2)更新慢。搜索引擎针对站点的更新频率是有一 并可处理多国文字、汉字显示和网格处理等。 定周期的，很多内容需要一定时间后才能进入 Google XML在后台数据交换方面 ，有着巨大的潜力。 的索引。目前GoogleDance的周期是 21天左右。 在前台表现方面，XML并不会马上代替 HTML，很 (3)内容不精确。搜索引擎需要通过页面内容 多通过 XSLT输 出的HTML仍然需要结合 CSS来 提取技术将导航条 、页头页尾等内容过滤掉，反而不 进行表现。XML= XSLT=害》HTML+CSS。但是 如直接从后台数据库提取数据来得直接，这种摘要 由于太多的网页都是用 HTML做的，相信 XML没 和排重机制是很难实现的。 有必要马上代替这些已有的机制 。 (4)无法控制输出。也许有更多的输出需求，按 此外在应用的国际化支持方面，XML和 Java简 时间排序、按价格、按点击量、按类 目过滤等。 直是绝配：XML数据源用Java解析后是 UNICODE， 2 为什么使用XML 这样无论是 日文、繁体中文还是德文的内容我们都可 XML(ExtensibleMarkupLanguage)称为可 以在一个索引库中同时进行搜索。这样针对其他语 扩展标记语 言，是一种新 的标记语 言规范。它是 言的支持只是设计各种语言界面的问题了。 Web标准化组织 W3C对复杂 的SGML进行简化 。 ＼ ／ ㈣ 后制定的一种标记语言规范，是 SGML的一个严格 ’。。：：：：：：． 。。 [：：：：：：： nicud‘：：：：：：—一