浅谈校园网多数据源信息检索系统的设计与实现的论文.docVIP

　　浅谈校园网多数据源信息检索系统的设计与实现的论文 　　论文关键词：信息集成　异构数据　odi　nutch　lucene 　　论文摘要：高校校园网信息资源数量巨大，各信息发布系统的相互独立及多种异构数据源的使用对在校园网范围内进行统一的信息检索设置了障碍，系统着重解决由非结构化文本数据和结构化数据库数据形成的多数据源的集成与整合问题，在nutch搜索引擎基础上利用lucene接口对多种源数据建立索引，构建多数据源全文信息检索平台，从而有效地实现全网信息检索并提高检索速度和精度。 　　 　　一、引　言 　　 　　随着校园信息化进程的不断深入，校园网上信息资源的数量迅速膨胀，各种相互独立的信息发布系统在提高效率的同时，也为校园网范围内统一的信息检索设置了障碍，校园网信息资源主要包括两类数据：一类是非结构化文本数据，以网页文件、文本文件、电子邮件等形式存储在多个信息系统当中：另一类是结构化数据，以数据记录的形式存储在不同的异构数据库之中。由于各独立信息系统间没有相互连接的渠道，快速检索校园网内部信息存在着较大困难。如何设计一个稳定而高效的架构，能够对多种信息数据源进行集成与整合，实现全网范围内全文信息检索成为校园信息化过程中一个重要研究课题。 　　校园网信息检索技术大体可分为三个发展阶段：第一阶段是基于数据库查询方式的结构化数据检索，应用于信息发布系统内部的检索功能，通常是通过匹配标题、作者和摘要等字段来实现信息检索。由于受到数据库性能、检索效率等因素影响，不能实现基于匹配正文内容的全文检索，因此该阶段检索方式从检索范围到检索性能及效果都并不能完全满足现阶段用户的需要：第二阶段是将基于互联网的搜索引擎技术应用于校园网，构建校园网信息检索平台。.主要采用开源lueene提供的全文检索功能和基于lucene索引管理、存储和检索技术之上的nutch搜索引擎技术。这两种方式能够实现对非结构化文本数据和结构化数据库数据的检索，应用在网站站内索引、企业内部文档管理及知识管理系统等多方面，对应用系统内部全文信息检索取得了较好的效果，但要实现校园网全网范围内多系统综合信息检索还有待进一步完善与改进：当前校园网信息检索技术已经发展到多系统多数据源信息检索阶段，通过多种方式将各种数据源统一建立索引进行检索，对于非结构化文本的l等多种格式化文档解析的支持、以上述工作为基础，系统将分散分布、非结构化、异构的信息资源统一整合，提供给校园网用户统一的全文信息检索平台。 　　 　　　二、系统体系结构 　　 　　　多数据源校园网信息检索系统分为数据采集层和信息检索层两层体系架构，数据采集层以oracle全局数据库为核心向下通过odi集成各异构数据库数据，并通过网络爬虫和非结构化文本数据解析来实现多数据源数据采集，向上通过数据库接口为上层应用提供数据：信息检索层采用以lueene为基础的nutch搜索引擎实现信息索引和检索。系统共包括异构数据库集成、异构文档解析、信息分类模块、信息索引模块、信息检索模块和系统管理模块六部分，系统体系结构如图1所示。 　　校园网信息检索技术并不是简单地将开源搜索引擎技术应用于校园网，而是针对校园网内部数据特点设计相应的解决方案。异构数据库集成模块从系统底层做好结构化数据库数据的高效获取和有效组织。校园网内信息发布以ysql数据库抓取数据到oracle数据库等)的详细实现步骤使用jvthon脚本语言结合数据库sql语句录制成详细的步骤记录下来，形成知识模块，odi中共有超过100种主流数据库引擎和应用系统的知识模块，基本上包含了普通应用所涉及的所有场景，因此odi可以实现对校园网内多种异构数据库的支持。在一个数据集成任务中，odi通过声明设计运用接口和关系图等概念声明数据集成规则，使集成的逻辑和技术层面分离，底层的技术方面由知识模块描述和定义，系统只需要把重点放在集成任务规则的制定上面，再将制定好的集成规则封装为一个服务模型。发布和订阅该模型便可实现类似于数据增量定时更新的功能，异构数据库集成模块示意如图2所示。 　　系统以全局数据库为核心通过odi工具对校园网内异构数据库数据进行抽取、转换、清洗和加载，集成后的数据质量得到了提高，对异构数据源的处理也得到了加强。在对数据处理的过程中提取了信息的标题、作者、正文、发布时间、url地址等字段，可定时对各异构数据库数据进行增量更新操作，从而替代利用网络爬虫获取信息数据。oracle全局数据库可以集成校园网内大部分信息发布系统的数据并提供给信息索引和检索模块。 　　2.lucene与nutch 　　lucelle不是一个完整的搜索引擎，而是一个用于实现全文检索的软件库，采用java语言开发，提供了检索内核，其设计原理是索引检索，任何信息资源只要被转换成文本格式