基于Nutch和Hadoop的分布式搜索引擎探究.pdfVIP

2012年第5期 信息通信 2012 (Sum．No121) (总第121期) INFORMATIONCOMMUNICATIONS 李伟 (贵州师范大学数学与计算机科学学院，贵州贵阳550001) 引擎，来解决搜索引擎对海量数据的处理和存储问题。 关键词：Nutch；Hadoop；分布式搜索引擎 中图分类号：TP338．6 文献标识码：A 文章编号：1673．1131(2012)05．0120．02 0引言 随着互联网的迅速发展，Intemet上的信息量快速增长。 设计算元素和存储会出现故障，因为它维护多个工作数据副 集中式搜索引擎从海量的信息中快速检索出用户真正需要的 本，在出现故障时可以对失败的节点重新分布处理。Hadoop 信息正变得很困难，搜索引擎系统应向着具有分布式处理能 力方向发展，不断地扩展系统规模来增强系统处理信息的能 力，分布式搜索引擎应运而生。 软件框架计算集群的规模，Hadoop的运算是可扩展的，具有处 Nutch是一个用于网络搜索的开源框架，它提供 Apache 理PB级数据的能力。 了运行搜索引擎所需的全部工具，包括全文搜索和Web爬虫。 1 Nutch Hadoop…作为Google Apache MapReduce技术的开源实现，借鉴了 File Google的Google System文件系统、MapReduce并行算法 企业的主要业务流程和基本组织结构，主要包括业务架构、数 系统迁移及变更主要是从现有系统到目标系统的实现。 据架构、应用架构及技术架构。 包括制定优先次序，确定不同功能的子系统实施的先后次序； (1)业务架构。将企业战略目标转换成可操作的业务模 实施计划，建立详细的实施和迁移计划，包括每个子系统的实 块，表明业务如何满足其功能的需求。包括角色，确定系统的 施途径和方法等；架构变更实施监管，根据迁移的计划进行变 使用者，及每个使用者的权限；流程，梳理企业的每个业务流 更。首先，制定开发规范后，进行软件的开发。其次，软件测 程，特别是主要业务流程；功能，明确系统功能，对每个功能模 试，并进行局部的调整。最后，投入使用，并提供持续的监测 块提供一个非常清晰的定义。 和管理。特别要注意，在系统迁移及变更时，一定要有企业高 (2)数据架构。数据架构主要是从企业整体来看数据资 层领导来实施监督。 源和信息流结构。包括数据对象，定义业务架构中所涉及的 过程管理是指在整个架构建立和系统开发过程中，都 所有实体对象，用数据对企业业务架构中的产品或服务进行 要进行监督和管理。包括在每一阶段是否按照要求进行， 描述：数据存储，分析数据存储方式及过程，更新流程；数据交 对每一阶段提交的文档进行管理；整个架构的建立是否按 换机制。确定数据传输接口及传输机制。 照企业要求的原则进行，及每一阶段遇到的问题进行解决 (3)应用架构。应用架构主要是用于支持企业业务，为业 备案。 务架构、数据架构及技术架构之间建立联系。包括系统