资源数据采集技术方案.doc

资源数据采集 技术方案 公司名称 2011年7月 二O一一年七月 目 录 第 1 部分 概述 3 1.1 项目概况 3 1.2 系统建设目标 3 1.3 建设的原则 4 1.3.1 建设原则 4 1.4 参考资料和标准 5 第 2 部分 系统总体框架与技术路线 5 2.1 系统应用架构 6 2.2 系统层次架构 6 2.3 关键技术与路线 7 第 3 部分 系统设计规范 7 第 4 部分 系统详细设计 7 概述 项目概况 Internet已经发展成为当今世界上最大的信息库和全球范围内传播知识的主要渠道，站点遍布全球的巨大信息服务网，为用户提供了一个极具价值的信息源。无论是个人的发展还是企业竞争力的提升都越来越多地依赖对网上信息资源的利用现在是信息时代，信息是一种重要的资源，它在人们的生活和工作中起着重要的作用。计算机和现代信息技术的迅速发展，使Internet成为人们传递信息的一个重要的桥梁。网络的不断发展，伴随着大量信息的产生，如何在海量的信息源中查找搜集所需的信息资源成为根据实际的要求，系统可被方便地载减和灵活的扩展，使系统能适应变化和新情况。可以实现模块级别的动态扩展，而且是运行时的。所谓运行时模块的动态扩展，比如说你需要增加一些新的功能，你可以将新开发的类和文件按照Bundle进行组织，然后直接扔到运行时环境下，这些功能就可以用了因此系统不会受技术改造而重新调整软件的投资要考虑到今后的发展，不能使用落后的产品与技术，避免投资的浪费；在系统软件选型、开发技术上，达到国内外先进水平。低耦合性采集与其它系统彼此间相对独立，直接进行数据库入库、sql同步或者基于txt/xml的数据交换，保证整体系统的低耦合性。高效性在底层的技术实现上采用java语言，跨平台，跨数据库，运行效率卓越。安全、稳定、准确、及时采用先进的算法，采用多个子系统和工具组成一个安全、稳定、准确、及时的解决方案。方案在总体设计上遵循稳定、开放、可扩展、经济、安全的原则，从而使整个方案组成合理，技术先进，易于扩展，既能满足当前的业务数据处理要求，又能符合长期发展的需要容易操作，完全通过WEB方式完成，降低维护的技术难度，也减少了人为隐患的发生C-PMBOK），2001.5 GB/T 1526-1989《信息处理 数据流程图、程序流程图、系统流程图、程序网络图、系统资源图的文件编制符号及约定》 GB/T 8566-1995《信息技术 软件生存期过程》 GB/T 8567-1988《计算机软件产品开发文件编制指南》 GB/T 9385-1988《计算机软件需求说明编制指南》 GB/T 13702-1992《计算机件分类与代码》 GB/T 11457-1995《软件工程术语》 系统总体框架与技术路线 网络信息资源采集系统是一套功能强大的网络信息资源开发利用与整合系统，可用于定制跟踪和监控互联网实时信息，建立可再利用的信息服务系统。能够从各种网络信息源，包括网页、BLOG、论坛等采集用户感兴趣的特定信息，经自动分类处理后,以多种形式提供给最终用户使用。 网络蜘蛛：按照指定规则抓取网站数据。 数据分析：分析从网络蜘蛛来的数据，过滤掉我们不需要的信息。 数据解析：根据指定资源格式(字段)的定义，进行数据库字段级别的 整个系统分为四层，分别为： 数据层：数据层负责存储抓取来的各种信息及数据，这里面包括网页、文档、关系型数据、多媒体数据等。 支撑层：支撑层提供了关键的硬、软件支撑系统，包括应用服务器、WEB服务器、规范接口等规范支撑系统。 应用层：在应用层主要提供网络资源采集、数据转换、分析、处理、导出、发布、采集监控、消息通知、登录验证、任务计划、认证码识别等服务。 表现层：表现层通过浏览器等方式，为用户提供多样化的信息服务。 关键技术与路线 为了充分满足本项目的建设：我们采用先进、主流、可靠、实用、性价比好的三层架构体系，充分考虑今后纵向、横向扩张能力。采用构件化和面向对象技术，使系统具有灵活的扩展性和良好的移植性。 J2EE规范体系 从软件层次上看，我们采用了典型的J2EE三层架构体系，即应用—支撑—数据三层。简单地说，J2EE（Java[tm] 2 Platform Enterprise Edition）是一个标准中间件体系结构，旨在简化和规范多层分布式应用系统的开发和部署，有了它，开发者只需要集中精力编写代码来表达应用的商业逻辑和表示逻辑，至于其他系统问题，如内存管理，多线程，资源分布和垃圾收集等，都将由J2EE自动完成。 J2EE已经被证明是一个稳定的、可扩展的、成熟的平台，在国内外拥有众多成功的应用实例。J2EE 应用服务器（Application Server）采用目前国际最先进的开发理念、