资源数据采集技术方案设计及对策要点.docVIP

. . . .word.zl. 资源数据采集 技术案 公司名称 2021年7月 二O一一年七月 目 录 TOC \o 1-3 \h \z \u 第 1 局部 概述 3 1.1 工程概况 3 1.2 系统建立目标 3 1.3 建立的原那么 4 1.3.1 建立原那么 4 1.4 参考资料和标准 5 第 2 局部 系统总体框架与技术路线 5 2.1 系统应用架构 6 2.2 系统层次架构 6 2.3 关键技术与路线 7 第 3 局部 系统设计规 7 第 4 局部 系统详细设计 7 概述 工程概况 Internet已经开展成为当今世界上最大的信息库和全球围传播知识的主要渠道，站点遍布全球的巨大信息效劳网，为用户提供了一个极具价值的信息源。无论是个人的开展还是企业竞争力的提升都越来越多地依赖对网上信息资源的利用。 现在是信息时代，信息是一种重要的资源，它在人们的生活和工作中起着重要的作用。计算机和现代信息技术的迅速开展，使Internet成为人们传递信息的一个重要的桥梁。网络的不断开展，伴随着大量信息的产生，如在海量的信息源中查找搜集所需的信息资源成为了我们今后建立在线预订类旅游网重要的组成局部。 因此，在当今高度信息化的社会里，信息的获取和信息的及时性。而Web数据采集可以通过一系列法，依据用户兴趣，自动搜取网上特定种类的信息，去除无关数据和垃圾数据，筛选虚假数据和迟滞数据，过滤重复数据。直接将信息按照用户的要求呈现给用户。可以大大减轻用户的信息过载和信息迷失。 系统建立目标 在线预订类旅游网是在线提供机票、酒店、旅游线路等旅游商品为主，涉及食、住、行、游、购、娱等多面的综合资讯信息、全位的旅行信息和预订效劳的。 如果用户要搜集这一类的相关数据，通常的做法是人工浏览，查看最近更新的信息。然后再将之复制粘贴到Excel文档或已有资源系统中。这种做法不仅费时费力，而且在查找的过程中可能还会遗漏，数据转移的过程中会出错。针对这种情况，在线预订类旅游网信息自动采集的系统可以实现数据采集的高效化和自动化。 建立的原那么 建立原那么 由于在线预订类旅游网的数据采集涉及的面多、数据量大、采集源数据构造多样化的特点。因此，在进展工程建立的过程中，应该遵循以下原那么： 可扩大性 根据实际的要求，系统可被便地载减和灵活的扩展，使系统能适应变化和新情况。可以实现模块级别的动态扩展，而且是运行时的。所谓运行时模块的动态扩展，比方说你需要增加一些新的功能，你可以将新开发的类和文件按照Bundle进展组织，然后直接扔到运行时环境下，这些功能就可以用了。因此系统不会受技术改造而重新做出调整。 创新性 软件的投资要考虑到今后的开展，不能使用落后的产品与技术，防止投资的浪费；在系统软件选型、开发技术上，到达国外先进水平。 规性和标准性 整个设计案从网络协议、操作系统到各个设计细节，应该全部遵循通用的国际或行业标准，符合有关标准规的。 低耦合性 采集系统与其它系统彼此间相对独立，直接进展数据库入库、sql同步或者基于txt/xml的数据交换，保证整体系统的低耦合性。 高效性 在底层的技术实现上采用java语言，跨平台，跨数据库，运行效率卓越。 平安、稳定、准确、及时性 采用先进的算法，采用多个子系统和工具组成一个平安、稳定、准确、及时的解决案。案在总体设计上遵循稳定、开放、可扩展、经济、平安的原那么，从而使整个案组成合理，技术先进，易于扩展，既能满足当前的业务数据处理要求，又能符合长期开展的需要。 易操作和易维护原那么 整个系统易于维护，容易操作，易学，易用，完全通过WEB式完成，降低维护的技术难度，也减少了人为隐患的发生。 参考资料和标准 主要参阅并依据以下一些参考资料及标准： ?中国工程管理知识体系?〔C-PMBOK〕，2001.5 GB/T 1526-1989?信息处理数据流程图、程序流程图、系统流程图、程序网络图、系统资源图的文件编制符号及约定? GB/T 8566-1995?信息技术软件生存期过程? GB/T 8567-1988?计算机软件产品开发文件编制指南? GB/T 9385-1988?计算机软件需求说明编制指南? GB/T 13702-1992?计算机件分