【精选】全国企业信息公示系统数据采集方案.pdf

全国企业信息公示系统数据采集解决方案 全国企业信息公示系统 数据采集解决方案 ForeSpider数据采集系统 版本2.4.0 天津市前嗅网络科技有限公司 日期：2016年3月22 日 全国企业信息公示系统数据采集解决方案 目 录 1．引 1 1.1项目简介1 1.2 FORESPIDER简介1 2．项目设计方案2 2.1系统部署2 2.2系统现有功能2 2.3定制开发功能4 3．项目测试报告6 3.1测试过程6 3.2测试结果10 4．售后11 4.1培训11 4.2维护服务11 4.3其他11 5．项目报价12 5.1软件费用12 5.2定制开发费用13 全国企业信息公示系统数据采集解决方案 1．项目背景 1.1项目简介 企业公示系统数据采集项目是在需求方购买天津市前嗅网络科技有限公司 （以下简称前嗅）的ForeSpider数据采集系统基础上，针对本项目特殊的采集 特点，由前嗅进行项目定制化开发采集功能细节，同时双方合作共同开发完成全 部功能。 为了便于需求方更好地了解本软件系统对于数据采集的性能、质量、速度、 范围等各方面情况，保证双方能够完成项目目标，使软件系统开发工作开展的各 个过程合理有序。因此，前嗅通过本文档，把软件系统的采集状况、采集能力， 对于目标采集源的测试结果，各项工作的任务分解、各团队成员的工作责任、团 队内外沟通协作方式、开发进度、经费预算、项目内外环境条件、风险对策等内 容做出安排。使项目成员和项目干系人了解项目开发方案和预期达到的效果，作 为项目团队成员以及项目干系人之间的共识，也作为正式合作确立前的依据。 1.2 ForeSpider简介 前嗅ForeSpider数据采集系统是天津市前嗅网络科技有限公司自主知识产 权的通用性互联网数据采集软件。软件具备全面的采集范围、精准的数据精度、 绝佳的抓取性能、简易的可视化操作、智能的自动化采集，使企业能够以很少的 人工成本，快速获取互联网中结构化或非结构化的数据。 软件几乎可以采集互联网上所有公开的数据，通过可视化的操作流程，从建 表、过滤、采集到入库一步到位。支持正则表达式操作，更有强大的面向对象的 脚本语言系统。 单机采集能力可达4000-8000万，日采集能力超过500万。服务器单机采集 能力可达8亿-16亿，日采集能力超过2000万。并行情况下可支撑百亿以上规 模数据链接，堪与百度等搜索引擎系统媲美。 1 第 页 全国企业信息公示系统数据采集解决方案 2．项目方案 2.1系统部署 本系统采用C/S设计模式，每个序列号绑定一台计算机。按照采集性能分为 普通台式机和服务器两个版本，按照功能分为低配版和高配版两个版本。根据本 项目特点，需要购买高配版。 1.普通台式机 内存：4G 以上（建议8G）。 CPU： 2核以上（建议4核）。 网络带宽: 10M 以上 （提升采集速度）。 硬盘: 500G 以上存储空间(根据实际存储数据周期可能需要扩充)。 数据库对接： 支持系统自带数据库ForeLib和MySQL。 采集能力：4000-8000万/每次任务（与硬件性能有关）。 采集速度：400-1000万以上/每天 （与开启线程数、自身和对方服务器带宽 有关，由于本项目采集链接时cookie限制只能单线程采集，采集速度难以达到）。 2.服务器 内存：32G 以上。 系统: windows server 2000及以上32位/64位。 网络带宽: 10M 以上。 数据库对接： 支持系统自带数据库ForeLib和MySQL。