分布式数据采集平台介绍(网络爬虫).docVIP

下载本文档

4
0
约小于1千字
约 9页
2020-08-26 发布于上海
举报
版权申诉

分布式数据采集平台介绍(网络爬虫).doc

1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
7、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

分布式数据采集平台(网络爬虫）设计框架作者：数荟集 CTO 时间：２016-6－8 产品特色高性能分布式部署,规模无限扩展配置灵活，可以任意配置规则支持对爬虫单独设置:执行周期、执行开始时间、执行间隔等参数支持http、hｔｔps等协议支持get方式和poｓｔ方式支持文件下载支持翻页采集支持二次jｓ请求采集支持hｔml标签、jｓon等任意报文支持登录采集支持代理采集，具有代理池功能，定时自动探测代理有效性独创的规则配置体系，具有处理复杂报文的能力具有采集结果加工处理能力,比如：替换、截取、清除垃圾标签、清除空格等操作支持多数据库，多表数据结果支持数据库插入、删除、修改等操作的功能支持保存文件功能具有规则失效告警功能功能介绍爬虫服务器管理新增、修改、查看和删除爬虫服务器控制分布式爬虫服务器的启动和停止。配置爬虫执行周期、执行开始时间、执行间隔等参数网址管理(队列管理）、配置网址相关参数分组管理，维护网址的分组信息,便于分类进行操作配置解析规则 ? 代理服务状态设置代理服务器导入数据库管理输入库写入规则可以配置,{标题}标识从网页中采集过来的标题输出文件管理输出文件名可以进行配置｛＄日期}表示系统变量日期爬虫测试,采集指定uｒl,用来查看返回报文方便定义规则失效规则告警 ??? ??? ??