1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

基于计算资源的分布式爬虫调度系统及方法.pdfVIP

  • 4
  • 0
  • 约1.54万字
  • 约 13页
  • 2023-07-02 发布于四川
  • 举报

基于计算资源的分布式爬虫调度系统及方法.pdf

    一种基于计算资源的分布式爬虫调度系统及方法，通过客户端获取用户定义的爬虫方案以生成导航页爬虫种子并存储在Redis数据库中；爬虫生产者节点集群中的各节点计算自身资源获取导航页爬虫种子，并将所生成的内容页爬虫种子存储在客户端的Redis数据库中；爬虫消费者节点集群中的各个节点计算自身资源获取内容页爬虫种子，操作内容页爬虫种子采集目标数据。本发明可针对特定事件进行数据采集；基于Redis数据库进行爬虫调度，提升调度速度并保证了数据一致性；根据爬虫节点资源执行爬虫种子，充分发挥节点性能，使爬虫系统高效

    (19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 113742549 A (43)申请公布日 2021.12.03 (21)申请号 20201

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >