1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种面向城市大数据的分布式并行获取方法.pdfVIP

  • 5
  • 0
  • 约6.93千字
  • 约 7页
  • 2023-05-28 发布于四川
  • 举报

一种面向城市大数据的分布式并行获取方法.pdf

    本发明公开了一种面向城市大数据的分布式并行获取方法，首先选择要获取的数据并确定抓取数据的目标网站；其次从目标网站抓取数据所在的网页url信息并存储在主服务器数据库中，维护成待抓取网址队列；然后主服务器对爬取队列进行调度，生成url爬取请求并分配给多个服务器上的爬虫进程执行；最终各服务器上的爬虫程序将获取到的数据存放到主服务器上的数据库中。该数据获取方法大幅度提高了爬虫程序取数据的速率。

    (19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 112347330 A (43)申请公布日 2021.02.09 (21)申请号 202011221308.0 (22)申请日 2020.11.05 (71)申请人 江苏电力信息技术有限公司

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >