1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

爬虫系统及方法.pdfVIP

  • 3
  • 0
  • 约1.1万字
  • 约 11页
  • 2023-07-08 发布于四川
  • 举报

爬虫系统及方法.pdf

    本发明公开了爬虫系统及方法，其中爬虫系统包括客户端和服务端；服务端包括负载均衡服务器、集群服务器；客户端用于根据预设爬取目标和目标网站的访问要求生成爬取参数，并发送爬取参数至负载均衡服务器；负载均衡服务器用于根据爬取参数生成爬虫任务，并分配爬虫任务至集群服务器；集群服务器用于根据爬虫任务爬取目标网站的目标数据。本发明的客户端用户只需要在客户端根据预设爬取目标和目标网站的访问要求设置爬取参数，生成的爬虫任务统一由集群服务器进行处理，使得系统易于维护，减少研发时长，避免重复研发工作量及降低研发成本。

    (19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 110516139 A (43)申请公布日 2019.11.29 (21)申请号 20191

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >