一种基于微服务的自动爬虫管理方法.pdfVIP

  • 5
  • 0
  • 约1.44万字
  • 约 14页
  • 2023-06-06 发布于四川
  • 举报

一种基于微服务的自动爬虫管理方法.pdf

本发明公开了一种基于微服务的自动爬虫管理方法,该方法包括以下步骤:服务端基于springboot微服务架构和多线程技术,运行程序对爬虫管理平台进行任务接口抽象化,按照爬取同类网站重复步骤对任务接口定义规则;建立爬虫任务流水线,对任务接口进行管理,实现客户端网站数据自动化爬取操作;客户端运用java或python任意一种编程语言,建立与服务端通信的爬虫任务接口,客户端通过token令牌进行注册,注册后客户端与服务端做心跳机制沟通,领取爬虫任务,并推送爬虫结果数据。本发明的有益效果:本申请服务端基于

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 112765438 A (43)申请公布日 2021.05.07 (21)申请号 202110096651.5 (22)申请日 2021.01.25 (71)申请人 北京星汉博纳医药科技有限公司

文档评论(0)

1亿VIP精品文档

相关文档