数据收集集群的部署方法、装置、设备以及存储介质.pdfVIP

  • 1
  • 0
  • 约2.17万字
  • 约 17页
  • 2023-06-19 发布于四川
  • 举报

数据收集集群的部署方法、装置、设备以及存储介质.pdf

本发明公开了一种数据收集集群的部署方法,包括:将ScrapydWeb组件和Selenium组件封装在第一docker容器中以形成数据收集集群的主节点;接收由用户上传的数据收集项目文件;将Scrapyd组件封装在第二docker容器中以形成所述数据收集集群中与所述数据收集项目文件对应的从节点;将所述数据收集项目文件发送至所述数据收集项目文件对应的从节点,以完成所述数据收集集群的部署;其中,所述从节点用于根据所述数据收集项目文件进行授权数据的收集,所述主节点用于进行所述从节点的管理。可见,本发明能够

(19)国家知识产权局 (12)发明专利 (10)授权公告号 CN 113282372 B (45)授权公告日 2022.08.26 (21)申请号 202110604923.8 (51)Int.Cl.

文档评论(0)

1亿VIP精品文档

相关文档