原创力文档- 1
- 0
- 约2.03万字
- 约 23页
- 2023-06-03 发布于四川
- 举报
本申请实施例公开了可动态扩展的分布式爬虫系统、数据处理方法及装置。本申请实施例提供的技术方案通过优化系统，在爬虫任务配置中隔离爬虫任务配置和条件配置，在执行爬虫任务时对不同任务信息的爬虫任务列入不同的任务队列等待，并且多线程分别执行不停任务队列的爬虫任务；通过降低系统内部的耦合度、提高了可动态扩展性能，避免内存泄露，大大提高开发效率，以及提高系统的吞吐量。
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 112650570 A
(43)申请公布日 2021.04.13
(21)申请号 202011598949.8
(22)申请日 2020.12.29
(71)申请人 百果园技术（新加坡）有限公司
文档评论（0）