1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

基于Node.js的爬虫方法、装置、计算机设备及存储介质.pdfVIP

  • 8
  • 0
  • 约1.75万字
  • 约 17页
  • 2023-05-28 发布于四川
  • 举报

基于Node.js的爬虫方法、装置、计算机设备及存储介质.pdf

    本发明涉及大数据技术领域，应用于数据采集技术领域，揭露了一种基于Node.js的爬虫方法、装置、设备及存储介质。该基于Node.js的爬虫方法包括获取待访问队列；其中，所述待访问队列包括多个访问地址；每一所述访问地址对应一网页；基于所述访问地址，调用多个爬虫任务进程执行图像下载任务；其中，每一所述爬虫任务进程对应处理一所述访问地址；接收每一所述爬虫任务进程下载的图像数据，并将所述图像数据存储至结果处理队列中；调用一结果处理进程从所述结果处理队列中取出每一所述图像数据，并写入至目标文件中。该基于N

    (19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 112380413 A (43)申请公布日 2021.02.19 (21)申请号 202011267489.0 (22)申请日 2020.11.13 (71)申请人 平安普惠企业管理有限公司

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >