1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

数据采集方法、装置、存储介质及计算机设备.pdfVIP

  • 3
  • 0
  • 约1.95万字
  • 约 18页
  • 2023-05-12 发布于四川
  • 举报

数据采集方法、装置、存储介质及计算机设备.pdf

    本发明涉及电子信息技术领域，并公开了一种数据采集方法、装置、存储介质及计算机设备。其中方法包括构建任务列表，在任务列表中确定目标站点，并获取目标站点中每个网页的请求参数，然后根据请求参数在目标站点中提取目标网页，并计算目标网页的优先级，基于优先级生成任务执行队列，再将任务执行队列发送到至少两个主机设备中，以基于任务执行队列执行数据采集任务，得到目标网页的采集数据，最终对采集数据进行解析和清洗优化，得到数据采集结果，并将数据采集结果存储至数据库中。上述方法通过至少两个主机设备高并发的对多目标网页进

    (19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116089681 A (43)申请公布日 2023.05.09 (21)申请号 202211624151.5 (22)申请日 2022.12.15 (71)申请人 上海观安信息技术股份有限公司 地址

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >