1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 计算机
  5. Python

基于Python的爬虫数据采集系统的设计.docx

基于Python的爬虫数据采集系统的设计.docx

    基于Python的爬虫数据采集系统设计

    摘要

    网络爬虫是一种按照一定规则自动搜集互联网信息的程序或者脚本。通过网络爬虫不仅能够为搜索引擎采集网络信息，而且可以作为定向信息采集器。目前互联网的信息包罗万象，如何快速高效地获取到自己想要的信息并对它们进行分析对比，就可以用网络爬虫技术进行实现。在网络爬虫设计的过程中，URL的采集与去重、对URL进行信息采集分析，设置网络超时时间和访问URL页面时间并通过多线程和多进程提高爬虫程序的爬取效率，对特定站点进行爬取、存储和分析，以便得到自己想要的数据。本文主要是基于python语言开发完成

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >