1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 计算机
  5. Python

基于python语言下网络爬虫的技术特点与应用设计.docxVIP

  • 4
  • 0
  • 约7.49千字
  • 约 13页
  • 2024-08-01 发布于湖北
  • 举报

基于python语言下网络爬虫的技术特点与应用设计.docx

    PAGE3

    基于python语言下网络爬虫的技术特点与应用设计

    目录

    一、引言

    1.1爬虫的定义

    1.1.1爬虫的分类

    1.1.2爬虫的性质

    二、如何写一个爬虫

    2.1python爬虫的结构

    2.1.1爬虫调度器

    2.1.2URL管理器

    2.1.3网页下载器

    2.1.4网页解析器

    2.1.5应用程序

    2.2为什么用python来写爬虫

    2.3有哪些成熟的python爬虫方案

    三、爬虫的目标

    3.1如何选择爬虫的目标

    3.2爬取网站时需要注意的地方

    3.2.1Robots协议

    3.2.2避免网络堵塞

    3.2.3HTML的坑

    3.2.4UA(用户代理)欺骗

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >