1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 计算机
  5. 数据挖掘与模式识别

网站爬取与数据存储技术要点总结.pdfVIP

  • 1
  • 0
  • 约5.87千字
  • 约 10页
  • 2026-05-18 发布于北京
  • 举报

网站爬取与数据存储技术要点总结.pdf

    *Day02回顾**

    爬取思路

    1、先确定是否为动态加载

    2、找URL规律

    3、正则表达式

    4、定义程序框架，补全并测试代码

    存入csv文件

    持久化之MySQL

    requests模块

    get()

    1、发请求并获取响应对象

    响应对象res属性

    res.text：字符串

    res.encoding：字符编码res.encoding=utf-8

    res.status_code：HTTP响应码

    res.url：实际数据URL地址

    非结构化数据保存

    多级页面数据抓取

    1、先爬去一级

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >