《数据采集技术》课件——项目四 任务1 使用Ajax实现个人微博的爬取.pptxVIP

实现个人微博的爬取

目录01任务1使用Ajax实现个人微博的爬取02任务2：使用Selenium实现自动化爬取

任务一：使用Ajax实现个人微博的爬取

2、掌握Ajax的基本用法1、了解Ajax基本原理任务目标

任务描述有时候我们在用requests抓取页面的时候，得到的结果可能和在浏览器中看到的不一样，在浏览器中可以看到正常显示的页面数据，但是使用requests得到的结果并没有。因为requests获取的都是原始的HTML文档，而浏览器中的页面则是经过JavaScript处理数据后生成的结果。如果遇到这样的页面，直接利用requests等库来抓取原始页面，是无法获取到有效数据的，需要分析网页后台向接口发送的Ajax请求，如果可以用requests来模拟Ajax请求，那么就可以成功抓取了。

任务一使用Ajax实现个人微博的爬取1.1Ajax概述Ajax全称为AsynchronousJavaScriptandXML，即异步的JavaScript和XML。它不是一门编程语言，而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。对于传统的网页，如果想更新其内容，那么必须要刷新整个页面，但有了Ajax，便可以在页面不被全部刷新的情况下更新其内容。在这个过程中，