python课件教案05_认识爬虫.pptxVIP

认识爬虫;新知教授;爬虫的基本概念;;这是微博微指数的一个截图，把在微博上用户评论中的关键词语做了提取，然后进行了统计，然后根据统计结果得出某个词语的流行趋势，之后进行了简单的展示。

类似微指数的网站还有很多，比如百度指数，阿里指数，360指数等等，这些网站有非常大的用户量，他们能够获取自己用户的数据进行统计和分析。

那么对于一些中小型的公司，没有如此大的用户量的时候，他们该怎么办呢？;数据的来源;爬虫的概念;什么是爬虫？;爬虫的概念;爬虫的用途;爬虫的分类和流程;爬虫分类;新知教授;新知教授;robots协议;聚焦爬虫;http和https;发送请求;二者概念;请求过程;浏览器先向地址栏中的url发起请求，并获取相应

在返回的响应内容（html）中，会带有css、js、图片等url地址，以及ajax代码，浏览器按照响应内容中的顺序依次发送其他的请求，并获取相应的响应

浏览器每获取一个响应就对展示出的结果进行添加（加载），js，css等内容会修改页面的内容，js也可以重新发送请求，获取响应

从获取第一个响应并在浏览器中展示，直到最终获取全部响应，并在展示的结果中添加内容或修改————这个过程叫做浏览器的渲染;注意事项;请求形式;常见请求头;响应状态码;字符串复习;响应状态码;响应状态码;响应状态码;响应状态码;分享交流;下节课见啦