《大数据导论》课件—第三章 数据采集.pptxVIP

大数据导论;数据采集;;网页打开流程;HTML文档对象模型（DOM）;HTMLDOM结构解析;;网页源码分析;数据采集;;存在的问题;APP内容组成;分析与采集思路

;;分析明确采集对象-习题讲解;1.HTML文档对象模型（DOM）中，每一个元素的组织方式是（）。

A.层次结构

B.树型结构

C.网状结构

D.都不是;2.分析网页源代码，需要在浏览器中，按（）键进入开发者工具。

A.F1

B.F2

C.F11

D.F12;3.在开发者工具中，如何定位目标元素与对应的源码位置？

A.根据HTML标签含义，逐行对照，直到找到目标元素的源码

B.移动鼠标，并观察网页变深色的区域，深色区域便是目标元素所在源码区域

C.根据经验，大致判断目标元素在界面中的顺序关系，大致确定在源代码中的位置。

D.通过搜索功能实现。;4.下列说法中，正确的是（）。

A.移动端APP的数据采集分析过程，由于看不到数据的源码，无法分析数据格式。

B.移动端APP的数据采集分析过程，需要借助HTTP/HTTPS抓包软件实现。

C.移动端APP的抓包过程中，都是明文数据。

D.最终程序采集的时候，也需要借助抓包软件。;5.简述一下移动端APP的数据采集分析为什么需要用到抓包软件？;6.简述一下移动端APP的数据采集分析过程。;数据采集;;;;;;数据采集;;浏览器访问资源

1、用户点击链接、浏览器自动生成HTTP请求报文

2、服务器收到请求报文，根据报文内容，回复响应报文

3、浏览器收到服务器的响应报文，解析提取

;语言如何选择;操作URL的Python模块;Request库;urllib库;urllib库;浏览器的模拟-构建Headers;选择正确的请求报文中的Headers参数方法

1、任意打开一个网页，比如打开。

2、按F12，会出现一个窗口。切换到Network标签页。

3、然后单击网页中的“百度一下”，即让网页发生一个动作。

4、将界面右上方的标签切换到“Headers”中，即可以看到了对应的头信息，就可以找到User-Agent字样的一串信息。

5、复制User-Agent数据。

;;构造采集请求-习题讲解;1.在HTTP协议的“请求/响应”交互模型中，以下说法错误的是（）。

A.客户机在发送请求之前需要主动与服务器建立连接。

B.服务器无法主动向客户机发起连接。

C.服务器无法向客户机发送数据。

D.以上都错误。;2.HTTP请求报文中，可以不包含的是（）

A.请求行

B.请求头

C.请求头后的空行

D.请求数据;3.HTTP协议的报文有（）两种类型

A.发送报文和接收报文

B.请求报文和响应报文

C.报文头和报文体

D.实体报文和控制报文。;4.通过程序构造数据采集请求，本质上是（）。

A.通过程序实现点击页面按钮，获得数据。

B.通过程序构造HTTP请求，获得响应报文。

C.通过程序操作浏览器，读取浏览器返回数据。

D.通过程序抓包，读取数据包中的数据。;5.通过程序构造采集请求，不能使用哪种语言（）

A..NET

B.C语言

C.JavaScript

D.Python;6.构造请求报文中的Headers的作用是

A.使得构造出的请求报文与真实浏览器的请求报文一致，防止服务器反爬虫。

B.HTTP请求协议规定的内容，参数内容无要求

C.与服务器协商返回的数据格式

D.用于解析响应报文。;数据采集;;需求：爬取豆瓣电影评分TOP250页面的电影名字、电影介绍链接、电影评分等信息。

URL:/top250;多页面的分析处理：

分析分页的链接可以发现，每一页有25条电影记录，每页的链接为改变值是start参数

例如第二页实际URL：/top250?start=25filter=;Xpath插件获取表达式;爬取功能划分;爬取代码实现;爬取代码实现;爬取代码实现;Xpath插件安装使用;XPathhelper是一款Chrome浏览器的开发者插件，安装了XPathhelper后就能轻松获取HTML元素的XPath表达式，程序员就再也不需要通过搜索html源代码，定位一些id去找到对应的位置去解析网页了。;1、下载Xpath插件/eliasdorneles/xpath_helper;3、打开浏览器的“扩展程序”，以谷歌浏览器为例

地址栏输入：chrome://extensions/;其它浏览器也可在应用商店搜索安装;Xpathhelper插件使用;Xpath简介;Xpath简介;Xpath常用规则;Xpath通配符使用;1.starts-with函数

例子：//div