R语言大数据分析与挖掘 课件 第五章 数据采集.pptx

第5章?数据采集

内容要点1、了解数据采集的原理。2、掌握R语言中的数据采集方法。3、掌握R语言中解决IP限制、验证码、自动登录等问题的方法。

目录CONTENTS网络数据采集原理数据采集入门使用常用的R包采集数据爬虫限制处理1234

网络数据采集的原理采集网络数据实际上就是采集网页上的元素，要获取网页上的元素就需要与服务器进行通信，所以在进行数据采集之前需要了解网页通信的过程、URL构成、请求数据的方法及网页的组成元素。如图5-1所示，人们眼前的网页上的信息是经过服务器的请求和响应实现的，通信的底层是各种协议，通过协议可以进行数据的传输。向服务器请求数据有规定的方法，服务器会根据请求的信息返回相应的数据。

网络数据采集的原理网页通信的过程：客户端和服务器的通信过程1)浏览器输入URL发送请求用户在客户端的浏览器上输入URL并发送请求。2)DNS对请求中的URL域名解析DNS（DomainNameSystem）服务是和HTTP一样位于应用层的协议，它提供域名到IP地址之间的解析服务。3)HTTP生成请求报文HTTP位于应用层，可决定从客户端到服务器等一系列通信内容及方式，该步骤通过生成报文并发送完成通信。4)TCP提供可靠的字节流传输服务TCP位于传输层，为传输过程提供了可靠的字节流传输服务，其中，字节流服务为了方便传输，将大