大数据爬虫技术第3章 网页请求原理.pptVIP

Upgrade-Insecure-Requests（升级为HTTPS请求） 表示升级不安全的请求，意思是会在加载 HTTP 资源时自动替换成HTTPS请求，让浏览器不再显示HTTPS页面中的HTTP请求警报。 User-Agent（浏览器名称） 标识客户端身份的名称，通常页面会根据不同的User-Agent信息自动做出适配，甚至返回不同的响应内容。 Accept （传输文件类型） 指浏览器或其他客户端可以接受的MIME（Multipurpose Internet Mail Extensions，多用途互联网邮件扩展）文件类型，服务器可以根据它判断并返回适当的文件格式。 Referer （页面跳转来源） 表明产生请求的网页来自于哪个URL，用户是从该 Referer页面访问到当前请求的页面。 Accept-Encoding（文件编解码格式） 指出浏览器可以接受的编码方式。编码方式不同于文件格式，它的作用是压缩文件并加速文件传递速度。 Accept-Language（语言种类） 指出浏览器可以接受的语言种类，如en或en-us指英语，zh或者zh-cn指中文，当服务器能够提供一种以上的语言版本时要用到。 Accept-Charset（字符编码） 指出浏览器可以接受的字符编码。 Cookie （Cookie） 浏览器用这个属性向服务器发送Cookie。Cookie是在浏览器中寄存的小型数据体，它可以记载和服务器相关的用户信息，也可以用来实现模拟登陆。 Content-Type （POST数据类型） 指定POST请求里用来表示的内容类型。 HTTP响应由四个部分组成，分别是：状态行、响应报头、空行、以及响应正文。 HTTP/1.1 200 OK Server: Tengine Connection: keep-alive Date: Wed, 30 Nov 2016 07:58:21 GMT Cache-Control: no-cache Content-Type: text/html;charset=UTF-8 Keep-Alive: timeout=20 Vary: Accept-Encoding Pragma: no-cache X-NWS-LOG-UUID: bd27210a-24e5-4740-8f6c-25dbafa9c395 Content-Length: 180945 !DOCTYPE html PUBLIC -//W3C//DTD XHTML 1.0 Transitional//EN .... 服务端响应消息示例 常用的响应报头和取值 这个报头值告诉客户端，服务端不希望客户端缓存资源，在下次请求资源时，必须要重新请求服务器，不能从缓存副本中获取资源。 Cache-Control：must-revalidate, no-cache, private 常用的响应报头和取值 该报头回应客户端的Connection：keep-alive，告诉客户端服务器的TCP连接也是一个长连接，客户端可以继续使用这个TCP连接发送HTTP请求。 Connection：keep-alive 常用的响应报头和取值 该报头的取值告诉客户端，服务端发送的资源是采用gzip编码的，客户端看到这个信息后，应该采用gzip对资源进行解码。 Content-Encoding:gzip 常用的响应报头和取值 这个报头值告诉客户端，资源文件的类型，还有字符编码。客户端需要使用UTF-8格式对资源进行解码，然后对资源进行HTML解析。通常我们会看到有些网站出现乱码，往往就是服务器端没有返回正确的编码。 Content-Type：text/html;charset=UTF-8 常用的响应报头和取值 该报头表示服务端发送资源时的服务器时间，GMT是格林尼治所在地的标准时间。HTTP协议中发送的时间都是GMT的，这主要是解决在互联网上，不同时区在相互请求资源时的时间混乱问题。 Date：Sun, 21 Sep 2016 06:18:21 GMT 常用的响应报头和取值 这个响应报头也是跟缓存有关的，告诉客户端在这个时间前，可以直接访问缓存副本。 Expires:Sun, 1 Jan 2000 01:00:00 GMT 常用的响应报头和取值 这个报头的含义与Cache-Control等同。 Pragma:no-cache 这个报头表示服务器对应的版本，仅用于告诉客户端服务器的信息。 Server：Tengine/1.4.6 常用的响应报头和取值 该响应报头告诉客户端，服务器发送资源的方式是分块发送的。 Transfer-Encoding：chunked 常用的响应报头和取值 该报头告诉缓存服务器，缓存压缩文件和非压缩文件两个版本。如今这个报头的用处并不大，因为现在的