基于Scrapy构建数据采集系统-资源 请求和响应 请求和响应.docxVIP

请求和响应 请求和响应 一、HTTP特点 学习请求和响应离不开HTTP,在学习请求和响应之前，我们顺便了解下HTTP比较重要的三个知识点： HTTP是无连接的：在发出请求后，客户端和服务端断开连接，然后当响应准备就绪的时候，服务端再次重新建立连接并发送响应。 HTTP可以提供任何类型的数据，只要客户端和服务端两边的电脑能够读取理解它。 HTTP是无状态的：客户端和服务器只是在当前请求期间了解彼此。如果它关闭了，并且两台电脑想要再次连接，它们需要重新提供信息。 二、request请求 假设要连接一个url--http://mywebsite/products/myproduct.html，会先通过tcp/ip建立网络的连接，这会进行三次握手，具体的情况就不在这里说了。 客户端和服务端建立的连接，为它们通过HTTP协议进行通信提供了环境。 在建立连接之后，客户端会发送一个请求，因为HTTP是无连接的，客户端会断开和服务器端的连接，等待服务器端的响应。服务器端处理了响应之后，会重新建立连接，然后发送响应信息给客户端。 下图中展示了请求的信息包含三部分：方法、URI和HTTP版本号。其中方法有GET, POST, DELETE等，不同的方法代表的含义不一样；URI是你要请求资源的路径；HTTP版本号是你通信时使用的版本号，该请求中没有请求体，因为请求体并不是必须的，示例中的GET请求不用带，但是在POST请求中请求体就需要带上了，是表单的提交数据。 三、response响应 我们看下图所示响应的信息，内容分三大块，自上而下依次是起始行、响应头和响应体。 响应的起始行包括http的版本号和响应的状态码。响应的状态码是客户端和服务器端交流的信息，通过状态码能知道两者的交流状态。 响应头也是键值对的形式。 之后就是响应体了，服务器端响应客服端的需求，在响应体中带上客户端请求的资源。