第14章网络爬虫.pptxVIP

第14章网络爬虫;第14章网络爬虫;主要内容;14.1Web的基础知识;

;Web是什么？

Web（WorldWideWeb）是一种基于超文本和HTTP的、全球性的、动态交互的、跨平台的分布式图形信息系统。

一种基于互联网的全球信息系统，通过超文本链接的方式组织和共享文档资源。

由许多互连的网页构成，每个网页可以包含文本、图片、音频、视频等多种媒体形式，并通过URL（统一资源定位符）进行定位和访问。

Web的核心技术是HTTP（超文本传输协议）和HTML（超文本标记语言）。

在Web上，用户可以使用浏览器从任何地方访问网站，并与网站上的内容进行交互。

;HTTP协议

HTTP协议（HyperTextTransferProtocol，超文本传输协议）是互联网上应用最为广泛的一种网络传输协议，所有的WWW文件都必须遵守该标准。HTTP是一个基于TCP/IP通信协议来传递数据（HTML文件、图片文件、查询结果等）的协议。它属于应用层的最广泛使用的协议。

;HTTP请求头

第一行由两个空格分为三个字符串。第一个字符串表示此次HTTP请求所用的方法，第二个字符串表示访问Web服务器位置。第三个字符串表示此次请求所采用的HTTP协议版本。目前网络仍广泛采用1.1版本的HTTP协议。

Host：指定目标服务器的主机名或IP地址。

Connection：指定是否需要持久连接。

User-Agent：指定客户端使用的浏览器或其他应用程序的信息。

Accept：指定客户端能够接受的MIME类型。

Accept-Language：指定客户端首选的自然语言。

Accept-Encoding：指定客户端能够接受的编码方式，如gzip、deflate等。;HTTP相应头

第一行也有三个字符串，http/1.1标识版本信息，200是网络访问状态码，标识此次访问是成功的。OK是对此次访问的状态的解释。

Server：指定了服务器的类型、版本等信息。

Content-Type：指定了返回的数据的MIME类型。

Content-Length：指定了返回的数据的长度，以字节为单位。

Content-Encoding：指定了返回的数据采用的编码方式，如gzip、deflate等。

Content-Language：指定了返回数据的主要自然语言。

Date：指定了消息产生的日期和时间。

X-Powered-By：说明服务器所采用的解析语言。;HTTP响应头状态码

1xx：提示信息类状态码，表示请求已经被接收，但处理还未完成，或???是正在进行的操作。

2xx：成功类状态码，表示请求已经被成功接收和处理。

3xx：重定向类状态码，表示请求需要进一步的步骤才能完成。

4xx：客户端错误类状态码，表示客户端在请求过程中遇到了问题。

5xx：服务器错误类状态码，表示服务器在处理请求时出现了问题。;

;HTML是什么？

HTML（HyperTextMarkupLanguage，超文本标记语言）是一种用于创建网页的标准标记语言。它不是一种编程语言，而是一种描述性语言，通过一系列标签（tags）来描述网页中的各种元素，如文字、图形、动画、声音、表格、链接等。这些标签将网络上的文档格式统一，使分散的Internet资源连接为一个逻辑整体。代码141是一段完整的HTML代码。

;一段完整的HTML代码

!DOCTYPEhtml?标识这是一个HTML5文档。

html?元素是HTML页面的根元素。

head?元素包含了文档的元信息，如标题（title）。

body?元素包含了网页的主体内容，如标题（h1）、段落（p）和链接（a）。

;URL链接标签，可以根据此标签中的URL，跳转到对应的网页上，代码格式如下。html?元素是HTML页面的根元素。代码格式如下：

;图片资源，代码格式如下：;视频资源，代码格式如下;

;CSS:一种用于描述HTML或XML文件样式的标记性语

分离内容与样式：使用CSS可以将样式信息从网页内容中分离出来，使得网页内容更加清晰、易于维护。样式信息通常保存在单独的CSS文件中，通过链接或导入的方式应用到HTML文档中。

层叠与继承：CSS中的样式规则具有层叠性，即当多个规则应用于同一个元素时，会根据优先级和特定规则来决定最终应用的样式。此外，CSS还支持样式的继承，即某些样式属性会从父元素传递给子元素。

丰富的样式选项：CSS提供了丰富的样式选项，可以控制网页中元素的字体、颜色、背景、边框、阴影、动画等各个方面的外观。

提高可访问性和性能：通过合理使用CSS，可以改善网页的可访问性（如为残障人士提供辅助功能），并提高网页的加载性能（如通过缓存和外部样式表减少页面体积）。

兼容性和浏览器支持：虽然大多数现代浏览器都支持CSS，但由于不同浏览器之