第5章数据抓取子系统设计及核心算法.docVIP

第 5 章 数据抓取子系统设计及核心算法 数据抓取子系统功能： 对互联网中网页进行搜集、保存； 其机器人程序，像蜘蛛一样在页面之间爬，所以又称为crawler或spider。 5.1 抓取系统的基本架构 数据抓取子系统 收集页面及其超链接； 要求：及时、高效、数量多、有用； 收集的页面是内容索引子系统索引的对象， 收集的链接是链接分析子系统分析的对象。 图 5.1 数据抓取子系统（高层）结构示意图 下载模块使用多线程或异步I/O方式下载网页； 将内容与结构信息传递到索引子系统进行存储； 将链接结构信息传递到抓取调度程序，并传递到链接结构分析子系统进行存储和计算； 调度程序根据超链接重要程度决定抓取顺序，再将抓取任务下达给下载模块进行下载， 周而复始地进行网络数据的抓取与收集。 对上图的基本结构进行分解，可以得到下图所示的功能模块图。 链接存储、链接选取、 DNS 解析、网页抓取、网页分析、链接分析和扩展、网页存储； 抓取系统的各模块是环状的封闭环境，通常称之为“抓取环”。 图 5.2 一个典型的搜索引擎抓取环的架构形式 1、链接存储库 linkdb ( link database ) 存储链接、链接统计信息。 2、链接选择模块 link selector 负责抓取子系统的任务调度，根据链接深度、网页类型、 URL 格式等特征来决定网页抓取的优先级。 3、内部DNS服务 将网络数据资源对应的 URL 地址解析为IP 地址。 一般的网络应用程序，可利用公共 DNS 服务器提供的解析服务，来满足解析需要； 对搜索引擎，这种方式则通常不能满足效率和性能的需要。 数据抓取子系统内部往往自行设立 DNS 服务器以提供高效的解析服务。 有时DNS 服务还同时担任对相应 URL 所在网站的抓取策略限制文件(robots . txt )进行内容检查的任务。 4、网页抓取模块 crawler system 主要功能包括： 压力控制； 页面抓取； 通常采用多线程或者异步I/O方式实现。 5、网页提取模块 ec ( extraction center ) 进行网页信息提取、属性计算工作； 将提取和计算出来的网页信息存储到 webdb ( web database ）中； 将扩展出来的链接发送给 link filter 进行过滤。 6、链接过滤模块 link filter 负责扩展链接的分析和处理； 经过滤策略处理后的链接信息发送给link saver； 过滤链接可以避免大量无意义、自动生成的链接对抓取子系统的影响。 7 、链接更新模块 link Saver 负责链接添加、更新和删除请求； 定期地合并到 link db 中。 进行定期而不是实时的数据更新 link db存储结构要满足高性能的链接选取策略，很难满足链接的实时更新。 5.2 数据抓取涉及的网络协议 5.2.1 URL 规范 URL 即 Uniform Resource Locator （统一资源定位符），也被称为“网页地址”，是互联网上标准的资源地址。 它最初是由 Tim Berners -Lee 设计用来作为互联网地址的，现在它已经被编制为互联网标准 RFC 1738了。 URL 格式如下： 5.2.2 HTTP 协议 HTTP协议简介Hypertext Transfer Protocol的英文缩写； 主要用于Web浏览器和Web服务器之间的数据交换。 在地址栏中输入http://host:port/path，就是让浏览器使用HTTP协议来和host指定的服务器进行通讯。 HTTP协议诞生于上世纪90年代初 第一个广泛应用的版本是HTTP0.9，非常简陋； HTTP1.0中，增加了许多特性，如资源重定位、大量的状态响应码等； HTTP1.1中，增加请求方法，最大的改进：HTTP可以保持连接状态。 二、HTTP的工作方式 HTTP协议采用请求/响应的工作方式； 基于HTTP1.0的客户端向服务器发出请求后，服务器会向客户端返回响应消息（包括请求是否正确、所请求的数据）； 在确认客户端收到响应消息后，服务端就关闭网络连接。 数据传输过程中，并不保存历史信息和状态信息； ? 图：HTTP1.0协议的通讯过程 问题： Web页面含有其他资源时（如JavaScript文件、图像文件、CSS文件等），浏览器每遇到这样一个Web资源，就会建立一个HTTP会话。 加重服务器负担、影响浏览器加载HTML等Web资源的效率。 HTTP1.1增加了持久连接 服务器将关闭客户端连接的主动权给了客户端； 客户端向服务器发送请求并接收响应后，只要不关闭网络连接，就可以继续向服务器发送HTTP请求。 HTML中含有