垂直爬虫简单调研.pptVIP

垂直搜索引擎的调研 1搜索引擎的分布式架构 2网络爬虫的算法 3网络爬虫的多线程与异步的区别 4垂直爬虫 搜索引擎的分布式架构 1类别： 基于局域网的分布式架构 基于广域网的分布式架构 2分布式网络爬虫的重点 爬虫之间如何进行通信 分布式架构类别 1、基于局域网分布式网络爬虫：这种分布式爬行器的所有爬虫在同一个局域网里运行，通过高速的网络连接相互通信。这些爬虫通过同一个网络去访问外部互联网，下载网页，所有的网络负载都集中在他们所在的那个局域网的出口上。由于局域网的带宽较高，爬虫之间的通信的效率能够得到保证；但是网络出口的总带宽上限是固定的，爬虫的数量会受到局域网出口带宽的限制。 2、基于广域网分布式网络爬虫：当并行爬行器的爬虫分别运行在不同地理位置（或网络位置），我们称这种并行爬行器为分布式爬行器。例如，分布式爬行器的爬虫可能位于中国，日本，和美国，分别负责下载这三地的网页；或者位于CHINANET，CERNET，CEINET，分别负责下载这三个网络的中的网页。分布式爬行器的优势在于可以子在一定程度上分散网络流量，减小网络出口的负载。如果爬虫分布在不同的地理位置（或网络位置），需要间隔多长时间进行一次相互通信就成为了一个值得考虑的问题。爬虫之间的通讯带宽可能是有限的，通常需要通过互联网进行通信。? 在实际应用中，基于局域网分布式网络爬虫应用的更广一些，而基于广域网的爬虫由于实现复杂，设计和实现成本过高，一般只有实力雄厚和采集任务较重的大公司才会使用这种爬虫。这里研究的是前者。 分布式网络爬虫的重点 主要是爬虫之间如何进行通信 主要有一下三种： 1主从模式 2自治模式 3混合模式 1主从模式 主从模式是指由一台主机作为控制节点负责所有运行网络爬虫的主机进行管理，爬虫只需要从控制节点那里接收任务，并把新生成任务提交给控制节点就可以了，在这个过程中不必与其他爬虫通信，这种方式实现简单利于管理。而控制节点则需要与所有爬虫进行通信，它需要一个地址列表来保存系统中所有爬虫的信息。当系统中的爬虫数量发生变化时，协调者需要更新地址列表里的数据，这一过程对于系统中的爬虫是透明的。但是随着爬虫网页数量的增加。控制节点会成为整个系统的瓶颈而导致整个分布式网络爬虫系统性能下降。 自治模式 混合模式 大型分布式网络爬虫体系结构图 爬虫算法 1基于网络拓扑的分析算法 网页(Webpage)粒度的分析算法 网站粒度的分析算法 网页块粒度的分析算法 2基于网页内容的网页分析算法 3基于文本的网页分析算法  网页搜索策略 网页的抓取策略可以分为 1深度优先 2广度优先 3最佳优先三种 深度优先在很多情况下会导致爬虫的陷入(trapped)问题，目前常见的是广度优先和最佳优先方法。  广度优先 广度优先搜索策略是指在抓取过程中，在完成当前层次的搜索后，才进行下一层次的搜索。该算法的设计和实现相对简单。在目前为覆盖尽可能多的网页， 一般使用广度优先搜索方法。也有很多研究将广度优先搜索策略应用于聚焦爬虫中。其基本思想是认为与初始URL在一定链接距离内的网页具有主题相关性的概率 很大。另外一种方法是将广度优先搜索与网页过滤技术结合使用，先用广度优先策略抓取网页，再将其中无关的网页过滤掉。这些方法的缺点在于，随着抓取网页的 增多，大量的无关网页将被下载并过滤，算法的效率将变低。  最佳优先方法 最佳优先搜索策略按照一定的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取。它 只访问经过网页分析算法预测为“有用”的网页。存在的一个问题是，在爬虫抓取路径上的很多相关网页可能被忽略，因为最佳优先策略是一种局部最优搜索算法。 因此需要将最佳优先结合具体的应用进行改进，以跳出局部最优点。将在第4节中结合网页分析算法作具体的讨论。研究表明，这样的闭环调整可以将无关网页数量 降低30%~90%。  垂直爬虫 垂直爬虫是我们调研的重点 我们将来的项目将用到垂直爬虫 我个人的对垂直爬出的看法就是： 特定领域的爬虫。 垂直爬虫 1概述 2工作模式 3运行流程 4主要业务逻辑 垂直爬虫的概述 垂直爬虫是垂直搜索引擎的核心，对整个引擎的运行效率有着重大影响。 在这里不得不提到垂直搜索引擎： 垂直搜索引擎就是：针对某一行业的专业搜索引擎方式。 目前国内有：旅游搜，天气搜，等等典型代表 1垂直搜索引擎的工作模式 爬虫系统的运行流程 * 自治模式是指系统中没有协调者，所有的爬虫都必须相互通信，比主从模式下爬虫要复杂一些。自治模式的通信方式可以使用全连接通信或环形通信。全连接通信是指所用爬虫都可以相互发送信息，使用这种方式的每个网络爬虫会维护一个地址列表，表中存储着整个系统中所有爬虫的位置，每次通信时可以直接把数据