网页的收集-北京大学网络与信息系统研究所.PPT

网页的收集（2） 李晓明，2003年10月 参考《Mining the Web》 Global Picture 收集（爬取，crawling） 批量（batch）还是增量（incremental）？ 整理 净化（purification），打分，切词 服务 倒排索引（inverted index，含位置信息与否） 字面匹配，概念匹配 静态摘要还是动态摘要？ 排序 大规模爬取器的一种结构图 大规模爬取器：性能和可靠性问题 同时并发抓取多个网页（例如一台机器200个并发） 这是充分利用网络带宽的基础 避免让DNS查询成为瓶颈 利用异步sockets（Soumen的观点） 用一个数据结构，显式将一个抓取过程的状态表达出来 检查结束标志 多进程、多线程：漂亮但不实用 URL提取中的问题 消除重复，减少冗余的抓取（不那么容易，同义URL问题） 避免“spider traps”，陷入少量网站中 DNS缓存，预取和解析 如果不采取措施，DNS地址解析会成为一个重要的瓶颈 局域网中，DNS服务器通常较小，对付几百个工作站的常规操作没问题，但一个crawler产生的压力大很多 避免同时从一个服务器抓许多网页也使DNS的cache能力发挥不出来（破坏了locality） 搜索引擎中可以设计一个专用的DNS模块，含有 用于地址解析的DNS client（和本模块的DNS缓存服务器打交道） 缓存server 预取client 用于高效地址解析的定制client 一般系统（例如UNIX）提供的DNS client没有考虑cralwer的需求，带来两个问题： 以gethostbyname()为基础，它不能并发； 不会考虑在多个DNS server之间分配负载。 因此一个custom client很必要。 专门对付多个请求的并发处理 容许一次发出多个解析请求 通过polling来看请求的完成情况 协助在多个DNS server之间做负载分配（例如根据掌握的URL进行适当调度） 缓存服务器（DNS Caching Server） 大缓存容量，跨DNS系统的刷新保持内容 Internet的DNS系统会定期刷新，交换更新的域名和IP的信息。 普通的DNS cache一般应该尊重上级DNS服务器带来的域名“过期”的信息，但用于爬取网页的DNS cache不一定如此，以减小开销（让缓存中有些过期的无所谓，但也要注意安排适时刷新） 映射尽量放在内存，可以考虑用一台专门的PC 预取client 为了减少等待查找涉及新主机的地址的时间：尽早将主机名投给DNS系统 步骤 分析刚得到的网页 从HREF属性中提取主机名（不是完整的URL） 向缓存服务器提交DNS解析请求 结果放到DNS cache中（后面可能有用，也可能用不上） 通常用UDP实现 非连接，基于包的通信协议，不保证包的投递 用不着等待解析的完成 多个并发的抓取 管理多个并发的连接 单个下载可能需要几秒钟 同时对不同的HTTP服务器建立许多socket 连接 过多的硬件并行好处不大 爬取的性能瓶颈主要在网络和硬盘 两种基本方法 用多线程 用带事件处理的非阻塞sockets 多线程方法 逻辑线程（进程） 操作系统控制的线程（例如pthread），或 并发进程（地址空间分离，好处是相互干扰不大） 通常根据经验采用一个预先确定的线程数量 程序设计 创建一个client socket 将该socket连接到服务器的HTTP服务上 发送HTTP请求 读socket (recv)直到没有更多的东西可读 还可以是通过时间判断中止 关闭socket 通常用阻塞的系统调用（简单；等待和计算的重叠靠并发多线程“随机”实现） 多线程：问题 性能代价（performance penalty） 互斥（共享的工作数据区数据结构的并发访问） 磁盘访问代价 并发线程在完成抓取后，进行文档存储时会形成大量交叉的，随机磁盘I/O，外部表现就是磁盘不断的寻道，很慢。 用程序的方式协调这种访问的开销可能会更大（线程互斥，或者进程通信，都很复杂） 非阻塞socket和事件处理：就是一个进程 非阻塞sockets connect, send或recv调用立刻返回，不需要等网络操作的完成（因此可以连续给出多个） 随后可以通过polling来检查完成的状态 “select”系统调用：专门针对非阻塞socket 让调用者挂起，直到数据可以通过socket读/写，或者期限超时 可以同时监管多个sockets的状态，一个可用就返回 select体现了更高效的存储管理：一次select返回一个socket标识 网页抓取的完成不相互影响（自然地序列化了！） 于是在共享的任务池上也不需要加锁或者信号灯！ “燕捷”就是用这种non blocking socket实现了文件跨