web数据挖掘__10Web爬取分析.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * Preferential crawlers Selective bias toward some pages, eg. most “relevant”/topical, closest to seeds, most popular/largest PageRank, unknown servers, highest rate/amount of change, etc… Focused crawlers Supervised learning: classifier based on labeled examples Topical crawlers Best-first search based on similarity(topic, parent) Adaptive crawlers Reinforcement learning Evolutionary algorithms/artificial life Preferential crawling algorithms: Examples Breadth-First Exhaustively visit all links in order encountered Best-N-First Priority queue sorted by similarity, explore top N at a time Variants: DOM context, hub scores PageRank Priority queue sorted by keywords, PageRank SharkSearch Priority queue sorted by combination of similarity, anchor text, similarity of parent, etc. (powerful cousin of FishSearch) InfoSpiders Adaptive distributed algorithm using an evolving population of learning agents Preferential crawlers: Examples For I(p) = PageRank (estimated based on pages crawled so far), we can find high-PR pages faster than a breadth-first crawler (Cho, Garcia-Molina Page 1998) Recall Crawl size 主题Web信息采集 选择性的搜寻那些与预先定义好的主题集相关页面进行采集 给定特定的种子URL 目前是研究热点，垂直搜索 优点 采集页面更加有针对性，采集效率更高。 缺点 采集速度较慢，判别相关性带来较大的开销。 典型代表：Focused Crwaler -- IITIBM 采集系统首先保存一个经典的主题分类 每个主题分类都保存若干个内容样本 基于Agent的信息采集 智能Agent系统是指一种处于一定环境下包装的计算机系统 它除了具有自治性、社会能力、反应能力和自发行为 还具有一般人类所有的知识、信念、意图和承诺等心智状态,这使得智能Agent系统具有人类的社会智能 将Agent技术用于采集，像人一样感知用户的兴趣变化，使得采集有更强的灵活性、适应性和自主性 典型代表：InfoSpiders ，Letizia 迁移的Web信息采集 将自己上载到它所要采集的服务器中，在当地进行采集，并将采集结果压缩后，回传到本地 优点 大量的节省了Web资源，大量的剪裁工作将在被采集对象的服务器上完成 缺点 不被采集对象所信任 解决：信任机制，半迁移 典型代表：SPHINX 元搜索Web信息采集 元搜索引擎是这样一种搜索引擎系统，对用户提交的查询请求通过多个领域或门户搜索引擎搜索，并将结果整合后以统一的界面提交个用户 信息采集部分在元搜索引擎中有相当的退化 典型代表： 美国Binghamton大学 ：对数据选择问题进行了研究 美国华盛顿大学：实验发现大多数搜索引擎对于同一个查询要求返回的结果很不相同，重叠率很低。单一搜索引擎会错过许多相关网页 One taxonomy of crawlers Many other criteria could be used: Incremental, Interactive, Concurrent, Etc. * * * * * * * * * * * * * *