web数据挖掘__12复习.ppt

* * * * * * * * Implementation issues Web信息采集当前研究方向 基于整个Web的信息采集(Universal Web Crawling) 增量式Web信息采集 (Incremental Web Crawling ) 基于主题的Web信息采集(Focused Web Crawling ) 基于用户个性化的Web信息采集(Customized Web Crawling ) 基于Agent的信息采集(Agent Based Web Crawling ) 迁移的信息采集(Relocatable Web Crawling ) 基于元搜索的信息采集(Metasearch Web Crawling) 实际的采集器往往是几种采集技术的结合 * Chapter 10: Link Analysis Road map * Introduction Social network analysis PageRank HITS Summary PageRank * Sergey Brin 和 Lawrence Page于1998年提出PageRank算法 Google 采用的一种链接分析方法 仅通过权威性对网页排序，这样可以有校防止人为加工的页面欺骗搜索引擎。即由Web间的超链关系发现重要页面 应用于整个网络而不是围绕一个query结果主页的局部临近主页 PageRank * 根据社会关系网中的等级权威值，网页i的重要程度（它的PageRank）由指向它的其他网页的PageRank之和决定 由于一个网页可能指向许多其他的网页，那么PageRank值将被所有他所指向的网页所共享 PageRank 按照以上的用户行为模型，每个网页可能被访问到的次数越多就越重要 可能被访问的次数就定义为网页的权值，PageRank值 公式如下: Wj代表第j个网页的权值，li,j只取0，1的值，代表从网页i到网页j是否存在连接，ni代表网页i有多少个连向其他网页的链接，d代表“随机冲浪”中沿着链接访问网页的平均次数 * Advantages of PageRank * Fighting spam. A page is important if the pages pointing to it are important. Since it is not easy for Web page owner to add in-links into his/her page from other important pages, it is thus not easy to influence PageRank. PageRank is a global measure and is query independent. PageRank values of all the pages are computed and saved off-line rather than at the query time. Criticism: Query-independence. It could not distinguish between pages that are authoritative in general and pages that are authoritative on the query topic. HITS算法的提出 * 基于商业或竞争因素考虑，很少有WEB网页指向其竞争领域的权威网页。 例如“Microsoft” 和 “Netscape”都是浏览器的权威主页，但并不互指 权威网页很少具有显式的描述 比如Google主页不会明确给出WEB搜索引擎之类的描述信息 PageRank算法中对于向外链接的权值贡献是平均的，Hits算法考虑了不同链接的重要性 HITS * HITS stands for Hypertext Induced Topic Search. Unlike PageRank which is a static ranking algorithm, HITS is search query dependent. When the user issues a search query, HITS first expands the list of relevant pages returned by a search engine and then produces two rankings of the expanded set of pages, authority ranking and hub ranking. 网页的权威性 Authority * 权威性是公认的提供重要度，