基于链接聚类的shark-search算法lqtuyijp.pptVIP

基于链接聚类的 Shark-Search算法 * 目录 引言 Fish-Search算法与Shark-Search算法 链接聚类算法 基于链接聚类的Shark-Search算法 实验与评估 结论 * 目录 引言 Fish-Search算法与Shark-Search算法 链接聚类算法 基于链接聚类的Shark-Search算法 实验与评估 结论 * 引言 网页爬取是搜索引擎工作的重要步骤 网页的静态搜集 -时新性较差，不能保证链接的有效性 -不具有可定制性 网页的主题爬取 -指定主题，即时定向，对待访问链接进行评价 -较好的时新性，大量节约硬件和网络资源 要点：与主题最相关的链接优先爬取 根据网页的半结构化特征对其中的链接进行聚类 * 目录 引言 Fish-Search算法与Shark-Search算法 链接聚类算法 基于链接聚类的Shark-Search算法 实验与评估 结论 * Fish-Search算法 Web爬取-鱼群的觅食过程 动态建立一个优先爬取的URL列表 鱼-URL 食物-相关网页 找到食物：鱼繁殖αω后代，保持生命力D继续觅食（沿该方向继续跟踪链接），潜在相关得分1 没有找到食物：繁殖ω后代，生命力-1，潜在相关得分0.5 * Shark-Search算法 在Fish-Search算法基础上的改进 网页与主