第六章 web检索技术介绍.pptVIP

第六章 Web 检索技术;Web 检索概述;The World Wide Web;Web Search 历史;Web Search 历史;Web Search 历史;Web Search 历史;Web Search的三种形式;Web信息检索系统的分类;Web 搜索引擎工作原理;Web搜索引擎的工作过程;Web搜索引擎的结构;Web搜索引擎的基本要求;Web搜索引擎的基本要求;Web搜索引擎体系结构;分布式结构:主次结构;分布式结构:对等结构;Web搜索引擎系统组成;Web信息采集;Web信息采集的特点及意义;Spiders (Robots/Crawlers/Wander);爬取过程;采集的遍历算法;Web数据采集系统的分类;Web数据采集系统的分类;Crawler基本思想;Web有向图;系统框图;抓取网页通信实例;单个采集线程个工作过程;单个采集线程个工作过程;采集中的“礼貌”问题;网页预处理;网页预处理任务;网页重复情况;网页去重方法;网页去重方法—基于文本块;网页去重方法—利用shingle和超级shingle;两种随机选择shingle的方法 将一篇文本D的所有shingle随机排序，然后挑选出前m个保留，挑选出来的shingle记为Fm(D)； 将D中随机排序后的所有shingle的序号对数m进行模运算，保留所有计算结果为0即序号是m的倍数的shingle，这些shingle的集合记为Vm(D)；;网页去重方法—基于集合统计;网页去重方法—其他;正文提取;基于DOM树的正文提取;基于DOM树的正文提取步骤;相关排序;搜索引擎的排序重要性;早期的相关排序技术;超链接分析技术前提;链接分析技术分类;随机冲浪模型;PageRank算法;PageRank 基本思想;PageRank计算过程;PageRank 计算过程;PageRank算法举例;Pagerank计算公式;Pagerank算法的特点;HITS (Hyperlink-Induced Topic Search)算法的提出;HITS算法基本思想;Hubs and Authorities;HITS算法简介;HITS算法简介;HITS算法简介;HITS算法举例;HITS算法的特点;HITS算法与PageRank算法比较;基于Lucene构建搜索引擎系统;Lucene技术;Lucene整体系统结构;Lucene包结构功能;Lucene工作流程;Lucene建立索引过程;Lucene搜索过程;Heritrix技术