搜索引擎的技术分析及其发展趋势.pptVIP

二、变长GRAM搜索技术-VGRAM技术 在真实的数据集上，通过做了大量的实验以评估VGRAM技术,实验结果表明，采用VGRAM索引技术可以有效地改善现有的典型近似查询算法的查询性能。 基于关系数据库的关键字近似搜索技术的研究 一、近似搜索技术的相关知识 二、变长GRAM搜索技术-VGRAM技术 三、支持语义关联的查询重写技术 四、基于语义函数与关键字的搜索技术 三、支持语义关联的查询重写技术 web用户通常可以通过基于form的接口提交查询,并获得查询结果。输入的 查询请求和返回的查询结果往往受限于form接口的设计，导致查询结果的查准率 和查全率都很低(查准率和查全率也是评价搜索引擎的重要指标)。 三、支持语义关联的查询重写技术 为克服form接口设计的局限性,提高查准率和查全率,提出了一种支持语义关联的查询重写技术。 基于历史查询及其查询结果，通过数据挖掘技术来改善对基于web form的查询方法 三、支持语义关联的查询重写技术 通过实验结果表明:所采用的数据挖掘方法和查询重写技术使平均查准率和查全率都高于80%,而假通过率则低于2.0% 基于关系数据库的关键字近似搜索技术的研究 一、近似搜索技术的相关知识 二、变长GRAM搜索技术-VGRAM技术 三、支持语义关联的查询重写技术 四、基于语义函数与关键字的搜索技术 四、基于语义函数与关键字的搜索技术 通过研究元组的语义特性以及元组间的语义关系 (关系型数据库的记录叫做元组)， 提出一种新的评分函数。 该评分函数不仅涵盖了当前的评分思想,并且用一些新的指标来衡量查询结果与查询关键字之间的相关性,从而更贴切和准确地衡量查询结果与查询关键字间的相关度。 四、基于语义函数与关键字的搜索技术 传统信息搜索领域的评分函数以及搜索算法没有考虑关系库中表之间的语义关联,例如，对查询关键字的间接包含和非自由元组间的语义关联，因此传统技术不适合被直接应用到数据库关键字搜索中。 基于提出的评分函数,设计两种以数据块为处理单位的Top-K搜索算法,分别为BA算法(BloekingAlgorithm)和EBA算法(Early一stoppingBloekingAlgorithm)， 四、基于语义函数与关键字的搜索技术 EBA在BA基础上引入了过滤域值以便尽早终止算法的迭代次数，同时，避免频繁访问数据库。 实验结果显示语义评分函数保证了搜索结果的高查准率和查全率,所提出BA算法和EBA算法改善了现有方法的查询性能。 随着Internet技术的发展，丰富的信息资源满足人们的各种需求，同时，日益增长的WEB数据也引发了新一轮的技术革命，随之，新的需求也带来了新的研究课题，如：数据质量、分布式数据搜索、信息集成、海量数据存取及数据发布等。 搜索引擎的技术分析及其发展趋势 计算机与电气自动化学院 网络教研室 刘明信 搜索引擎技术分析 一、当前主流搜索引擎的工作原理 二、全文搜索引擎 三、目录搜索引擎 四、元搜索引擎 一、当前主流搜索引擎的工作原理 搜索引擎的工作原理就是把搜索过程分为三个过程： 第一步：从互联网上抓取网页 第二步：建立索引数据库 第三步：在索引数据库中搜索排序。 一、当前主流搜索引擎的工作原理 (1)从互联网上抓取网页----利用能够从互联网上自动收集网页的Spider系统程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集回来。 Spider就是蜘蛛 Spider程序也称作Robot，即机器人，也叫网络爬虫，专门从网络上下载网页，速度之快，令人吃惊。 一、当前主流搜索引擎的工作原理 (2)建立索引数据库----建立索引数据库由分析索引系统程序对收集回来的网页进行分析，提取相关网页信息根据一定的相关度算法进行大量复杂计算，然后用这些相关信息建立网页索引数据库。 (3)在索引数据库中搜索排序----当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。最后由页面生成系统