第七章网上信息检索.ppt

第七章网上信息检索 7.1 搜索引擎 搜索引擎的应用现状 从用户使用的角度，国外的调查发现： 网上搜索信息的人很少考虑如何找到他们所需要的 信息，因此搜索信息时象动物猎食般盲目； 只有18%的用户表示总能在网上搜索到需要的信 息。68%的用户说他们对搜索引擎很失望； 平均每个搜搜者在12分钟的徒劳搜索后就感到恼火 和受挫。 46%的人只会用同一个关键词搜啊搜啊，而且是在 同一个搜索引擎。 国外的应用状况 那些每周平均花5个小时以上时间上网的人，将其上网时间的71%都花在了搜索引擎上； 人机界面高手nielsen（google的设计者）研究表明： 略超过1/2的互联网用户属于search-dominant, 约1/5用户属于link-dominant, 其它用户的搜索倾向属于混合行为型。 search-dominant在到达一个网站后直接就奔向搜索按钮，他们对浏览网站不感兴趣，他们有明确的目的，倾向于以最快速度找到信息。 相反，link-dominant喜欢点击浏览一个网站，即使他们想找特殊信息时也是这样，只有在他们用点击超链的方法已经实在找不到了，才会想起搜索按钮。 搜索引擎的分类及原理 按照信息搜集方法和服务提供方式的不同，搜索引擎系统可以分为三大类： 1．机器人搜索引擎：由一个称为蜘蛛（Spider）的机器人程序以某种策略自动地在互联网中搜集和发现信息，由索引器为搜集到的信息建立索引，由检索器根据用户的查询输入检索索引库，并将查询结果返回给用户。服务方式是面向网页的全文检索服务。该类搜索引擎的优点是信息量大、更新及时、毋需人工干预，缺点是返回信息过多，有很多无关信息，用户必须从结果中进行筛选。这类搜索引擎的代表是：AltaVista、Northern Light、Excite、Infoseek、Inktomi、FAST、Lycos、Google；国内代表为：天网、悠游、OpenFind等。 2．目录式搜索引擎 以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中。信息大多面向网站，提供目录浏览服务和直接检索服务。该类搜索引擎因为加入了人的智能，所以信息准确、导航质量高，缺点是需要人工介入、维护量大、信息量少、信息更新不及时。这类搜索引擎的代表是：Yahoo、LookSmart、Open Directory、Go Guide等。 3．元搜索引擎 这类搜索引擎没有自己的数据，而是将用户的查询请求同时向多个搜索引擎递交，将返回的结果进行重复排除、重新排序等处理后，作为自己的结果返回给用户。服务方式为面向网页的全文检索。这类搜索引擎的优点是返回结果的信息量更大、更全，缺点是不能够充分使用所使用搜索引擎的功能，用户需要做更多的筛选。这类搜索引擎的代表是WebCrawler、InfoMarket等。 主要技术 一个搜索引擎由搜索器、索引器、检索器和用户接口等四个部分组成。 搜索器 搜索器的功能是在互联网中漫游，发现和搜集信息。它常常是一个计算机程序，日夜不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息，同时因为互联网上的信息更新很快，所以还要定期更新已经搜集过的旧信息，以避免死连接和无效连接。 索引器 2.索引器 –索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。 –索引项有客观索引项和内容索引项两种：客观项与文档的语意内容无关，如作者名、URL、更新时间、编码、长度、链接流行度（Link Popularity）等等；内容索引项是用来反映文档内容的，如关键词及其权重、短语、单字等等。内容索引项可以分为单索引项和多索引项（或称短语索引项）两种。单索引项对于英文来讲是英语单词，比较容易提取，因为单词之间有天然的分隔符（空格）；对于中文等连续书写的语言，必须进行词语的切分。 检索器和用户接口 3.检索器 检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。 检索器常用的信息检索模型有集合理论模型、代数模型、概率模型和混合模型四种。 4.用户接口 用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。用户接口的设计和实现使用人机交互的理论和方法，以充分适应人类的思维习惯 值得推荐的几个中文搜索引擎 全文搜索 –衡量搜索引擎的指标： ?查全率 ?查准率 ?速度 ?哪个重要？ –Google: （需要出国访问权限） ?新浪使用了它的全文搜索引擎服务 ?说明：这是2004年4月的情形，各大门户网站使用的