1 Web 搜索概述.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 深层Web爬行器 HiWE （Hidden Web Exposer） 斯坦福大学提出一面向特定主题的深层Web爬行器HiWE。HiWE通过模仿人的操作实现查询表单自动填写、提交以及结果页面URL的解析。 深层Web爬行器 BASE (Bielefeld Academic Search Engine ) / 德国比勒费尔德大学图书馆开发的深层数据库资源的全文搜索引擎，目前覆盖1555个数据库近2300多万篇文献，提供集成检索、原文链接服务。 1.1.4 搜索引擎分类 根据功能特点分类 : 多语种与跨语种搜索引擎 多媒体搜索引擎 自然语言搜索引擎 语义搜索引擎 多语种与跨语种搜索引擎 多语种搜索引擎 采用语种辨别技术识别用户提问语种，检索对应语种数据库，返回相应语种结果。 Google等支持多语种检索。 关键技术是语言识别。 跨语种搜索引擎 用一种语言提交查询，搜索引擎将其转换成多种语言查询式，实现对多种语言数据库的检索，返回与用户问题相关的多语言相关文献。 核心技术机器翻译。 基于字典的机器翻译 多媒体搜索引擎 两种类型 基于文本属性描述的多媒体搜索引擎 基于内容的多媒体搜索引擎 关键技术 自动排除：过滤指定多媒体特征的信息 自动标引：包括属性标引与内容标引 这是个什么建筑物? 应用实例：Photo2Search 应用实例：Photo2Search 数据库 Church in Bellevue Open hours: 9-5pm Built: 1950 ……. 应用实例：Photo2Search 自然语言搜索引擎 自然语言搜索引擎 用户以自然语言方式提问，系统返回以自然语言方式组织的检索结果 主要技术：机器翻译、语义理解及人机会话等 相关搜索引擎 Ask Jeeves() AnswerBus () …… Powerset 语义搜索引擎 语义搜索引擎（Semantic Search Engine） 面向语义网络空间，发现用户指定主题及其语义相关信息。 W3C Linked Data Cloud 实例一：Marbles (/ ) 实例二：Swoogle / 实例三：Sindice / 1.2 搜索引擎评价标准 检全率 指搜索引擎提供的检索结果中相关信息文档数与网络信息中存在的相关信息文档数之比。 搜索引擎对互联网信息的有效覆盖率 搜索引擎索引数据库的库容量 搜索引擎索引数据库的信息更新频率 检准率 检索结果中有效信息的文档数与搜索引擎提供的全部文档数之比。 检索速度 取决于网络带宽及搜索引擎本身的速度。 1.2 搜索引擎评价标准 数据库更新周期 搜索引擎的更新速度取决于其所收录网页的更新速度及索引更新技术。有增量、完全索引 信息的权威性 以网络机器人采集、加工数据的搜索引擎对信息有效性的判断能力不及人工参与建库的搜索引擎。 有效性成为考察搜索引擎服务质量重要指标。 1.3 Web搜索发展趋势 (1)提高对用户提问的理解 用户模型研究 于搜索引擎及用户中间建立用户需求模型，搜索用户需求，过滤结果信息。 自然语言理解研究 IBM的WebFountain通过利用自然语言理解技术，实现对非结构化文本的语义抽取以及元数据标引 (2)改进检索结果处理方式 分类与聚类、可视化 / 1.3 Web搜索发展趋势 (3)专业化搜索引擎将有大发展 (4)深层Web搜索受到重视 1.4 Web搜索相关资源 Search Engine Watch （） Internet Search Tools （/library/searchtools/） * * * * * * * * Web 搜索 1. Web搜索概述 2. Web搜索系统结构 3. Web搜索相关技术 4. 基于主题的Web搜索 5. 搜索引擎实例分析 据2011年1月公布的第27次中国互连网络发展状况调查报告统计，中国大陆网民数和IPv4数已分别达到4.57亿和2.78亿。 ????????????????????????????????????????????????????????????????????? 互连网的发展 网络资源的发展 静态网页（浅层网络资源） Google 2005年底80亿张 2008年4月5日用”the”搜索Google，相关记录录：112亿。 2009年4月8日用“the”搜Google有124.5亿页。 2010年4月8日用”the”搜索有190亿网页。 2011年3月26日用”the”搜索有252亿网页。 网络资源的发展 数据