信息组织与检索 第八章-并行和分布信息检索.pptVIP

* * 8.3.1 分布信息检索的体系结构 二、系统结构 客户（用户） 检索系统的用户 一个查询服务器（又称为连接服务器或通信服务器，之上运行委托代理） 查询服务器负责客户与信息检索服务器之间的所有消息传递 信息检索服务器 信息搜索 * * 8.3.1 分布信息检索的体系结构 * * 8.3.1 分布信息检索的体系结构 三、一些需要考虑的问题 工程性问题 搜索协议的定义，用于规范化传输查询请求和查询结果； 服务器的请求处理能力，能够有效地接收请求，初始化一个子进程或一个线程，响应查询请求； 利用高速缓冲技术支持快速的数据获取； 设计一个代理，向多个分布搜索服务器提交搜索请求，并维持其同步，还要把中间查询结果合并为最终的用户响应 * * 8.3.1 分布信息检索的体系结构 三、一些需要考虑的问题 算法方面的问题 如何在分布搜索服务器之间分配文档； 如何选择合适的搜索服务，处理一个特定的查询请求； 如何合并来自不同服务器的查询结果等 * * 8.3.2 分布信息检索的文档集分割 独立管理下的检索系统 分布文档集的建立和管理是独立进行的 每个独立的搜索服务可以对应于某个特定的主题领域 实际上是对文档集按照主题领域进行了语义分割 这通常是常见的元搜索系统的形式 * * 8.3.2 分布信息检索的文档集分割 集中管理下的检索系统 在所有搜索服务器上复制文档集 文档集足够小，可以存放在单台搜索服务器上，系统的并行性是通过多任务来实现的 把文档集随机分布 代理把每个查询广播到所有的搜索服务器上，并把检索的结果合并起来，返回给用户 对文档集进行语义分割 把用户的查询分配到合适的搜索服务器上，最后把各路查询结果合并起来，形成最终的查询结果 * * 8.3.3 标准化 分布信息检索系统的基础保障就是标准化 标准化的两个方面 元数据及其内容描述。为了使得信息检索可互操作，需要一致的数据集模型。这方面的标准用于建立标准的、共用的、适合描述各种类型数据的元数据语义库和文档内容库。 信息检索协议。它是一套互操作信息检索协议，支持统一的元数据语义和内容描述。在标准检索协议支持下，通过共同支持的查询语义和语法，对各种异构文档集进行搜索 例如：Z39.50 * * 8.3.3 标准化 * * 8.3.4 分布信息检索的查询处理 查询处理的基本步骤如下 资源选择。选择合适的文档集，用于搜索； 查询分发。把查询分发到这些文档集上； 并行搜索。对文档集并行执行查询； 结果合并。合并各文档集的查询结果，形成最终的查询结果 * * 8.3.4 分布信息检索的查询处理 资源选择 给定信息需求和一组资源描述，决定搜索哪些资源库 资源描述表示分布信息环境中包含哪些文档集 资源选择的主要问题? 对资源排序，即根据资源满足查询需求的可能程度来排序 * * 8.3.4 分布信息检索的查询处理 查询结果的合并 要求：把从每个文档集得到的排序结果合并起来，形成单一的排序 问题：因为每个文档集可能采用不同的统计排序准则，不同的数据表示和/或检索算法，因此文档的排序和相似值的含义不同，合并这些查询结果是非常困难的 * * 8.3.4 分布信息检索的查询处理 查询结果的合并 合并的方法 循环交替地合并从各个文档集查询得到的查询结果排序表，但是这种方法可能导致不好的结果 利用全局项统计值去计算文档的相似值 采用计算归一化的相似值，或基于归一化值的合并方法 …… * * 小结 对于大型的不断增长的在线文档集来说，尤其是多媒体数据的大量涌现，需要并行和分布计算来支持信息的检索 主要讨论了MIMD并行体系的信息检索问题 信息检索系统可以利用的并行策略有任务并行、数据并行和它们的混合方式 * * 小结 任务并行策略: 因为各种查询可以独立地处理，所以我们可以把查询处理看成是一个并行问题。 可以利用多处理器体系结构，调度任务，平衡查询负荷，每个处理器执行一个顺序地搜索任务。 数据并行策略： 对文档集（数据库）进行分割，每个查询由几个数据并行任务来并行处理，每个任务存取文档集中的不同部分 * * 小结 混合并行策略： 把以上的任务并行和数据并行性策略综合起来。一种实现是用多个处理器处理一个数据并行任务 分布计算可以看成是一种具有相当高的处理器间通信费用的MIMD计算形式 * * 小结 问题？ 如何度量大规模文档集的检索效率 ？ 构搜索系统之间的互操作性？ 异构系统缺乏全局项统计值，如何正确合并（重排）各个子查询的结果？ 如何利用相关反馈提高并行和分布信息检索系统的性能？ …… * * * * TOC * * 第8章 并行和分布信息检索 为了有效地存取大规模文档集 需要并行和分布处理技术 提供有效的可伸缩信息检索服务 本章