信息检索和Web搜索.docxVIP

信息检索与Web搜索 第5讲 索引构建 Index construction 授课人：高曙明 *改编自“现代信息检索”网上公开课件（/~wangbin） 相关硬件基础知识 在内存中访问数据会比从硬盘访问数据快很多(大概10倍左右) 硬盘寻道需要时间，即寻道时间，期间不发生数据传输 硬盘 I/O是基于块的: 读写时是整块进行的。块大小：8KB到256 KB不等 IR系统的服务器的典型配置是内存几个GB或几十GB，硬盘数百G或者上T 容错处理的代价非常昂贵：采用多台普通机器会比一台提供容错的机器的价格更便宜 2 3 一些统计数据(ca. 2008) 符号 含义 值 s b P 平均寻道时间 每个字节的传输时间 处理器时钟频率 底层操作时间 (e.g., 如word的比较和交换) 内存大小 磁盘大小 5 ms = 5 × 10−3 s 0.02 μs = 2 × 10−8 s Hz 0.01 μs = 10−8 s 几GB 1 TB或更多 Reuters RCV1 语料库 路透社 1995到1996年一年的英语新闻报道文档集，包括政治、贸易、体育、科技等话题 4 5 Reuters RCV1语料库的统计信息 一个词项的平均出现次数是多少？即一个词项平均对应几个词条？ 每个词条字节数为4.5 vs. 每个词项平均字节数 7.5，为什么有这样的区别？ N L M T 文档数目 每篇文档的词条数目 词项数目(= 词类数目) 每个词条的字节数 (含空格和标点) 每个词条的字节数 (不含空格和标点) 每个词项的字节数 无位置信息索引中的倒排记录数目 800,000 200 400,000 6 4.5 7.5 100,000,000 6 回顾: 倒排索引组成 词典 倒排记录表 7 回顾: 倒排索引构建的基本步骤 扫描一遍文档集合得到所有的词项——文档二元组 以词项为主键，以文档ID为次键进行排序 将每个词项对应的所有文档ID组织成倒排记录表 计算文档频率等统计量 该方法对大规模文档集不适用，为此，需要找到基于磁盘的方法 图 1-4 基本思想：对大规模文档集的索引构建进行分而治之 算法步骤： 将文档集分割成若干大小相当的部分 将每个部分的词项ID-文档ID二元组排序 将每个部分的倒排记录表写到磁盘中 将所有的中间结果合并成整个文档集的倒排索引 基于排序的分块索引构建BSBI 8 9 BSBI算法 一个关键决策：如何确定块的大小 能够方便加载到内存 能够在内存中进行快速排序 10 两个块的合并过程 逐步读入与写出，故内存不需太大 11 基于BSBI的RCV1索引构建 需要对T = 100,000,000条无位置信息的倒排记录进行排序 每条倒排记录需要12字节 (4+4+4: termID, docID, df) 定义一个能够包含10,000,000条上述倒排记录的数据块 这个数据块很容易放入内存中(12*10M=120M) 对于RCV1有10个数据块 基本过程: 对每个块: (i) 倒排记录累积到10,000,000条, (ii) 在内存中排序, (iii) 写回磁盘 最后将所有的块合并成一个大的有序的倒排索引 内存式单遍扫描索引构建SPIMI 基本思想：对大规模文档集的索引构建进行分而治之 算法特点 对每个块都产生一个独立的词典，使用词项而不是其ID，不需要统一的词典 增量式动态形成倒排记录表，避免对所有词项—文档ID二元组进行排序 在处理过程中形成块，而不是一开始分块，使分块更合理 12 13 SPIMI算法 14 课堂练习:计算1台机器下采用BSBI方法对Google级规模数据构建索引的时间 分布式索引构建 分布式计算环境：计算机集群，由很多台日用计算机组成，每台计算机随时可能出故障 基本思想 维持一台主机(Master)来指挥索引构建任务-这台主机被认为是安全的 将索引构建划分成多组并行任务 主机将把每个任务分配给空闲机器来执行 当发现某台计算机有问题时，将其任务重新分配 分布式策略：基于词项分割；基于文档分割 15 Google数据中心(2007Gartner) Google数据中心主要都是普通机器 数据中心均采用分布式架构，在世界各地分布 100万台服务器，300个处理器/核 Google每15分钟装入 100,000个服务器 每年的支出大概是每年2-2.5亿美元 这可能是世界上计算能力的10%! 在一个1000个节点组成的无容错系统中，每个节点的正常运行概率为99.9%，整个系统的正常运行概率是多少？ 63% 假定一台服务器3年后会失效，对于100万台服务器，机器失效的平均间隔大概是多少？不到2分钟 16 17