【精选】基于给定的文档生成倒排索引.pdfVIP

第二十六章：基于给定的文档生成倒排索引的编码与实践 作者：July、yansha。 出处：结构之法算法之道 引言 本周实现倒排索引。实现过程中，寻找资料，结果发现找份资料诸多不易：1、网上搜倒排索引实现，结果千篇一 律，例子都是那几个同样的单词；2、到谷歌学术上想找点稍微有价值水平的资料，结果下篇论文还收费或者要求注册之 类；3、大部分技术书籍只有理论，没有实践。于是，朋友戏 ：网上一般有价值的东西不多。希望，本blog的出现能改 变此现状。 在第二十四章、倒排索引关键词不重复Hash编码中，我们针对一个给定的倒排索引文件，提取出其中的关键词，然 后针对这些关键词进行Hash不重复编码。本章，咱们再倒退一步，即给定一个正排文档（暂略过文本解析，分词等步 骤，日后会慢慢考虑这些且一并予以实现），要求生成对应的倒排索引文件。同时，本章还是基于Hash索引之上 （运用 暴雪的Hash函数可以比较完美的解决大数据量下的冲突问题），日后自会实现B+树索引。 与此同时，本编程艺术系列逐步从为面试服务而转到实战性的编程当中了，教初学者如何编程，如何运用高效的算 法解决实际应用中的编程问题，将逐步成为本编程艺术系列的主旨之一。 OK，接下来，咱们针对给定的正排文档一步一步来生成倒排索引文件，有任何问题，欢迎随时不吝赐教或批评指 正。谢谢。 第一节、索引的构建方法 根据信息检索导论 （Christtopher D.Manning等著，王斌译）一书给的提示，我们可以选择两种构建索引的算法： BSBI算法，与SPIMI算法。 BSBI算法，基于磁盘的外部排序算法，此算法首先将词项映射成其ID的数据结构，如Hash映射。而后将文档解析成词 项ID-文档ID对，并在内存中一直处理，直到累积至放满一个固定大小的块空间为止，我们选择合适的块大小，使之能方 便加载到内存中并允许在内存中快速排序，快速排序后的块转换成倒排索引格式后写入磁盘。 建立倒排索引的步骤如下： 1. 将文档分割成几个大小相等的部分； 2. 对词项ID-文档ID进行排序； 3. 将具有同一词项ID的所有文档ID放到倒排记录表中，其中每条倒排记录仅仅是一个文档ID； 4. 将基于块的倒排索引写到磁盘上。 此算法假如说最后可能会产生10个块。其伪码如下： 1. BSBI NDEXConSTRUCTION() 2. n - 0 3. while(all documents have not been processed) 4. do n-n+1 5. block - PARSENEXTBLOCK() //文档分析 6. BSBI-INVERT(block) 7. WRITEBLOCKTODISK(block,fn) 8. MERGEBLOCKS(f1,...,fn;fmerged) （基于块的排序索引算法，该算法将每个块的倒排索引文件存入文件f1,...,fn中，最后合并成fmerged 如果该算法应用最后一步产生了10个块，那么接下来便会将10个块索引同时合并成一个索引文件。） 合并时，同时打开所有块对应的文件，内存中维护了为10个块准备的读缓冲区和一个为最终合并索引准备的写缓冲 区。每次迭代中，利用优先级队列（如堆结构或类似的数据结构）选择最小的未处理的词项ID进行处理。如下图所示 （图片引自深入搜索引擎--海里信息的压缩、索引和查询，梁斌译），分块索引，分块排序，最终全部合并（ 实话， 跟MapReduce还是有些类似的）： 读入该词项的倒排记录表并合并，合并结果写回磁盘中。需要时，再次从文件中读入数据到每个读缓冲区 （基于磁 盘的外部排序算法的更多可以参考：程序员编程艺术第十章、如何给10^7个数据量的磁盘文件排序）。 BSBI算法主要的时间消耗在排序上，选择什么排序方法呢，简单的快速排序足矣，其时间复杂度为O （N*logN），其 中N是所需要排序的项 （词项ID-文档ID对）的数目的上界。 SPIMI算法，内存式单遍扫描索引算法 与上述BSBI算法不同的是：SPIMI使用词项而不是其ID，它将每个块的词典写入磁盘，对于写一块则重新采用新的词 典，只要硬盘空间足够大，它能索引任何大小的文档集。 倒排索引 = 词典 （关键词或词项+词项频率）+倒排记录表。建倒排索引的步骤如下： 1. 从头开始扫描每一个词项-文档ID （信息）对，遇一词，构建索引； 2. 继续扫描，若遇一新词，则再建一新索引块 （加入词典，通过