基于文本的索引构建技术.pptVIP

概要 概要 3.1基于块的排序索引技术 图3-2 桂林电子科技大学-新闻内容文档实例 3.1基于块的排序索引技术 符号 含义 统计值 N 文档总量 900 000 L 每篇文档的平均词项数量 160 M 词项目总数 190 000 每个词项的平均字节数（包含空格与标点） 4.1B 每个词项的平均字节数（不包含空格与标点） 3.7B 每个词项的平均字节数 4.6B T 倒排记录总数 40 000 000 表3-1 桂林电子科技大学-新闻文档集统计数据表 3.1基于块的排序索引技术 基于磁盘的外部排序算法ESA（External Sorting Algorithm） 核心 在索引排序时，尽量减少磁盘寻道次数 基础 BSBI算法（Blocked Sort-based Indexing Algorithm,基于块的排序算法） 3.1基于块的排序索引技术 BSBI算法步骤： 1 将文档集分割成多个大小相等的部分 4 将所有的中间文件合并成最终的索引 2 将每个部分的词项 ID—文档 ID 对排序 3 将中间产生的临时排序结果存放到磁盘中 3.1基于块的排序索引技术 选择合适的块算法，下图的算法将每个块的倒排索引存入文件中f1