数据存储和索引.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 重复数据 在某些情况下，索引建立的列上有重复数据 若采用第二种data entry 修改相应的查询算法，找到最右边的同值记录 若采用第三种data entry 是一种比较直接的处理方法，但在重复数据较多的情况下，要考虑相应的查询和修改算法 SYBASE中采用第三种data entry,DB2,Oracle 8,SQLServer采用增加RID的方法处理重复数据 * 实际应用领域中的B+tree 索引值的压缩 数据库查询的代价是索引树的高度，索引树的高度为logfan-out(#of data entries) Fan-out的值同一个页中存储的数据项的值是相关的。因此需要考虑如何降低数据值的长度。 对字符串可以采用前序串压缩的方法，其基本原理是对每个非页结点字符串值，只取其前缀，但截取以后的值一定要大于其左面子树的所有结点的值，小于其右面子树的所有结点的值 * 前缀压缩的例子 Daniel Lee David Smith Devarakonda ……. Dante Wu Darius Rex ……. Davey Jones “David Smith”只能压缩成“Davi” * 实际系统中的删除操作 在Sybase中被删除的数据可以被马上删除，也可以先做标签，将来再删除 在Oracle 8中被删除的数据先做标签，将来再调整 在Informax中被删除的数据被加上标签 在DB2,SQLSERVER中被删除的数据被马上删除 * B+ tree的批量建立 有些情况下需要对已经收集好数据集合建立B+tree 采用逐条加入的方法性能太差 可采用批量建立的方法 收集所有的data entry 首先将所有的data entry排序，并组织成页 每页取出一个值，插入到已建成的索引树的最右端的节点中。逐个进行直到所有的数据被插入为止 * 例子 3 * 4* Root 6 * 9* 10 * 11* 12 * 13* 20* 22* 23 * 31* 35 * 36* 38* 41* 44* * 例子 3 * 4* 6 * 9* 10 * 11* 12 * 13* 20* 22* 23 * 31* 35 * 36* 38* 41* 44* Root 6 10 * 例子 3 * 4* 6 * 9* 10 * 11* 12 * 13* 20* 22* 23 * 31* 35 * 36* 38* 41* 44* Root 6 12 10 * 基于Hash的索引结构 基于 Hash的索引结构适用于相等查询操作 其基本想法是将数据映射成一个bucket， bucket对应相应数据的存储位置 有各种不同的基于Hash的索引结构 基于 Hash的索引结构不适合区间查询 但Hash方法广泛地应用于数据库的查询操作 * 内容提纲 静态的Hashing 可扩展的Hashing 线性的Hashing 可扩展的Hashing同线性的Hashing的比较 * 静态的Hashing 包含数据的页构成一系列的bucket，每个bucket又一个primary bucket page和一串overflow page构成，overflow page中的数据可以进行排序 查询的过程时首先对查询的数据用Hash函数进行运算，根据结果找到相应的primary page，然后在primary page和overflow page中找相应的记录 插入和删除操作均是基于查询操作实现的 Hash函数的选择是一个非常重要的问题，需要将数据库中的数据均匀地分布在一定的区域上，有很多种不同的Hash函数，例如 H(value)=a*value+b * 静态的Hashing 静态的Hashing的一个主要的问题是primary bucket page的数量 如果始终不变，则会 随着数据库中数据的增加，overflow page串会越来越长，从而影响查询操作的性能。 随着数据库中数据的减少， primary bucket page 会浪费过多的空间 解决方法 定期进行刷新 采用动态的Hashing的方法 * 静态的Hashing 0 key h h(key) mod N 1 N-1 …… …… …… …… Primary