物联网数据存储管理与分析.ppt

数据立方体 在典型的OLAP应用中，存在一个中心关系或数据集合，称作事实表。 事实表代表感兴趣的事件或对象。 事实表通常有几个表示维的属性和一个或多个度量属性， 这些度量属性一般是用户想要查询到的一些值 维数据立方体表示 数据立方体的计算 数据立方体的计算是数据仓库实现的一项基本任务，数据立方体计算也称为数据立方体的物化（Materialization） 简单的说，它是将常用的查询按照各自的属性分组（Group by）提前计算出结果并保存起来，这样在执行查询时直接利用保存的结果来返回查询结果。 数据立方体的全部或部分预计算可以大幅降低响应时间，提高查询效率，提高联机分析处理性能 预先计算任何方体，即完全立方体物化（Full Materialization） 完全物化优点： 可以对提出的任何查询快速响应，快速返回预计算好的结果， 不用在线等待计算结果，提高交互性。 缺点：完全物化时间复杂度是维度的指数，随着维度的增大，将发生困难。 预先计算任何方体，即完全立方体物化（Full Materialization） 计算代价非常大，而且消耗大量的存储空间和系统资源， 同时当它的数据源发生改变时，为了保持数据的一致性，需要重新的计算所有的方体。 当立方体的维度比较高时，对完全物化策略的立方体进行更新维护将耗费大量的时间和系统资源。完全物化主要有多路数组聚集方法 不预先计算任何的方体（不物化，No Materialization） 数据立方体中每一个方体都不对聚集度量M进行预计算， 相当于只提供一个多维的索引，这样对于用户提交的查询， 需要在线计算结果，响应时间较长。 不预先计算任何的方体（不物化，No Materialization） 当总的数据量很大时，那查询的结果集也会很大， 在线计算将需要很长的时间，从而导致无法忍受的响应时间， 在海量数据情况下，该策略是不可取的 部分物化 提供了存储空间和响应时间的有效折衷。替代计算完全立方体， 可以计算立方体的一个子集，或计算由各种方体的单元组成的子立方体。 优点是节省了大量的计算时间和存储空间； 缺点是只能命中大部分查询而且结果可能不太精确，对于没命中的查询需要在线计算 部分物化 在许多情况下，相当多的立方体空间可能被大量具有很低度量值的单元占据。 这是因为立方体单元在多维空间中的分布常常是相当稀疏的。 部分物化 某一类型的文件非常少，这样的事件将产生少量非空单元， 使得其他大部分立方体单元为空。 在这种情况下仅物化其度量值大于某个最小阈值的方体（Group by）单元是很有用的 本文欣赏结束 红藕香残玉簟秋，轻解罗裳，独上兰舟。 云中谁寄锦书来？雁字回时，月满西楼。 谢谢欣赏！！ * B树 是一种多路搜索树（并不是二叉的）： 1.定义任意非叶子结点最多只有M个儿子；且M2； 2.根结点的儿子数为[2, M]； 3.除根结点以外的非叶子结点的儿子数为[M/2, M]； 4.每个结点存放至少M/2-1（取上整）和至多M-1个关键字；（至少2个关键字） 5.非叶子结点的关键字个数=指向儿子的指针个数-1； 6.非叶子结点的关键字：K[1], K[2], …, K[M-1]；且K[i] K[i+1]； 7.非叶子结点的指针：P[1], P[2], …, P[M]；其中P[1]指向关键字小于K[1]的子树，P[M]指向关键字大于K[M-1]的子树，其它P[i]指向关键字属于(K[i-1], K[i])的子树； 8.所有叶子结点位于同一层； 如：（M=3） B-树 B树 B+树是B-树的变体，也是一种多路搜索树： 1.其定义基本与B-树同，除了： 2.非叶子结点的子树指针与关键字个数相同； 3.非叶子结点的子树指针P[i]，指向关键字值属于[K[i], K[i+1])的子树（B-树是开区间）； 5.为所有叶子结点增加一个链指针； 6.所有关键字都在叶子结点出现； 如：（M=3） B+树 是B+树的变体，在B+树的非根和非叶子结点再增加指向兄弟的指针； B*树定义了非叶子结点关键字个数至少为(2/3)*M，即块的最低使用率为2/3（代替B+树的1/2）； B+树的分裂：当一个结点满时，分配一个新的结点，并将原结点中1/2的数据复制到新结点，最后在父结点中增加新结点的指针；B+树的分裂只影响原结点和父结点，而不会影响兄弟结点，所以它不需要指向兄弟的指针； B*树的分裂：当一个结点满时，如果它的下一个兄弟结点未满，那么将一部分数据移到兄弟结点中，再在原结点插入关键字，最后修改父结点中兄弟结点的关键字（因为兄弟结点的关键字范围改变了）；如果兄弟也满了，则在原结点与兄弟结点之间增加新结点，并各复制1/3的数据到新结点，最后