基于层次序列OLAP Cache在大规模监测数据查询优化中的应用.pdfVIP

第 13 卷第 26 期 2013 年 9 月 1671--1815(2013)26-7851-05 科学技术与工程 Science Technology and Engineering Vol. 13 No.26 Sep. 2013 @ 2013 Sci. Tech. Engrg. 计算机技术 基于层次序列 OLAP Cache 在大规模监测 数据查询优化中的应用 赵杰 (浙江警官职业学院，杭州 31∞18) 摘要 利用 OLAP 进行大规模监测数据查询时存在效率低和实时性差的问题，传统解决方法主要利用缩小数据集市数据的 方法，虽然在一定程度上提高了查询效率，但是会出现丢失数据的现象。提出在基于聚类方法基础之上进行层次序列 OLAP 查询优化，并针对大规模海洋监测数据的特点提出 OLAPCache 多级查询方法。在该算法中，首先分析 OLAP 序列立方体的查 询效率问题;其次以等价类的层次关系为基础，确定等价的上下界和聚类值;然后利用改进的各级查询层次的运算策略来判 断 OLAP 查询的语义特性，提高其 Cache 性能;最后结合 OLAP 查询集的闭包中存在最小蕴含关系的特点，对 OLAP 查询的蕴 含关系进行分组查找。通过大规模监测的海洋数据对该算法进行仿真验证，仿真表明，该算法有效地避免了对大规模海量数 据的递归查询，具有较好的执行效率。 关键词层次聚类 OLAP 查询优化 数据仓库 中固法分类号哑183; 文献标志码 A 在传统的数据仓库中，基于 OLAP 的数据查询 分析工具是通过事实表作为主表，维表作为关键度 量属性的指标表进行数据组织，可以通过多重维表 与同一事实表进行链接的方式扩展更多的数据关 系 [1] 。在 OLAP 中，具有类似属性或属于同一主题 的属性在同一维表中存放，这样可以使得基本的聚 集函数能够快速地得到统计数据，例如求和函数、 平均值函数、计数函数等。为了提高 OLAP 操作对 数据仓库中数据集市的支持，一般通过对数据集市 进行进一步切块、切片、旋转、上卷、下钻等操作，从 而避免对数据库表进行链接运算，提高查询效率。 目前各类 OLAP 系统的功能已经非常强亢，但 是大多是基于处理单独记录的，对于那些存在明显 的时间序列关系的，并且逻辑相关性较强的记录没 2013 年 4 月 25 日收到，5 月 27 日修改 作者简介:赵 杰 (1980一) ，男，汉族，浙江杭州人，硕士，信息技术 与管理系讲师，现代教育技术中心副主任，研究方向:计算机网络安 全技术、下一代互联网技术、物联网技术。 E-mail: zhaojiezj @ 163. com o 有高效的处理策略[2] 。在现实世界中，具有序列逻 辑的数据随处可见，例如服务器运行日志、超市某 种产品的销售流水、证券交易记录等等。而传统的 数据库只能将这些数据以单一主键索引的方式保 存到一张表中，而忽视了这些数据之间的逻辑性， 为进一步分析计算带来很多障碍，目前的 OLAP 系 统和技术还不能支持层次序列数据分析[3] 。提出 了基于层次聚类的 OLAP 线性查询优化。 1 OLAP 序列立方体的查询效率问题 在传统的 OLAP 中，通过在维属性上的划分生 成立方体，每一个都在一定的抽象层次上。在 OLAP 线性查询中，子立方体是序列数据的逻辑视 图，序列的生成不仅仅靠属性值同时还要依据它所 拥有的序列模式[4] 。 序列模板的作用是将数据序列中的子序列模 式进行抽象，以匹配定义的方式给出相应的规则。 例如在图 l 中的结构中，可以通过子序列 (X ， Y ， Y ， X) 的抽象类来形成诸如(X ， Y， Y ， X) 的序列模式，称 之为序列模板。根据文献[2] 的研究，可以看出将 7852 科学技术与 工 程 13 卷 1. SEllCT COID1T俨} 1. fRO~{ E飞回Z 3. \\HER王 1i1w 2∞7.1O-OITOO:∞ AND -1. I脚心∞7.11. 3 1TI4:∞ 5. αl:STIRBY ιidAI 刷刷ual， 6. 阳晒AIωy 7. SEQUE::E BY riw幅 ASCENDlNG S. SEQUD;CEGR肌JPBY cm品id AI fare-gwp. l n附AJday 10. CUBOID BY SUBstRING (X. }. l. X) 孔ηH 11. X ASl，、.tion AI statìon. 12. γ 必 l刷刷AIs凶阳1 13. lEFI.MAXn-.认llTì飞r l. ,,1. yt r2) WTrn 14. rLat1i叫n A.ID 15. Y) .DCrion; 四， A.ID 16. y2.DCri，酬 = 晴四- k1-ID 1