云数据库中等宽直方图的分布式并行构造方法.PDFVIP

第 50 卷 第 2 期 工 程 科 学 与 技 术 Vol. 50 No. 2 2018 年 3 月 ADVANCED ENGINEERING SCIENCES Mar. 2018 •信息工程• DOI: 10.15961/j.jsuese.201601076 云数据库中等宽直方图的分布式并行构造方法 1,2 1,2 1,2 3 * 王　阳 ，钟　勇 ，周渭博 ，杨观赐 (1.中国科学院 成都计算机应用研究所，四川 成都 610041 ；2. 中国科学院大学，北京 100049 ； 3.贵州大学 现代制造技术教育部重点实验室，贵州 贵阳 550003) 摘　要:直方图能够直观描述数据分布，在数据库查询优化中起着重要作用。然而在分布式云数据库场景中，现 有直方图构建方法存在并行资源利用率低，网络传输量较高的问题。针对该问题，基于关系型云数据库提出一种 等宽直方图的分布式并行构造方法。首先，根据集群中分布式存储的数据无关性，基于master-slave架构在直方图 任务开始前由集群中请求发起节点对经RPC （remote procedure call ）协议获取到的多个工作节点最值数据比较得 到数据表在整个集群的全局最大值、最小值；然后，考虑到算法运行过程中数据传输量的优化，集群中工作节点 对本地数据扫描、排序，划分至依据全局最值信息构建的直方图桶内，实现聚合子直方图的并行构建以提高集群 计算资源利用率；最后，请求发起节点对并行构建的多个子直方图中边界值相等的桶频率值聚合得到全局直方 图。算法利用分布式思想实现了关系型云数据库中直方图的构建，将计算任务划分成多个子任务并行执行，子直 方图信息代替数据分片的传输大幅优化了网络带宽的负载。算法已应用于关系型云数据库内核以优化SQL语句 执行路径的初始扫描开销、数据选择率等关键参数。人工合成数据与评分数据的实验结果证明，算法运行过程中 的网络传输量与数据库表中元组个数无关，且具有良好的可拓展性。 关键词:关系型云数据库；等宽直方图；数据分布；并行计算；网络传输量 中图分类号:TP311.133.1　　　　　文献标志码:A　　　　　文章编号:2096-3246（2018 ）02-0133-08 Distributed and Parallel Construction Method of Equi-width Histogram in Cloud Database WANG Yang1,2，ZHONG Yong1,2，ZHOU Weibo1,2，YANG Guanci3 * (1.Chengdu Inst. of Computer Applications,Chinese Academy of Sciences,Chengdu 610041,China; 2.Univ. of Chinese Academy of Sciences,Beijing 100049,China; 3.Key Lab. of Advanced Manufacturing Technol.,Ministry of Education,Guizhou Univ.,Guiyang 550003,China) Abstract : Description of data distribution has been commonly used in databases to support query optimization,among which