应用驱动的基于流式框架的实时数据分区算法.PDFVIP

应用驱动的基于流式框架的实时数据分区算法 作者 康宏, 郭蒙雨, 袁晓洁 机构 南开大学 计算机与控制工程学院 发表期刊 《计算机应用研究》 预排期卷 2018 年第 35 卷第 4 期 访问地址 /article/02-2018-04-026.html 发布日期 2017-03-31 16:59:13 引用格式 康宏, 郭蒙雨, 袁晓洁. 应用驱动的基于流式框架的实时数据分区算法[J/OL]. [2017-03-31]. htt p:///article/02-2018-04-026.html. 摘要 数据分区技术是改善基于 shared-nothing 架构的大型应用性能的重要手段.当前的数据分区技术 无法高效处理应用负载所蕴涵的动态、大规模分区信息,无法即时生成分区策略.为了解决传统数 据库分区技术面临的问题,实现分区的实时处理,提出了与流式框架相结合的实时数据分区算法,通 过构建关联矩阵映射分区信息,并基于代价模型实现数据分区方案的即时生成,采用流式框架的水 平扩展机制实现了算法的高扩展性和高吞吐量适应性.实验结果表明与现有分区方法相比,算法有 较好的分区效果和较低的时间复杂度.该算法是大数据环境下针… 关键词 负载驱动, 数据分区, 流式框架 中图分类号 TP311 基金项目 天津市应用基础与前沿技术研究计划（14JCYBJC15500） ;