MC-OLA基于马尔可夫链的多表连接在线聚集技术.PDFVIP

———————————————————————————————————————————————— MC-OLA ：基于马尔可夫链的多表连接在线聚集技术 作者 史英杰，杜方 机构 北京服装学院 信息工程学院；宁夏大学 信息工程学院 DOI 10.3969/j.issn.1001-3695.2018.07.0384 基金项目 国家自然科学基金资助项目；北京市教委科技计划项目（KM201710012008）； 北京服装学院高水平教师队伍建设专项资金资助项目（BIFTQG201803） 预排期卷 《计算机应用研究》2019 年第36 卷第12 期 摘要 多表连接是大数据分析领域重要的查询类型之一，然而连接查询的实现代价很高，从而影响 了大数据分析结果的时效性。在线聚集能够在查询完成前反馈具有统计意义的估计结果，具 有重要的意义。目前已有的多表连接在线聚集算法从各表进行统一随机采样，导致连接结果 的产出率低，并且导致分组连接查询的估计准确率低。针对这一问题，提出了基于马尔可夫 链的多表连接在线聚集技术，将多表连接的实现过程转换为马尔可夫链上的随机游走过程， 确定好连接顺序后在游走起始层创建分层样本，并设计了相应的采样策略及结果估计方法。 将所提出技术在在线化Hadoop 平台上实现，实验结果证明所提出方案的响应时间优于已有 算法，并且具有良好的扩展性。 关键词 在线聚集；马尔可夫链；分层采样；多表连接 作者简介 史英杰（1983-），女，山东滨州人，副教授，博士，主要研究方向为云数据管理，大数据在 线聚集，大数据系统的性能分析与优化（shiyingjie1983@163.com）；杜方（1974-），女，教 授，博士，主要研究方向为智能信息检索 大数据管理． ､ 中图分类号 TP391 访问地址 /article/02-2019-12-016.html 投稿日期 2018 年7 月22 日 修回日期 2018 年9 月7 日 发布日期 2018 年10 月8 日 MC-OLA：基于马尔可夫链的多表连接在线聚集技术 ———————————————————————————————————————————————— 引用格式 史英杰, 杜方. MC-OLA ：基于马尔可夫链的多表连接在线聚集技术[J/OL]. 2019, 36(12). [2018-10-08]. /article/02 -2019-12-016.html. 36 12 Vol. 36 No. 12 第 卷第 期 计算机应用研究 录用定稿 Application Research of Computers Online Publication MC-OLA ：基于马尔可夫链的多表连接在线聚集技术 * 1 2 史英杰 ，杜 方 (1. 北京服装学院 信息工程学院, 北京 100029; 2. 宁夏大学 信息工程学院, 银川 750021) 摘 要：多表连接是大数据分析领域重要的查询类型之一，然而连接查询的实现代价很高，从而影响了大数据分析结 果的时效性。在线聚集能够在查询完成前反馈具有统