2 mapreduce与impala结合的大数据处理方法.doc

下载文档 降价啦

12
0
约1.28万字
约 9页
2017-09-07 发布于天津
举报
版权申诉
保障服务

2 mapreduce与impala结合的大数据处理方法.doc

1、本文档共9页，其中可免费阅读3页，需付费100金币后方可阅读剩余内容。
2、本文档内容版权归属内容提供方，所产生的收益全部归内容提供方所有。如果您对本文有版权争议，可选择认领，认领后既往收益都归您。
3、本文档由用户上传，本站不保证质量和数量令人满意，可能有诸多瑕疵，付费之前，请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重挂羊头卖狗肉之情形，可联系本站下载客服投诉处理。
4、文档侵权举报电话：400-050-0827(电话支持时间：9:00-18:30)。

基于的大数据查询分析计算性能研究郭超刘波林伟伟华南师范大学计算机学院广州华南理工大学计算机科学与工程学院广州摘要分析了公司推出的实时查询引擎原理与架构并深入比较与传统的性能与特点针对进行复杂大数据处理方面的不足提出了与结合的大数据处理方法通过使用对的输入数据进行预处理利用在复杂作业处理方面的长处弥补了在这方面的不足最后对电信手机上网日志进行大数据查询和分析计算实验实验结果表明在大数据查询性能方面基于与结合的大数据处理速度比传统快了一倍特别的在迭代查询实验中基于与结合的处理方法超过传统方法八倍以上

基于Impala的大数据查询分析计算性能研究* 郭超1 刘波1 林伟伟2* (1.华南师范大学计算机学院, 广州 510631;2.华南理工大学计算机科学与工程学院, 广州 510006) 摘要：分析了Cloudera公司推出的Impala实时查询引擎原理与架构，并深入比较Impala与传统MapReduce的性能与特点，针对Impala进行复杂大数据处理方面的不足，提出了MapReduce与Impala结合的大数据处理方法，通过使用 MapReduce对Impala的输入数据进行预处理，利用MapReduce在复杂作业处理方面的长处弥补了Impala在这方面的不足。最后对电信手