- 1、本文档共9页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
云计算大数据处理-数据立方与hive对比测试2云计算大数据处理-数据立方与hive对比测试2
云计算大数据处理分布式数据库
-数据立方与Hive对比测试报告
一、目的
最近进行了云创存储的数据立方性能测试,并将其与开源数据仓库Hive进行了对比,从而得出在廉价的服务器上两者的性能测试结果。
二、测试内容
本次测试主要从数据查询方面进行对比测试,具体测试内容如下:
统计单表记录数
测试项 序号 测试内容 执行SQL hive 1 统计查询800W条 select count(*)from e_mp_power_curve; 2 统计查询1000W条 select count(*) from a_tmnl_task; 数据立方 1 统计查询800W条 select count(*)from e_mp_power_curve; 2 统计查询1000W条 select count(*) from a_tmnl_task;
查询单表字段数据
测试项 序号 测试内容 执行SQL hive 1 查询e_mp_power_curve表 select id,DATA_TYPE,DATA_POINT_FLAG,DATA_WHOLE_FLAG from e_mp_power_curve where id=100001100; 2 查询a_tmnl_task select TMNL_TASK_ID,TERMINAL_ID,TASK_ID from a_tmnl_task where tmnl_task_id=100001000; 数据立方 1 查询e_mp_power_curve表 select id,DATA_TYPE,DATA_POINT_FLAG,DATA_WHOLE_FLAG from e_mp_power_curve where id=100001100; 2 查询a_tmnl_task select TMNL_TASK_ID,TERMINAL_ID,TASK_ID from a_tmnl_task where tmnl_task_id=100001000;
两表join查询
测试项 序号 测试内容 hive 1 A表1000W数据,B表800W,两表join 2 A表1000W数据,B表1000W,两表join 数据立方 1 查询e_mp_power_curve表 2 查询a_tmnl_task
三表join查询
测试项 序号 测试内容 hive 1 A表1000W数据,B表800W,C表800W三表join 数据立方 1 A表1000W数据,B表800W,C表800W三表join
三.测试环境
Hive 数据立方 控制节点数量(台) 1 1 处理节点数量(台) 9 9 cpu IntelE5-26202.0G/15M/6C IntelE5-26202.0G/15M/6C 内存 32G 32G 网络 千兆以太网 千兆以太网 硬盘 3T×2 3T×2 软件版本 hive-0.9.0-cdh4.1.2 datacube-1.0
四.测试结果
1.单表数据量查询性能对比测试
产品名称 数据量(条) 查询时间(ms) hive 800W 115114 1000W 38887 数据立方 800W 23340 1000W 6910
通过相同环境下测试可以看出:数据立方单表统计查询速度是Hive的至少3-5倍。
单表字段查询性能对比测试
产品名称 数据量(条) 查询时间(ms) hive 800W 17659 1000W 18883 数据立方 800W 370 1000W 1360
从数据图可以看到单表字段查询时数据立方速度是hive的5-10倍。
两表join查询性能对比测试
结果集(条) A表 B表 hive查询时间(ms) 数据立方查询时间(ms) 10W 1000W 800W 41667 3950 50W 1000W 800W 48296 6880
从数据图可以看到两表join查询时数据立方速度是hive的6-10倍以上。
三表join查询性能对比测试
结果集 A表 B表 C表 数据立方查询时间(ms) 数据立方查询时间(ms) 1000条 1000W 1000W 800W 65550 7170 7000条 1000W 800W 800W 67891 7710
从数据图可以看到三表join查询时数据立方速度是hive速度的几乎10倍。
GangLia监控截图:
1个小时内CPU负载情况图
1个小时内内存使用情况图
文档评论(0)