云计算大数据处理-数据立方与hive对比测试2.doc

云计算大数据处理分布式数据库 -数据立方与Hive对比测试报告 一、目的 最近进行了云创存储的数据立方性能测试，并将其与开源数据仓库Hive进行了对比，从而得出在廉价的服务器上两者的性能测试结果。 二、测试内容 本次测试主要从数据查询方面进行对比测试，具体测试内容如下： 统计单表记录数 测试项 序号 测试内容 执行SQL hive 1 统计查询800W条 select count(*)from e_mp_power_curve; 2 统计查询1000W条 select count(*) from a_tmnl_task; 数据立方 1 统计查询800W条 select count(*)from e_mp_power_curve; 2 统计查询1000W条 select count(*) from a_tmnl_task; 查询单表字段数据 测试项 序号 测试内容 执行SQL hive 1 查询e_mp_power_curve表 select id,DATA_TYPE,DATA_POINT_FLAG,DATA_WHOLE_FLAG from e_mp_power_curve where id=100001100; 2 查询a_tmnl_task select TMNL_TASK_ID,TERMINAL_ID,TASK_ID from a_tmnl_task where tmnl_task_id=100001000; 数据立方 1 查询e_mp_power_curve表 select id,DATA_TYPE,DATA_POINT_FLAG,DATA_WHOLE_FLAG from e_mp_power_curve where id=100001100; 2 查询a_tmnl_task select TMNL_TASK_ID,TERMINAL_ID,TASK_ID from a_tmnl_task where tmnl_task_id=100001000; 两表join查询 测试项 序号 测试内容 hive 1 A表1000W数据，B表800W,两表join 2 A表1000W数据，B表1000W,两表join 数据立方 1 查询e_mp_power_curve表 2 查询a_tmnl_task 三表join查询 测试项 序号 测试内容 hive 1 A表1000W数据，B表800W,C表800W三表join 数据立方 1 A表1000W数据，B表800W,C表800W三表join 三．测试环境 Hive 数据立方 控制节点数量(台） 1 1 处理节点数量（台） 9 9 cpu IntelE5-26202.0G/15M/6C IntelE5-26202.0G/15M/6C 内存 32G 32G 网络 千兆以太网 千兆以太网 硬盘 3T×2 3T×2 软件版本 hive-0.9.0-cdh4.1.2 datacube-1.0 四．测试结果 1.单表数据量查询性能对比测试 产品名称 数据量(条) 查询时间(ms) hive 800W 115114 1000W 38887 数据立方 800W 23340 1000W 6910 通过相同环境下测试可以看出：数据立方单表统计查询速度是Hive的至少3-5倍。 单表字段查询性能对比测试 产品名称 数据量(条) 查询时间(ms) hive 800W 17659 1000W 18883 数据立方 800W 370 1000W 1360 从数据图可以看到单表字段查询时数据立方速度是hive的5-10倍。 两表join查询性能对比测试 结果集（条） A表 B表 hive查询时间（ms） 数据立方查询时间(ms) 10W 1000W 800W 41667 3950 50W 1000W 800W 48296 6880 从数据图可以看到两表join查询时数据立方速度是hive的6-10倍以上。 三表join查询性能对比测试 结果集 A表 B表 C表 数据立方查询时间(ms) 数据立方查询时间(ms) 1000条 1000W 1000W 800W 65550 7170 7000条 1000W 800W 800W 67891 7710 从数据图可以看到三表join查询时数据立方速度是hive速度的几乎10倍。 GangLia监控截图： 1个小时内CPU负载情况图 1个小时内内存使用情况图