云计算大数处理-数据立方与hive对比测试.doc

云计算大数据处理分布式数据库 -数据立方与Hive对比测试报告 一、目的 最近进行了云创存储的数据立方性能测试，并将其与开源数据仓库Hive进行了对比，从而得出在廉价的服务器上两者的性能测试结果。 二、测试内容 本次测试主要从数据查询方面进行对比测试，具体测试内容如下： 统计单表记录数 测试项 序号 测试内容 执行SQL hive 1 统计查询800W条 select count(*)from e_mp_power_curve; 2 统计查询1000W条 select count(*) from a_tmnl_task; 数据立方 1 统计查询800W条 select count(*)from e_mp_power_curve; 2 统计查询1000W条 select count(*) from a_tmnl_task; 查询单表字段数据 测试项 序号 测试内容 执行SQL hive 1 查询e_mp_power_curve表 select id,DATA_TYPE,DATA_POINT_FLAG,DATA_WHOLE_FLAG from e_mp_power_curve where id=100001100; 2 查询a_tmnl_task select TMNL_TASK_ID,TERMINAL_ID,TASK_ID from a_tmnl_task where tmnl_task_id=100001000; 数据立方 1 查询e_mp_power_curve表 select id,DATA_TYPE,DATA_POINT_FLAG,DATA_WHOLE_FLAG from e_mp_power_curve where id=100001100; 2 查询a_tmnl_task select TMNL_TASK_ID,TERMINAL_ID,TASK_ID from a_tmnl_task where tmnl_task_id=100001000; 两表join查询 测试项 序号 测试内容 执行SQL hive 1 A表1000W数据，B表800W,两表join select p.ID , o.TMNL_TASK_ID from a_tmnl_task o join E_MP_POWER_CURVE p on (o.TMNL_TASK_ID = p.id and p.id=100000000 and p.id100625000)order by o.TMNL_TASK_ID limit 100000; 2 A表1000W数据，B表1000W,两表join select a.TMNL_TASK_ID,a.TMNL_TASK_ID from a_tmnl_task a inner join a_tmnl_task_obj o on(a.TMNL_TASK_ID=o.TMNL_TASK_ID and a.TMNL_TASK_ID=100000000 and a.TMNL_TASK_ID100625000) limit 100000; 数据立方 1 查询e_mp_power_curve表 select p.ID , o.TMNL_TASK_ID from a_tmnl_task o join E_MP_POWER_CURVE p on (o.TMNL_TASK_ID = p.id and p.id=100000000 and p.id100625000)order by o.TMNL_TASK_ID limit 100000; 2 查询a_tmnl_task select a.TMNL_TASK_ID,a.TMNL_TASK_ID from a_tmnl_task a inner join a_tmnl_task_obj o on(a.TMNL_TASK_ID=o.TMNL_TASK_ID and a.TMNL_TASK_ID=100000000 and a.TMNL_TASK_ID100625000) limit 100000; 三表join查询 测试项 序号 测试内容 执行SQL hive 1 A表1000W数据，B表800W,C表800W三表join select p.ID , o.TMNL_TASK_ID from a_tmnl_task o join E_MP_POWER_CURVE p on (o.TMNL_TASK_ID = p.id and p.id=100000000 and p.id100625000)order by o.TMNL_TASK_ID limit 100000; 数据立方 1 A表1000W数据，B表800W,C表800W三表join select p.ID ,