集团大数据平台系统性能指标和测试结果说明.doc

集团大数据平台系统性能指标和测试结果说明 性能测试报告 测试目标 运营商手机上网记录查询系统案例，以某运营商为例，日均上网记录数近10亿条，每月数据量近9TB，移动互联网用户快速增加，智能终端迅速普及、户均流量显著增长，上网记录数据将进一步猛增，每6个月，流量翻一番，如此大的数据量已经超越了传统关系型数据库可管理的容量上限，关系型数据库上对大规模数据进行操作会造成系统性能严重下降。 通过本测试，验证星环科技成熟稳定的商用Hadoop平台，是否可以有效解决数据采集、加载、存储、查询、分析等问题。 测试内容 1）存储节点数和存储量验证； 2）并发加载数据的效率验证； 3）分别选取简单查询（短信话单查询），单表统计（某天某客户通话次数），大表关联统计（统计指定用户的上网记录）三个应用场景验证产品性能。 测试环境 软硬件环境配置如下： 表9-1 服务器配置 服务器 推荐配置及说明 节点数量 300+台服务器 CPU 两路6核处理器2*E5-2620 内存 64GBECCDDR3 硬盘 2个600G的SAS硬盘，15000RPM，RAID1，作为系统盘 12个2TB的SATA硬盘，7200RPM，不做RAID1 网络 双电口万兆（10Gbps）以太网卡 部署环境如下： 表9-2 集群配置 PC服务器 300多台 NameNode节点 3台 DataNode节点 278台 Zookeeper节点 7台 集群监控节点 1台 入库服务节点 24台 Web查询应用服务节点 20台 网络拓扑情况如下： 图9-1 拓扑结构图 测试过程和结果 1）现有HDFS集群已被占用10.5PB，3个副本，压缩率在1/3左右，因此实际HBase表数据也已经有3.5PB左右。目前数据存放6个月，每天导入日志数据在21TB左右，每月导入新增日志数据量为630TB，近一个月为常用热数据，数据量增长较快。2）并发加载数据的效率 Transwarp Hyperbase集群每秒平均达到1500万记录/秒，峰值时达到5000万/秒，集群导入性能没有问题。 3）支持并发查询数目：远高于100000请求/秒 上网记录查询速度：不高于1秒（含用户访问查询页面的时间） 场景一：短信话单查询 图9-3 话单查询表 测试相关表数据量 表名 条数 CDR_GSM_13 3114402798 测试语句 SELECT*FROMCDR_GSM_13WHEREUSER_ID=?; 场景说明 使用程序查询指定USER_ID的短信话单 TranswarpSQL性能 并发:5000 单SQL平均执行时间:12ms Transwarp Hyperbase API性能 并发：30W 单SQL平均执行时间：3ms 场景二：某天某客户通话次数： 测试相关表数据量 表名 条数 CDR_GSM_13，cdr_gsm_stat 3114402798，430293346 测试语句 SELECTcount(*)FROMCDR_GSM_13C，cdr_gsm_statGWHEREc.user_id=g.user_idandg.type=’1’andg.date=g.user_id=?; 场景说明 统计某天某客户通话次数 TranswarpSQL性能 并发:2000 单SQL平均执行时间:130ms Transwarp Hyperbase API性能 并发：10W 单SQL平均执行时间：90ms 场景三：关联统计相关测试，统计制定用户的上网记录 图9-4 上网记录表 测试相关表数据量 表名 条数 CDR_GSM_13，cdr_gsm_stat 3114402798，430293346 测试语句 SELECTcount(*)FROMCDR_GSM_13C，cdr_gsm_statGWHEREc.user_id=g.user_idandg.type=’1’andg.user_id=?; 场景说明 使用程序统计指定USER_ID的上网记录 TranswarpSQL性能 并发:3000 单SQL平均执行时间:150ms Transwarp Hyperbase API性能 并发：10W 单SQL平均执行时间：80ms TPC-DS测试报告 测试目标 通过国际标准测试TPC-DS测试，验证星环TDH产品符合数据仓库需要，能够满足数仓业务使用要求。 测试内容 标准事务性能管理委员会(TPC)是目前最知名的数据管理系统评测基准标准化组织。在过去二十多年间，该机构发布了多款数据库评测基准。TPC-DS是TPC发布的标准测试场景之一，用于验证数据库产品是否符合数据仓库的业务需要。 TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表，17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询，覆盖SQL9