金融大数据平台测评方案.docx

金融大数据平台测评方案目录1测评内容41.1 产品安装及测试工具41.1.1测试说明41.2 数据导入测试41.2.1数据准备41.2.2测试说明41.2.3测试流程41.2.4测试结果271.2.5附件271.3 业务测试271.3.1测试说明271.3.2测试案例281.3.3附件291.4 压力测试301.4.1测试说明301.5 非结构化数据导入查询测试311.5.1测试说明311.5.2测试流程311.5.3测试结果321.5.4附件331.6 大数据分析测试331.6.1测试说明331.6.2测试案例331.7 支持国产操作系统测试341.7.1测试说明341.8 技术支持测试341.8.1测试说明34测评内容产品安装及测试工具测试说明集群部署大数据平台环境；测试平台对集群是否有统一的可视化监控页面，可以监控集群所有节点内存使用情况，cpu使用情况等；测试平台是否支持可视化添加节点及自动部署节点上的服务；在整个POC测试过程中，平台是能够稳定运行，着重关注某个节点监测不到心跳的情况。对于产品的性能及稳定性测评，也可以通过公司提供的测试工具进行测试。数据导入测试数据准备选取核心系统作为源系统,COBS_SVMSA记录,COBS_SVOCA记录作为数据导入测试的全量文件。测试说明厂商设计数据导入方案，根据厂商平台情况，选择相应的组件。根据厂商的导入方案，对COBS_SVMSA、COBS_SVOCA进行基础数据生成根据厂商的导入方案，对COBS_SVMSA、COBS_SVOCA进行拉链算法对现有COBS_SVMSA、COBS_SVOCA进行数据复制，用 10倍于生产的数据，重复步骤1-3。测试流程利用Hive进行基础数据生成，导入COBS_SVOCA表数据创建COBS_SVOCA表结构，并按照生效日期和失效日期字段进行分区。命令如下，create table if not exists HD_COBS_SVOCA(OCCUNO string,OCSVAC string,OCSBSQ string,OCACNO string,OCITEM string,OCOPDT string,OCOPTQ string,OCCLDT string,OCCLTQ string,OCSTCD string)partitioned by (eff_dtstring,exp_dt string);删除HD_COBS_SVOCA表原有分区。命令如下，alter table HD_COBS_SVOCA drop if exists partition(eff_dt=2015-12-08,exp_dt=tmp_import);将测试数据导入HD_COBS_SVOCA表的一个临时分区。在实际场景中，这组数据是最新有效数据。命令如下，load data local inpath /var/lib/hive/impala/COBS_SVOCA_999009.txt overwrite into table HD_COBS_SVOCA partition(eff_dt=2015-12-08,exp_dt=tmp_import);将临时分区重命名成最新有效数据的分区。命令如下，alter table HD_COBS_SVOCA drop if exists partition(eff_dt=2015-12-08,exp_dt=2999-12-31);alter table HD_COBS_SVOCA partition(eff_dt=2015-12-08,exp_dt=tmp_import) rename to partition(eff_dt=2015-12-08,exp_dt=2999-12-31);利用Hive对COBS_SVOCA进行拉链测试将测试数据导入HD_COBS_SVOCA表的一个临时分区。在实际场景中，这组数据是最新有效数据。命令如下，alter table HD_COBS_SVOCA drop if exists partition(eff_dt=2015-12-08,exp_dt=tmp_import);load data local inpath /var/lib/hive/impala/COBS_SVOCA_999009.txt overwrite into table HD_COBS_SVOCA partition(eff_dt=2015-12-08,exp_dt=tmp_import);找到历史数据中，和新数据对比后的失效数据，并记录在一个新分区。命令如下，insert overwrite table HD_COBS_SVOCA partition(eff_dt=2015-12-08,ex