《证券期货业大数据平台性能测试指引》.pdf

ICS 03.060 A 11 JR 中 华 人 民 共 和 国 金 融 行 业 标 准 证券期货业大数据平台性能测试指引 Securitiesandfuturesindustrybigdataplatformperformancetestreference 中国证券监督管理委员会 发 布 目 录 前  言II 1 范围1 2 缩略语1 3 测试目标概述1 4 测试准备1 4.1 测试环境准备1 4.2 测试数据准备3 5 测试内容及方法6 5.1 测试内容概述6 5.2 基准测试7 5.3 数据加载性能测试7 5.4 数据查询性能测试9 5.5 混合负载性能测试15 5.6 数据操作性能测试16 5.7 数据导出性能测试18 6 扩展测试21 6.1 扩展测试概述21 6.2 索引测试21 6.3 分区键测试21 6.4 分布键测试21 6.5 列存储测试21 6.6 资源队列测试22 附 录 A23 A.1 平台、术语和工具名称解释23 A.2 TPC基准测试套23 参 考 文 献25 I 前  言 本标准依据GB/T 1.1—2009给出的规则起草。 本标准由全国金融标准化技术委员会证券分技术委员会 （SAC/TC 180/SC4）提出。 本标准由全国金融标准化技术委员会 （SAC/TC 180）归口 II 证券期货业大数据平台性能测试指引 1 范围 本标准规定证券期货业大数据平台性能测试的测试目标、测试准备、测试内容和方法、扩展测试建 议。 本标准适用于证券期货行业的核心机构和经营机构对大数据平台性能进行选型测试或平台建设期 的性能测试。 本标准中的大数据平台范围限定为Hadoop平台和MPP数据库。 注：核心机构包括证券交易所、期货交易所、登记结算公司等，经营机构包括证券公司、期货公司、基金投资公司 等。 2 缩略语 下列缩略语适用于本文件。 MPP： 大规模并行处理 （Massively parallel processor） CPU： 中央处理器 （central processing unit） ETL： 抽取转换加载 （Extract-Transform-Load） 3 测试目标概述 测试的主要目标是通过测试收集被测大数据系统在特定场景下的关键性能指标，根据指标结果评估 被测系统性能。所收集的性能指标分为如下两类指标： a) 时间相关指标：包括吞吐、速率、时延和响应时间等，这些指标将从单位时间、特定长度时间、 数据从源端到目标端流转时间和数据请求发起到服务完成时间等不同角度反映被测系统处理 数据的效率和能力； b) 系统资源相关指标：包括服务器主要硬件资源 （CPU、内存、磁盘、网卡等）的利用率和操作 系统软件资源 （进程数、网络连接数量、文件句柄占用数量等）的使用情况。 4 测试准备 4.1 测试环境准备 4.1.1 环境检查 大数据平台中，被测集群由服务器集群组成，不同的测试环境对测试结果会产生不同的影响，应按 照平台的设计目标选择性能测试使用的测试环境配置，在测试正式执行前应对环境进行检查。 4.1.2 服务器准备 为确保性能测试结果的有效性，测试所用的服务器宜全部采用物理机，相同功能域的节点采用相同 的硬件配置，任意一个管理节点与其它管理节点硬件配置相同，任意一个数据节点与其它数据节点硬件 配置相同。