TPCC与性能测试的关系.pdfVIP

TPC-C 值与系统性能的关系思考（供参考） qinwenchuang@ TPC-C： TPC-C 是TPC 组织推出过 11 套基准规范之一。TPC-C 和TPC-A （已经被 废弃）都是TPC 组织基于OLTP 业务模式下的基准规范。 TP-C 的模型： 关于TPC-C 的基准规范业务模式，从TPC 组织官网/tpc 看到此规范描述的是一个大型的商品批发销售公司，它拥有若干个分布在 不同区域的商品仓库。当业务扩展的时候，公司将添加新的仓库。每个仓 库负责为 10 个销售点供货，其中每个销售点为 3000 个客户提供服务，每 个客户提交的订单中，平均每个订单有 10 项产品，所有订单中约 1%的产品 在其直接所属的仓库中没有存货，必须由其他区域的仓库来供货。同时， 每个仓库都要维护公司销售的 100000 种商品的库存记录。 但是对于这个基准，TPC 不给出基准程序的代码，只给出基准程序的标 准规范。也就是说允许任何厂家或其他测试者最优地构造出符合自己硬件 或者软件环境的被测应用，这个被测试的应用只要符合这个规范就行。 TPC-C 的指标： TPC-C 测试的结果主要有两个指标，即流量指标（Throughput,简称tpmC) 和性价比（Price/Performance,简称Price/tpmC)。 流量指标(Throughput,简称 tpmC)：按照TPC 组织的定义，流量指标描 述了系统在执行支付操作、订单状态查询、发货和库存状态查询这4 种交 易的同时，每分钟可以处理多少个新订单交易。所有交易的响应时间必须 满足TPC-C 测试规范的要求，且各种交易数量所占的比例也应该满足TPC-C 测试规范的要求。在这种情况下，流量指标值越大说明系统的联机事务处 理能力越高。 性价比（Price/Performance,简称Price/tpmc)：即测试系统的整体价 格与流量指标的比值，在获得相同的 tpmC 值的情况下，价格越低越好。 TPC-C 的对于用户的意义？ TPC-C 的指标仅表明当前被测试环境的作为一个有机整体处理符合 TPC-C 规范的模拟OLTP 的商品批发销售公司应用的性能情况。不能离开这 个整体去判读 TPC-C 数据。 （这个有机整体包含硬件系统如主机设备、网 络设备、存储设备；软件系统如数据库、应用软件、厂商自己开发的TPC-C 模型；以及技术支持服务如架构设计优化、程序优化、参数优化等） 举个例子： 某个主机设备厂商，其某款主机的TPCC 值标称为：10000笔交易/分钟。 当用户选型使用这款主机部署自己的应用系统，能否达到 10000 笔交 易/分钟？ 答案是不确定的。 首先，我们来分析导致这个不确定的主要因素有哪些？ 1、 环境差异？ TPCC 标称为 10000 笔交易/分钟的主机在测试的时候，只是作为测试环 境的一个部分而已。其他设备比如存储或者网络交换机可能与用户的实际 环境有差异。打个比方，我们采购了一个精度很高的瞄准镜，装在枪管精 度不好的步枪上，其射击成绩可想而知。可以想象若是主机厂商测试的时 候连接的是高速存储，而用户只用的是低端存储，这个时候往往存储拖累 主机。同样交换机设备差异也同样导致结果偏差。TPC-C 厂商为了获得高的 TPCC 值，会对系统从硬件和软件两个方面进行全面优化，在其他设备上也 选用高端的设备屏蔽其他性能瓶颈，充分发挥主机性能，在TPCC 官网上看 到不少高分的TPCC 测试环境，主机价格只占到测试环境设备价格的 1/3 后 者 1/4 而已。 2、 实际应用和TPC-C 规范的差异？ 这也是最重要的差异。客户实际的应用系统肯定和主机厂商测试时候 的TPCC 模型有差异，如业务逻辑、使用习惯、数据量等等方面。所以客户 应用系统的性能即使部署在厂商当时测试TPCC 应用的环境上，TPPC 值也会 有差异的。 TPC-C 能否代替性能测试？ 答案是否定的。 上面举的例子已经告诉我们，采购高TPPC 值的设备，不一定能买到一 个系统的高性能。 即使我们采用标称很高的设备也许能一定程度上提高系统的性能，但 是不能保证我们的应用系统就是高性能的 （可以买到好的瞄准镜，但是不 能保证用在枪管精度不好的枪上能出好成绩）。没有针对系统瓶颈优化， 只靠硬件升级这种治标的方面提升性能代价很大。 木桶原理告诉我