集算器esProc Oracle单机性能对比测试报告-详细版.pdfVIP

集算器esProc/Oracle 单机性能对比测试报告 1 测试目的 在相同的硬件上测试集算器 esProc 和 Oracle 的单机计算性能，对比两者在大数据量单任务计算、 小数据量多任务并发计算时的性能差异。 2 测试内容与方法 数据量： 小数据量：单张事实表大约为10G 左右。并发时，为了避免操作系统缓存造成测试结果误差，采 取多个并发请求访问不同事实表的方式。 大数据量：单张事实表大约为100G 左右 算法分类： 分别测试数据扫描、分组、连接、大分组等几类典型SQL 算法的性能。需要注意的是，采用这几 种简单的算法仅仅是为了易于理解和直观地比较性能，并非说明集算器esProc 和SQL 完全相同。事实 上，两者的的侧重点不同，集算器esProc 擅长业务逻辑较复杂的过程性计算，SQL 则适合一般复杂度 的计算。复杂的算法用SQL 实现方案太多，执行路径不可控，缺乏可对比性，因此不做测试。 用例分类： 每类算法根据表的宽度、数据类型设计多组用例进行测试。 其中，大分组用例目的是测试分组结果数据量很大，内存装不下的情况，所以本报告只测 100G 大数据量并行运算的情况，不测小数据量并发的情况。 注：《集算器esProc Oracle 单机性能对比测试过程》一文是本报告的附件，关于具体的数据结构、测试 代码、测试重现等内容请参考该文档。 3 环境描述 测试机型：Dell Power Edge T610 CPU ：Intel Xeon E5620*2 RAM：20G HDD：Raid5 1T 操作系统：CentOS 6.4 JDK ：1.6 Oracle 版本：11g 集算器 esProc 版本：3.1 4 数据描述 数据规模以导出成文本文件为标准。 单机测试中集算器esProc 使用自有文件格式。 因主要测试大数据的运算，考查全表扫描性能，故数据库中所有表均不建主键和索引。数据结构 中描述的主键字段仅仅表示该字段为逻辑上的主键，数据不能重复，物理上并不创建主键。 4.1 数据表及表关联 事实表 T1,T11,T12,T13 这是四个宽表，用来模拟字段数较多的情况，设计字段数为 100 个。四张表结构完全一样， T11,T12,T13 主要用于小数据量多任务并发访问不同表，避免操作系统缓存。 事实表 T2,T21,T22,T23 这是四个窄表，用来模拟字段数较少的情况，设计字段数为 11 个。四张表结构完全一样， T21,T22,T23 主要用于小数据量多任务并发访问不同表，避免操作系统缓存。 事实表是本次测试的主要数据源，在扫描、分组、连接中都用会用到，数据量有大小两种，通过 灌入不同行数的记录来控制数据量。 维表DL2、DL6、DD2、DD6、DC2、DC6 维表只用于测试连接（及多重连接）用例，这些维表会和事实表进行连接，维表之间也会进行连 接，其数据量固定。 4.2 数据规模 表中数据为记录行数，不是所占空间字节数。 表 大数据量单任务 小数据量多任务并发 T1 150M 15M T11/T12/T13 -- 15M T2 1180M 118M T21/T22/T23 -- 118M DL2 100 100 DL6 1M 1M DD2 100 100 DD6 1M 1M DC2 100