storm性能测试结果及分析.pdf

Twitter storm 性能测试报告 测试目的 测试twitter storm 的运行性能以及数据处理的延迟。 系统配置 CPU 个数 16 CPU 主频 2.26GHz 内存 16G OS Linux 2.6.32-xxx.x86_64 网络 千兆以太网 Storm 版本号 0.6.1 测试方法 Storm 是一个流处理系统，它以tuple 为基本单位，每个tuple 可以包含多个字段（field ）。 我们给tuple 定义两个字段：  Data ：存放原始的数据，这里是1000 字节的数据，此测试中我们仅仅是直接的转 发数据，所以唯一的处理开销就是1000 字节的内存拷贝  tsInfo ： 时间戳信息，每经过一个处理模块，我们就在此字段中追加上当时的时间 戳，最后统计模块就可以根据这些时间信息计算出总延迟等。由于不同的机器时间 戳并不同步，这给计算延迟带来了固有误差，解决的办法就是把数据发送模块和最 后的统计模块放到一台物理机上。 关于在分布式集群上测试storm 的一个说明：在storm 上，我们很难给某个模块（component ） 指定其运行的物理机，storm 总是自动的把任务平均分配给集群中的各个机器，因此在测试 中我们将使用storm 的工作方式来扩展，而非设计非典型的情景（给某个component 指定特 定的机器来运行，从而打破这种平均分配原则）。 各测试以及结果 a) 在单个主机上，采用如下的方式构造拓扑 测试 Sender Processer Stats 结果 系统资源的利用率如下 CPU 利用率 CPU Total 2012/1/17 User% Sys% Wait% 100 50 0 2 2 3 3 3 4 4 4 5 5 5 5 6 6 6 7 7 7 8 8 8 8 9 9 9 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 : : : : : : : : : : : : : : : : : : : : : : : : : 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 内存使用情况 Memory MB 2012/1/17 memfree 12 千 10 8 6 4 2 0 2 2 3 3 4 4 4 5 5 5 6 6 6 7 7