不同网络环境下大数据系统的测试与分析.PDFVIP

２０１６年７月 第３７卷　第４期 Ｊｕｌｙ２０１６ Ｖｏｌ．３７　Ｎｏ．４ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７１－７７７５．２０１６．０４．０１０ 不同网络环境下大数据系统的测试与分析 朱叶青，牛德姣，蔡　涛，何　耀 （江苏大学 计算机科学与通信工程学院，江苏 镇江２１２０１３） 摘要：为了研究网络架构和通讯协议对大数据处理与应用系统效率的影响，在介绍与分析不同网 络架构和通讯协议的基础上，使用以太网和Ｉｎｆｉｎｉｂａｎｄ网络连接，安装ＴＣＰ／ＩＰ，ＩＰｏＩＢ和 ＲＤＭＡ协 议，构建了Ｈａｄｏｏｐ，Ｔａｃｈｙｏｎ和Ｓｐａｒｋ原型系统，使用通用测试工具和例程等进行了测试．测试结果 表明相比使用ＴＣＰ／ＩＰ，使用ＩＰｏＩＢ能提高Ｈａｄｏｏｐ的Ｉ／Ｏ性能４６～５６倍，减少Ｔａｃｈｙｏｎ数据处理 的时间开销达２％～２７％，减少了Ｓｐａｒｋ９０％～９５％的时间开销，同时Ｓｐａ