集成IO硬件压缩加速器的Hadoop系统结构.pdfVIP

CN 43- 1258/TP 第 38 卷第 8 期 2016 年 8 月 计算机工程与科学 ISSN 1007-130X Computer Engineering . Science Vo l. 38 . No . 8.Aug. 2016 文章编号: 1007- 130X(2016)08-1524-06 集成 1/0 硬件压缩加速器的 Hadoop 系统结构. 雷力l ，钱斌海1 ，郭俊1 ，顾雄礼2 ，刘鹏l O. 浙江大学信息与电子工程学院，浙江杭州 310027;2. 华为技术有限公司，浙江杭州 310051) 摘 要: 随着大数据的发展. Hadoop 系统成为了 大数据处理中的重要工具之一。在实际应用中. Ha­ doop 的1/0 操作制约系统性能的提升。通常 Hadoop 系统通过软件压缩数据来减少1/0 操作，但是软件 压缩速度较慢，因此使用硬件压缩加速器来替换软件压缩。 Hadoop 运行在 Java 虚拟机上，无法直接调用 底层1/0 硬件压缩加速器。通过实现 Hadoop 压缩器/解压缩器类和设计 c++动态链接库来解决从 Hadoop 系统中获得压缩数据和将数据流向 1/0 硬件压缩加速器两个关键技术，从而将1/0 硬件压缩加 速器集成到 Hadoop 系统框架。实验结果表明，1/0 硬件压缩加速器的每赫兹压缩速度为 15. 9 8yte/s/ Hz. 集成 1/0 硬件压缩加速器提升 Hadoop 系统性能 2 倍。 关键词:Hadoop;I/0; 硬件压缩加速器 中图分类号:TP393 文献标志码:A doi:lO. 3969/ j. issn.1007- 130X. 2016. 08. 002 Integrated 1/0 hardware compression accelerators of Hadoop system architecture LEI U , Q1AN 8in-hai , GUO Jun l ,GU Xiong-I 户，L1U P engl (1. College of Information Science . Electronic Engineering ,Zhejiang University. Hangzhou 310027 ; 2. Huawei Technologies Co. ,Ltd. ,Hangzhou 310051 ,China) Abstract: W ith the development of big data , Hadoop systems become an important tool , but 1/0 op- erations impede their performance improvement in practical applications. Hadoop usually decreases its 1/0 operations by using software to compress data. However , data compression by software is slower than hardware accelerators. When Hadoop runs on Java virtual machines , it cannot directly call 1/0 hardware accelerators. To avoid getting data from the H adoop system and transferring the data to 1/0 hardware accelerators , a compressor