hadoop分布式集群的自动化容器部署研究-计算机应用研究.pdfVIP

第３３卷第１１期 计 算 机 应 用 研 究 Ｖｏｌ３３Ｎｏ１１ ２０１６年１１月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｎｏｖ．２０１６ Ｈａｄｏｏｐ分布式集群的自动化容器部署研究 李　杰，刘广钟 （上海海事大学信息工程学院，上海２０１３０６） 摘　要：针对Ｈａｄｏｏｐ集群部署过程繁琐复杂、耗时费力、运维难度大，且不利于快速扩展的问题，提出一种结合 Ｄｏｃｋｅｒ容器技术部署集群的解决方法。该方法把Ａｍｂａｒｉ及其运行环境和配置构建成Ｄｏｃｋｅｒ镜像，并把多节点 容器的运行和Ｈａｄｏｏｐ集群的部署过程写成Ｓｈｅｌｌ脚本，只需一条命令，即可实现集群的自动化部署。实验结果 表明，该方法简单可靠并极大地提高了集群部署的效率。因此，对海量数据的处理和分析具有重要的推动作用。 关键词：Ｈａｄｏｏｐ集群；镜像；自动化部署；Ｄｏｃｋｅｒ容器；大数据 中图分类号：ＴＰ３９９　　 文献标志码：Ａ　　 文章编号：１００１３６９５（２０１６）１１３４０４０４ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１６．１１．０４５ ＲｅｓｅａｒｃｈｏｎａｕｔｏｍａｔｉｃｄｅｐｌｏｙｍｅｎｔｏｆＨａｄｏｏｐｄｉｓｔｒｉｂｕｔｅｄｃｌｕｓｔｅｒ ＬｉＪｉｅ，ＬｉｕＧｕａｎｇｚｈｏｎｇ （ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＳｈａｎｇｈａｉＭａｒｉｔｉｍｅＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０１３０６，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅｄｅｐｌｏｙｍｅｎｔｏｆｈａｄｏｏｐｃｌｕｓｔｅｒｉｓｃｏｍｐｌｉｃａｔｅｄ，ｔｉｍｅｃｏｎｓｕｍｉｎｇａｎｄｄｉｆｆｉｃｕｌｔ，ａｎｄｉｓｎｏｔｃｏｎｄｕｃｉｖｅｔｏｔｈｅｒａｐｉｄ ｅｘｐａｎｓｉｏｎｏｆｔｈｅｃｌｕｓｔｅｒ．Ｉｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｅｓｅｐｒｏｂｌｅｍｓ，ｔｈｅｐａｐｅｒｐｒｏｐｏｓｅｄａｎｅｗｓｏｌｕｔｉｏｎｏｆｃｏｍｂｉｎｉｎｇｄｏｃｋｅｒｃｏｎｔａｉｎｅｒ ｂａｓｅｄｏｎｆａｓｔ，ｓｉｍｐｌｅａｎｄｆｌｅｘｉｂｌｅｄｅｐｌｏｙｍｅｎｔｏｆｃｌｕｓｔｅｒ．Ｄｏｃｋｅｒｉｍａｇｅｓｂｕｉｌｔｗｉｔｈａｍｂａｒｉａｎｄｉｔｓｏｐｅｒａｔｉｎｇｅｎｖｉｒｏｎｍｅｎｔａｎｄ ｃｏｎｆｉｇｕｒａｔｉｏｎ．Ｗｒｉｔｅｓｈｅｌｌｓｃｒｉｐｔｗｉｔｈｔｈｅｍｕｌｔｉｎｏｄｅｃｏｎｔａｉｎｅｒａｎｄｐｒｏｃｅｓｓｏｆｈａｄｏｏｐｄｅｐｌｏｙｍｅｎｔ．Ｗｉｔｈｏｎｅｃｏｍｍａｎｄ，ｉｔｃｏｕｌｄ ｒｅａｌｉｚｅｔｈｅｃｒｏｓｓｐｌａｔｆｏｒｍｏｆａｒｂｉｔｒａｒｙｎｏｄｅｓＨａｄｏｏｐｃｌｕｓｔｅｒ’ｓａｕｔｏｍａｔｉｏｎｉｎｓｔａｌｌａｔｉｏｎａｎｄｄｅｐｌｏｙｍｅｎｔ．Ｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗｔｈａｔ ｔｈｅｐｒｏｐｏｓｅｄｓｃｈｅｍｅｉｓｓｉｍｐｌｅａｎｄｒｅｌｉａｂｌｅａｎｄｃａｎｇｒｅａｔｌｙｉｍｐｒｏｖｅｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｃｌｕｓｔｅｒｄｅｐｌｏｙｍｅｎｔ．Ａｓａｒｅｓｕｌｔ，ｔｈｅｐｒｏ ｐｏｓｅｄｓｃｈｅｍｅｈａｓａｎｉｍｐｏｒｔａｎｔｒｏｌｅｉｎｐｒｏｍｏｔｉｎｇｔｈｅｐｒｏｃｅｓｓｉｎｇａｎｄａｎａｌｙｓｉｓｏｆｍａｓｓｄａｔａ． Ｋｅｙｗｏｒｄｓ：Ｈａｄｏｏｐｃｌｕｓｔｅｒ；ｉｍａｇｅ；ａｕｔｏｍａｔｉｏｎｄｅｐｌｏｙｍｅｎｔ；Ｄｏｃｋｅｒｃｏｎｔａｉｎｅｒ；ｂｉｇｄａｔａ 　　随着互联网的发展、互联网用户的增加，互联网中的数据 个容器共享组件，如操作系统镜像和已安装的相关库，这就省 也急剧膨胀。每天产生的数据量数以万计，单个计算机受内 下了安装操作系统和相关应用程序依赖包的时间，极大地加速 存、ＣＰＵ等硬件的限制，已无法满足存储和计算要求。分布式 了测试周期。另外，在容器之间的共享库也能够减少内存的占