基于PKI的HDFS认证及安全传输机制研究.PDFVIP

山东科学 第２７卷　第５期　２０１４年１０月出版 ＳＨＡＮＤＯＮＧＳＣＩＥＮＣＥ Ｖｏｌ．２７Ｎｏ．５Ｏｃｔ．２０１４ ＤＯＩ：１０．３９７６／ｊ．ｉｓｓｎ．１００２－４０２６．２０１４．０５．００７ 基于 ＰＫＩ的ＨＤＦＳ认证及安全传输机制研究 １，２ １ 李延改 ，赵华伟 （１山东财经大学计算机科学与技术学院，山东济南２５００１４； ２山东中孚信息产业股份有限公司，山东济南２５０１０１） 摘要：为解决Ｈａｄｏｏｐ核心子项目Ｈａｄｏｏｐ分布式文件系统（ＨＤＦＳ）文件服务过程中存在的认证及安全传输问题，对当前 所采用的Ｋｅｒｂｅｒｏｓ方案进行了详细的分析，针对其在安全性和效率性方面存在的缺陷，提出将基于ＰＫＩ的数字证书认证 技术及基于数字信封的ＡＥＳ对称加密技术应用到ＨＤＦＳ的安全机制中。分析表明，该安全机制与Ｋｅｒｂｅｒｏｓ相比，能够为 ＨＤＦＳ文件服务提供更安全、更高效的解决方案。 关键词：Ｈａｄｏｏｐ；ＨＤＦＳ安全；Ｋｅｒｂｅｒｏｓ；ＰＫＩ 中图分类号：ＴＰ３９３０８　　　文献标识码：Ａ　　　文章编号：１００２４０２６（２０１４）０５００３３０９ ＰＫＩｂａｓｅｄＨＤＦＳａｕｔｈｅｎｔｉｃａｔｉｏｎａｎｄ ｓｅｃｕｒｅｔｒａｎｓｍｉｓｓｉｏｎｍｅｃｈａｎｉｓｍ １，２ １ ＬＩＹａｎｇａｉ，ＺＨＡＯＨｕａｗｅｉ （１．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＳｈａｎｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＦｉｎａｎｃｅａｎｄＥｃｏｎｏｍｉｃｓ，Ｊｉｎａｎ２５００１４，Ｃｈｉｎａ； ２．ＳｈａｎｄｏｎｇＺｈｏｎｇｆｕＩｎｆｏｒｍａｔｉｏｎＩｎｄｕｓｔｒｙＣｏ．，Ｌｔｄ．，Ｊｉｎａｎ２５０１０１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ∶ＷｅｄｅｔａｉｌｅｄｌｙａｎａｌｙｚｅｅｘｉｓｔｉｎｇＫｅｒｂｅｒｏｓｓｃｈｅｍｅｔｏｓｏｌｖｅｔｈｅａｕｔｈｅｎｔｉｃａｔｉｏｎａｎｄｓｅｃｕｒｅｔｒａｎｓｍｉｓｓｉｏｎｉｎｔｈｅ ｐｒｏｃｅｓｓｏｆｆｉｌｅｓｅｒｖｉｃｅｏｆＨａｄｏｏｐＤｉｓｔｒｉｂｕｔｅｄＦｉｌｅＳｙｓｔｅｍ（ＨＤＦＳ），ａｃｏｒｅｓｕｂｐｒｏｊｅｃｔｏｆＨａｄｏｏｐ．Ｗｅｔｈｅｎｇｅｎｅｒａｌｉｚｅｔｈｅ ｎｅｇａｔｉｖｅｓｏｆｉｔｓｓｅｃｕｒｉｔｙａｎｄｅｆｆｉｃｉｅｎｃｙ．ＷｅｆｕｒｔｈｅｒａｐｐｌｙＰＫＩｂａｓｅｄｄｉｇｉｔａｌｃｅｒｔｉｆｉｃａｔｅａｕｔｈｅｎｔｉｃａｔｉｏｎａｎｄｄｉｇｉｔａｌｅｎｖｅｌｏｐ ｂａｓｅｄＡＥＳｓｙｍｍｅｔｒｉｃｅｎｃｒｙｐｔｉｏｎｔｏｔｈｅｓｅｃｕｒｉｔｙｍｅｃｈａｎｉｓｍｏｆＨＤＦＳ．Ａｎａｌｙｓｉｓｓｈｏｗｓｔｈａｔｔｈｅａｐｐｒｏａｃｈｃａｎｐｒｏｖｉｄｅａ ｓａｆｅｒａｎｄｍｏｒｅｅｆｆｉｃｉｅｎｔｓｏｌｕｔｉｏｎｆｏｒＨＤＦＳｓｅｒｖｉｃｅ，ａｓｃｏｍｐａｒｅｄｗｉｔｈＫｅｒｂｅｒｏｓ． Ｋｅｙｗｏｒｄｓ∶Ｈａｄｏｏｐ；ｓｅｃｕｒｉｔｙｏｆＨＤＦＳ；Ｋｅｒｂｅｒｏｓ；ＰＫＩ 　　Ｈａｄｏｏｐ作为Ａｐａｃｈｅ旗下的一个开源分布式计算平台，从２００２年发布面世以来，就受到了广泛的关注。 Ｈａｄｏｏｐ强大的存储能力和高效的并行计算能力，受到了企业界的青睐，逐步成为大数据时代数据存储处理 的有效工具，Ａｍａｚｏｎ、Ｙａｈｏｏ等知名组织更是用Ｈａｄｏｏｐ集群搭建自己的私有云架构。然而尽管有着无与伦 ［１］ 比的存储和计算能力，Ｈａｄｏｏｐ薄弱的安全机制 却成为其发展推广的重大障碍，让许多亟待使用它的企业 望而却步。 ＨＤＦＳ是Ｈａｄｏｏｐ项目的核心项目，是 Ｈａｄｏｏｐ应用的一个分布式文件系统