基于Hadoop企业云存储技术与平台创建.docVIP

基于Hadoop企业云存储技术与平台创建 　　[摘 要]Hadoop是以信息技术为基础的计算平台，因其拥有伸缩性强以及容错性高等方面的优势，使其深受广大企业所喜爱，各企业开始利用其对内部云存储平台进行了创建，石油企业也不例外。本文将以石油企业为例，对以Hadoop为前提的云存储核心技术以及平台建设方式展开深度论述，旨在提高企业云存储技术水平，保证企业信息数据管理质量。 　　[关键词]文件储存；Hadoop；云存储平台；文件加密 　　中图分类号：TP391 文献标识码：A 文章编号：1009-914X（2018）03-0133-01 　　现代企业在日常运营过程中会产生大量信息数据，这些数据能够直观或间接反映出企业运行状况与运行潜在隐患，以便管理者能够以此为依据展开一系列举措，进而实现理想化企业管理模式。但由于信息数据规模过大，如果单一依靠人力，很难达到预期信息管理目标，于是企业开始对云储存技术进行了引进，并以Hadoop为基础，对云存储平台进行了构建。 　　1、基于Hadoop的云存储核心技术 　　Hadoop（以下简称平台）属于开源分布式计算运行平台，该平台能够向使用者提供分布式系统，利用该系统，使用者能够准确对信息数据进行收集、处理与传输【1】。 　　1.1 分布式文件系统 　　该系统英文简称为HDFS，属于平台最底部构成元素，会对平台集群中储存节点文件进行储存。就外部客户设备而言，该系统与分级文件系统较为相似，会对信息文件进行创建以及重命名等处理，但因为该系统架构是以节点构造为基础进行设定的，所以系统会因为节点变化而发生相应改变，节点会在系统内部提供相应数据服务，以维持平台正常运作。 　　系统重要负责客户写入文件访问，其主要工作原理为：当用户想要将文件写入系统中时，首先会先对文件进行临时存储，若在此过程中系统模块无法达到数据缓存要求，则通过对DataNode相应软件进行借助的方式，进行文件储存模块创建；其次用户会通过对相应软件的运用，将文件块内容输入到系统之中；最后当文件块完成发送任务后，NameNdoe软件会对文件进行建设，并会将其运送到云数据存储之中，从而确保用户能够对写入文件进行访问【2】。 　　1.2 MapReduec 　　该应用程序是大数据软件框架运用程序，由map以及main等函数做组成，其中main函数的运用，使文件传输与作业控制两者有机结合在了一起，能够为平台提供更多应用程序开发工具，能够更好地在性能度量以及调试等操作中进行应用。 　　工作原理：当用户需要对该程序进行启动时，会在对应用程序进行提交后，对HDFS中输出以及输入目录进行查询，并会按照文件位置以及物理量等信息，创建从属任务，并会将任务完成信息与状态上传到程序会中【3】。这一特性会将处理放置到存储之中，会按照集群节点对数据进行处理，整体处理结果效率较为理想。 　　2、企业云存储技术平台创设 　　平台创设根本就是实现多项云存储功能，因此企业在进行平台创建时，要重点对平台系统功能实现展开研究。 　　2.1 整体系统组成 　　整体云存储系统主要由四部分组成，①客户端属于整体平台前端，用户可以通过客户端以网页浏览的方式对云存储系统进行访问；②云端服务器是以多个云存储中心共同组成的，主要负责系统文件空间管理；③web负责对客户访问需求进行管理，利用其能够实现用户个性化配置模式，更容易达到客户需求；④云存储中心是以hadoop中数据节点所构成，负责实施文件分布式存储操作。 　　2.2 文件上传 　　在此主要对加密文件上传功能实现方式进行介绍，一般HDFS所具有的而文件都是以明文形式进行运输的，这种方式虽然较为简便，却容易出现泄密事件，会对企业文件信息安全造成影响，所以在进行云存储平台建设过程中，应对企业重要文件进行加密处理。目前较为常用的加密方式主要以PBE算法为主，此种加密方式是以口令为基础的加密计算方式，整体操作较为简便，用户只要自主对口令进行保管即可，并不需要其他设备进行辅助，能够对数据信息安全进行保证【4】。因为该项功能，石油企业可以实现对加油站人员基本档案以及相关工作信息的登记与储存，可以通过加密方式，对人力资源信息进行保管，以保证人员信息的完整性。 　　2.3 文件下载 　　为保证云存储系统使用便利性以及实用性，系统不仅要拥有文件上传功能，同时也要对文件下载以及分享等功能进行开发，尤其要注重文件下载功能，要保证用户文件使用便捷程度。在进行文件下载时，主要分为直接下载与解密下载两种，其中直接下载会通过FileSyste，建立起文件下载体系，确保元数据相应操作可以顺利开展，并会再次利用文件系统对文件进行转流处理，使其能够从系统中直接下载到用户端；在进行解密下载时，基本步骤与直接下载方式基本相同，但在从系统向本