大数据场景下云存储技术及应用.doc

大数据场景下云存储技术及应用 　　?S着信息技术的发展，以大数据为背景的云存储技术获得良好的发展前景。它的应用不仅方便了人们日常生活工作，满足人们的不同需求。还可降低系统内部的负载率，提升工作效率。在这种情况下，为了满足现代化社会发展需求，必须不断对云存储技术进行升级优化，以满足大数据场景下用户的工作需求。文章主要从基于大数据场景的云存储技术概述出发，对大数据场景下云存储技术的应用进行了分析，以供参考完善 【关键词】大数据 云存储技术 应用 传统的以存储介质的信息技术已经无法满足社会多元化发展的需求，这时云存储技术应运而生。云存储技术主要是通过服务器集群应用和网格技术，借助网络软件协同作业，将系统数据库的全部信息进行集中管理，为用户提供一个访问功能系统，方便用户实时操作，从而提升云计算工作效率与质量。尤其是近年来，随着云计算技术的日渐更新，云存储技术因自身具有应用范围广泛、操作简单方便以及扩展性较强等优点，已经被广泛应用到各个领域中，受到人们的青睐与认可 1 基于大数据场景的云存储技术概述 1.1 云存储关键技术 要想充分发挥云存储技术的效用，必须结合云储存技术的基本原理与有关文献资料，详细分析云储存技术的关键技术。基于大数据场景下的云存储的关键技术，主要包括虚拟技术、重复删除技术以及数据备份技术等技术。云存储技术的应用能够对访问权限进行设置，提升资源信息使用的安全性，避免因资源信息泄漏、篡改或者是存储不及时，给用户造成损失 1.2 虚拟技术 虚拟技术作为大数据场景下云存储技术不可缺少一部分，是整个技术的核心，也是云计算的前提条件。利用云存储技术，不仅能在每一个服务器中心通过虚拟技术来细分硬件资源的功能，还可按照用户的具体需要，对资源信息进行分类整合，为用户提供需要的信息。可见在大数据场景下，要想满足用户的具体需要，必须改变传统以存储介质为主的存储模式，通过云存储系统的虚拟技术共享资源信息 1.3 重复删除技术 虽然云存储技术已经实现了存储容量的最大化，但是基于大数据场景下，云存储系统的存储容量日渐增加，考虑到系统容量增加的需求量，云存储系统内部必须通过重复删除技术，将内部存储的无效资源信息删除，才能确保云存储系统有足够的存储空间，为用户提供良好的网络传输服务 1.4 数据备份技术 数据备份技术与数据重复删除技术相对比，具有明显差距。数据备份的目的主要是在系统运行过程中，为了防止资源信息因各种因素影响，导致系统中的资源信息被删除而发生丢失，云存储系统的数据备份系统可及时恢复已经被删除的资源信息，避免存储数据删除、丢失 2 大数据场景下云存储技术的应用 2.1 构建大规模级别存储系统 传统的以存储介质为主的存储技术主要是将信息数据存储到一个设备、机架以及数据中心进行集中管理，一旦存储容量从最低级转变成高级存储后，设备难以独立完成。基于大数据场景下的云存储技术所构建的大规模级别存储系统，只需要在内部建立一个子系统，即可跨数据中心、城市、省，甚至是跨国家进行存储、管理、收集数据信息。并且在大规模级别存储系统中，用户在系统对资源设置访问权限后，即可提升资源信息存储的安全性，使用人员要想访问有关资源信息，必须经过授权访问才能使用，在确保资源信息安全使用同时，还可避免资源信息被不法分子篡改、泄漏 2.2 存储设备的在线扩展和收缩 基于大数据场景下，用户在使用云存储设备过程中，会遇到存储资源池需要调整的需要。这时存储资源池会按照用户存储的信息需求增加或者是减少存储设备。但在调整资源信息存储的过程中，不能中断调整指令，也不能让上一层调度感应到存储资源池发生的改变，以免影响数据正常使用。此外，被删减的存储设备中存储的资源信息，还应在短时间内存储到另一个系统中，做好数据备份。这就要求云存储系统及时优化与调整数据管理方法、结构，通过多级缓存技术在线扩展与收缩存储设备的规模，彻底打破传统设备、处理器与网络的性能限制，完成信息存储 2.3 系统全局的自动负载均衡 在云存储系统中，物理存储主机的节点规模已从几万转变成几十万。面对大规模级别的数据请求与节点数量，采用何种方式来实现系统节点负载均衡，充分利用空闲节点，提升服务质量，确保系统高效运行，已经成为急需解决的问题。而大数据大规模的云存储技术，能够通过请求类别与前端节点负载实现均衡与差异化调度，将系统全局的自动负载均衡变成可能。例如云存储技术在某消防信息化系统中的应用，系统全局的自动负载均衡可通过用户提交的火灾数据挖掘请求，经过相应的分解，在系统繁忙程度、存储总容量以及IO吞吐能力等Qos信息内为信息存储选择相应的存储区域，然后利用数据安全策略将火灾数据信息发送到指挥调度网上，并通过数据压缩技术建立分布式缓存系统