面向大数据的存储系统结构设计.docx

面向大数据的存储系统结构设计

作者：岳阳徐昆康利刚

来源：《数字技术与应用》2020年第09期

????????摘要：针对大数据高并发应用的特点，设计了基于云技术的分布式大数据存储系统结构。该存储系统结构采用带外模式的大规模开放集群存储架构，通过高速网络将通用存储服务器中的CPU、内存、网络带宽、磁盘转速、总线性能进行整合，形成统一的存储系统，使得存储总体性能高于计算处理能力与网络带宽的传输速度，以此来屏蔽由于磁盘和总线性能提升缓慢造成的存储性能瓶颈。

????????关键词：大数据;数据管理;数据存储;云技术

????????中图分类号：TP393文献标识码：A文章编号：1007-9416（2020）09-0115-03

????????0引言

????????大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合[1]。大数据提出者维克托指出，大数据是指[2]不用随机分析法（抽样调查）捷径，而采用所有数据进行分析处理。大数据具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

????????大数据存储是将这些数据集存储在计算机中。大数据平台系统主要为了支撑大数据存储、分析、实时处理等使用场景，整体采用分布式系统的架构，该存储架构通过云平台、虚拟化、负载均衡等技术，将网络上不同终端站点的数据资源形成逻辑上的共享资源，能够根据用户需求提供相应的存储数据。

????????大数据存储系统作为数据统一处理和服务的平台，是位于各业务信息系统之下的一种支撑性数据访问平台。其定位是为大数据的采集、整合、存储、查询、分析构建统一的数据管理与服务，为上层应用提供数据运算、数据服务以及数据管理的能力。大数据存储系统的核心意义[3]在于使数据存储管理更为集中化，透明化，最终实现数据存储服务平台化，并且可以让数据以资源和服务的方式对外提供。

????????1大数据存储系统功能需求

????????大数据存储系统功能需求[4]如下：

????????（1）海量异构数据存储。大数据存储系统应具有通用化、平台化、服务化的特点，能够提供足够的存储空间和可靠的数据存储能力，确保任何情况下数据可按需存取。存储系统能够将所有服务器的处理器资源进行整合，进行并发数据处理，以提升存储系统效率，提升存储系统整体的处理能力。

????????（2）高性能存储。存储系统应具有大容量、易扩展和快速高效的特点，以适应数据快速膨胀、变化的特点，满足应用程序对存储性能增长的要求。

????????大数据存储系统设计目标：面向海量多源异构数据存储管理需求，提供安全强化的异构对象存储管理能力，能够为多态对象数据提供统一的存储管理，并提供高安全保障能力，为各类应用的状态数据存储、历史数据管理提供支撑，具有非结构化文本数据的高效内容检索能力，能够为各类应用文档数据提供精准的内容检索。

????????2大数据存储系统功能设计

????????面向大数据的存储系统功能主要从存储可靠性、存储维护性和存储扩展性三方面加强设计[5]。

????????（1）存储可靠性设计。大数据平台存储的数据集中、数据量大、数据价值高，因此大数据环境下的数据安全显得尤为重要，存储系统可靠性是系统整体可靠性的关键，设计的重点在于存储功能的划分及系统自动备份恢复、故障检测判断等。设计目标为不论系统发生任何故障，保证系统数据不丢失，同时保证数据使用的连续性和不间断性，对上层应用不造成影响。

????????（2）存储维护性设计。存储系统内的服务器、硬盘等硬件设施采用通用化设计，便于用户维护使用。系统平时自动监测各设备及硬件的运行情况，出现故障时能够自动探测定位，并按照负载均衡策略自动进行数据备份或迁移操作，将出现故障的设备进行数据存儲隔离。

????????（3）存储扩展性设计。新一代业务应用需要存储系统能够根据增加的数据量实时按需扩容，系统内的服务器及硬盘数量等存储硬件无上限要求。此外，存储系统需要具有分级存储功能，可以设置数据存储所使用的硬件设备，经常被访问的数据放置在性能高的存储硬件介质中，以此提升存储系统整体性能，同时实现硬件设备按需分享。对硬件设备进行更新换代时，可在系统中按需添加最新的存储硬件以满足应用需求，提升存储系统整体的灵活性。

????????3大数据存储系统结构设计

????????大数据主要有三种存储架构[6]，分别是基于嵌入式的存储架构、基于X86的存储架构以及基于云技术的存储架构。基于云技术的存储架构是目前使用比较广泛的数据存储结构，该结构在大数据的存储可靠性、存储扩展性、存储维护性等方面有许多技术优势。

????????基于云技术设计的分布式大数据存储系统结构主要由五部分组成，分别是：硬件层、存储层、管理层