基于金融企业的分布式存储应用实践.docxVIP

基于金融企业的分布式存储应用实践 【摘要】本文以金融企业为背景，在面对分布式技术迅猛发展的今天，乃至在未来的数年内，为应对业务的快速发展、数据的成倍增长、系统的稳定运行，为确保数据的完整无损、读写高效、冗余安全，同时考虑到传统存储架构目前存在的一定问题和部分业务场景的短板，以分布式存储的特点、架构和相关技术为切入点，就金融企业的分布式存储前期的规划、建设部署、后续的场景应用等方面进行简要的说明，也在建设实践的过程中就分布式存储存在的问题及相关技术的优化进行一定的阐述。在云化所趋的浪潮中，分布式存储将会为金融企业业务的发展和进步抹上一抹浓重的色彩。 1. 项目概要 1.1 项目背景 随着互联网技术的发展，AI、区块链、云计算、大数据等技术方兴未艾；特别是分布式技术的突飞猛进，X86架构已经逐渐成为趋势与主流。以国有大行为代表的金融企业开始逐渐采用虚拟化与云计算技术进行分布式改造来重构IT系统，提升IT系统的资源利用率。 而传统的小机加传统存储的架构，虽然在未来的一定时间内还会继续存在，但颓势已不可避免。传统的传统存储由于稳定和可靠一度是金融企业重要业务数据库数据存储的首选，然而随着传统业务数据量的快速增长及互联网业务的快速发展，海量数据高并发高访问需求的背景趋势下，传统的传统存储在分布式改造的过程中面临了诸多的问题： 1、存储的可靠性问题：传统存储一般集中部署在一个或几个整柜中，大规模集群面临着跨机房、跨机柜容忍的故障域，磁盘重建时间长等问题。 2、存储的扩展性问题：传统存储设备类型比较丰富，通过外部IP/FC网络互连，具备一定的扩展性，但受控制器能力限制及光交端口限制等因素，导致其扩展能力有限。 3、存储的成本投入问题：传统存储需采购单独的存储产品及光交产品，部署独立的存储网络，建设投入成本较高、实施比较复杂。 4、存储的异构问题：传统存储为确保管理和维护的便利及跨机房数据灾备同步的需要，偏向于采购同型号的存储产品，消除异构存储带来的不确定隐患。 5、存储数据迁移问题：当传统存储设备到一定的使用周期后，需要更换存储时，需要对原有存储进行整体数据迁移，整个迁移过程耗时耗力。 针对传统存储上述问题，基于现有互联网类业务快速发展的背景下，如何承载该类业务的数据量，支撑该类业务的访问量，保障该类业务的增长量是金融企业必须要思考和解决的问题。因此我们将视线转移至分布式存储上面，而基于X86平台的分布式存储系统由于其高可靠性、高扩展性、高可用性及高安全性等特性，可以更好地提供高速、可靠及稳定的存储服务。 1.2 建设原则与目标 分布式存储往往采用分布式的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率，还易于扩展，将通用硬件引入的不稳定因素降到最低。而基于金融企业背景的分布式存储项目建设原则如下： 1.高可靠性：分布式存储需具备较高的可靠性保障，确保业务的稳定运行和数据的完整性保证。 2.高性能：分布式存储能够有效的实现和管理读写缓存，能够自行分级存储，可以将热点区域内数据映射到高速存储中，来提高系统响应速度和存储性能。 3.高扩展性：基于标准硬件和分布式架构进行搭建和部署，要求可支持上千节点及EB级存储容量级别的扩展。 4.通用性：分布式存储需提供方便易用的界面，拥有完整的监控和管理工具，且可以轻松地与其他系统集成。 5.标准化：分布式存储需具备行业标准化的存储接口类型和对接方式。 6.安全性：分布式存储需具备一定的存储加密技术确保存储的数据安全。 7.灾备和备份能力：分布式存储需具备跨机房或跨数据中心级别的灾备数据同步能力，以及存储内数据的备份能力，以便实现数据的灾难快速定位及恢复，同时为分布式存储的高可靠性提供了保障。 2. 架构设计 2.1 需求分析 分布式存储的建设，不仅仅是简单的替代传统存储，而是在当前金融企业面临着新的场景、新的业务需求、新的数据规模等因素综合考虑，更是随着分布式存储技术的成熟和进步，建立分布式存储的意义是与传统存储的优势互补，劣势互避，更好地为金融企业服务。因此建设分布式存储基于高性能、高可靠、高扩展和易管理等特性为出发点，依托以上分布式存储建设的原则和目标，力争建设完成一个性能高效、稳定可靠、无限扩展及管理便利等满足业务各项需求的分布式存储平台，以满足金融企业当前乃至未来数年内业务发展的各项存储需求，同时具备跨数据中心存储数据同步的能力，以实现数据的跨数据中心保留和备份。 2.2 架构设计 分布式存储大体架构如图1所示，最右侧对其按逻辑分区抽象地分为节点池、硬盘池、资源池、存储服务层和接入层5个部分，其中节点池为底层的分布式服务器设备；硬盘池是对节点池的存储硬盘进行抽象，对市面上硬盘产品进行相应的归类，大致列了SATA盘、SAS盘、SSD盘和