各种存储性能瓶颈场景的分析与优化手段.docxVIP

PAGE PAGE 1 各种存储性能瓶颈场景的分析与优化手段 TOC \o 1-3 \h \z \u 前言 2 1. 存储系统概述 2 1.1 SAN 存储 2 1.2 NAS 存储 4 1.3 分布式存储 5 2. 存储性能分析 7 2.1 定性分析 7 2.1.1 应用数据 IO 分析 7 2.1.2 性能瓶颈分析 9 2.2 定量分析 10 2.2.1 三大性能指标 10 2.2.2 性能测试分析 10 3. 存储性能优化 13 3.1 优化策略 13 3.2 优化方案 14  前言 可靠性、安全性和性能是 IT 系统最重要的三个评价维度。对于 IT 系统来说，可靠性和安全性是基础，系统故障或数据泄露等造成的破坏性是显而易见的；而性能则是核心能力，代表着 IT 系统的服务水平，性能瓶颈会制约企业业务的发展，严重影响用户体验。 存储系统是企业 IT 基础架构重要的组成部分，为企业内部众多的 IT 系统提供数据存储服务。随着数字化转型的深入，企业的 IT 系统建设也进一步加快，这一方面带来了数据量的急剧增长，另一方面也提高了数据的访问频率，存储的性能瓶颈的影响也会被进一步放大。本文将结合个人运维实践，剖析存储系统的架构及运行原理，深入分析各种存储性能瓶颈场景，并提出相应的性能优化手段，希望对同行有一定的借鉴和参考价值。 1. 存储系统概述 了解存储系统的架构及其运行原理是性能分析与优化的入门课，才能去全局分析解决存储性能问题。经过多年的技术演进和架构变化，存储系统可大致分为 SAN 存储、 NAS 存储以及分布式存储这三类，它们有类似之处，又各有特点。下文将分别详细剖析这三类存储架构及其运行原理。 1.1 SAN 存储 SAN （ Storage Area Network ）本身是一个承担数据存储任务的存储网络，与业务 LAN 网相互隔离。SAN 存储则是一种基于存储块的存储系统，一般使用 FC 、 ISCSI 、 NVMe 等通信协议。 架构层面看， SAN 存储一般是存储控制器后端挂载磁盘阵列，数据最终储存在磁盘阵列，而磁盘阵列则包括了多个 RAID 组。N 个磁盘组成一个 RAID 组，在 RAID 组之上又会被划分出逻辑存储单元 LUN ，也就是共享存储池的逻辑磁盘，这些 LUN 会通过 SAN 网络与服务器的 HBA 卡相连，从而会被服务器的操作系统识别为磁盘，并被分区和格式化后使用，其架构如图 1 所示。 图 1.SAN 存储架构图 从存储的数据 IO 流角度来看，以常用的 FC-SAN 存储为例，服务器操作系统一般会使用文件系统管理文件，文件系统是建立在存储 LUN 之上，文件的读写会对应着存储的 IO 操作；文件会被分为多个 Block ， Block 大小固定，一般是 4KB-16KB ；数据 Block 块会被发送到服务器的 HBA 卡， HBA 卡再将其转换为 FC 协议的数据帧（ Data frame ），并通过 SAN 网络传输到存储系统的前端口；存储的前端口继续将这些数据帧重新封装成数据 Block ， Block 大小一般为 4KB ，并将这些数据 Block 块传输到存储控制器中；存储控制器中会有存储缓存（ Cache ），分为读缓存与写缓存，根据缓存的算法规则，部分缓存命中的 IO 数据流会立刻返回 IO 确认，缓存未命中的 IO 数据流则会需要继续访问磁盘阵列；由于多个磁盘组成了 RAID 组，一个数据 IO 流实际上对应着多个磁盘的并发读写。整个过程如图 2 所示： 图 2.FC-SAN 存储的数据 IO 流图 1.2 NAS 存储 NAS （ Network Attached Storage ）存储一般也可认为是网络文件存储，用户数据大多数以文件形式存在，通过以太网访问模式走 NFS/CIFS 协议，提供了广泛兼容性易用性的共享能力。相比于 SAN 存储， NAS 存储不以磁盘形式提供存储服务，不需要分区和格式化，可以直接提供可以直接挂载的网络文件系统。 架构层面看， NAS 存储一般也是基于磁盘阵列（也有基于集群文件系统或分布式存储的实现方式）实现的，在磁盘阵列之上会有 NAS 机头来创建和管理文件系统；NAS 机头是 NAS 存储的核心逻辑部件，是典型的 C/S 架构风格，是对外提供网络文件服务的 Server 端；其他 client 端在获得授权后，可通过挂载文件系统、映射网络磁盘或 HTTP 、 FTP 等方式就可以共享访问 NAS 文件系统上的文件，其架构如图 3 所示： 图 3.NAS 存储架构图 从存储的数据 IO 流角度来看，以 NFS 为例， NAS 存储是有着明