Quantum StorNext海量小文件性能测试与调优.doc

StorNext概述 Quantum StorNext 是一款虚拟化平台，能够提供横向扩展存储能力。它使企业可以通过创建流畅的文件存储基础设施来满足各种性能和长期存档要求。除了强大的扩展能力和极高的效率外，灵活性也是 StorNext 的重要特性－它支持包含多个操作系统、存储设备类型、厂商和存储网络协议的异构环境。它适用于需要使用 SAN 文件系统实现快速数据访问和低延迟的应用，以及使用分布式 LAN 客户端的 CPU 密集型应用。此外， StorNext 还包括一些强大的企业级功能，例如，复制和重复数据删除等。 Quantum StorNext 能够提供高性能文件共享以及企业数据管理和保护，广泛应用于全球大多数数据密集型行业，如：传媒和娱乐、石油和天然气、卫星成像以及基因组研究。 StorNext 4.0 采用的这项成熟技术具有复制、近线重复数据删除、分布式迁移服务器、部分文件恢复以及简单易用的管理控制台等特性。 StorNext 包括两个核心组件： SAN 共享文件系统和存储管理器 (Storage Manager) ，使您能够史无前例地共享、管理和保护您的重要商业信息。 StorNext 的共享 SAN 文件系统能够迅速存储信息，实现信息的跨异构平台、富媒体应用以及大多数磁盘和磁带系统的同步共享，从而加快业务经营。 StorNext 能够更快地处理和发布内容，使客户能够整合共享的图片存储库、媒体内容、分析数据以及其他重要数字资产。即使是在跨 Linux 、 Mac 、 Unix 和 Windows 操作系统的异构环境中， SAN 或 LAN 中的主机也能轻松地访问所有文件。 随着时间的推移，文件的成本和性能特性可能会降低。利用基于策略的分级存储和存档功能， StorNext Storage Manager 能够降低成本和简化管理。确保数据传输透明化、文件在线并可供访问，同时大幅降低存储和管理成本。 StorNext 的特征与优势概括如下： 可扩展存储虚拟化 高性能数据共享 跨 Linux 、 Windows 、 UNIX 和 Mac 操作系统同步整合 大规模可扩展归档 在线分级存储和归档 文件系统容量优化 全局数据保护和数据分发 测试目标 目前存在一个海量小文件应用，其存储需求概括如下： 文件对象数量约 20 亿， PB 级存储容量， GB 级数据吞吐量； 海量小文件应用， 85% 文件约为 1KB ，对文件系统 IOPS 要求高； 高扩展性，客户端数量能够扩展至 100 ~ 1000 台； 多平台支持，包括 UNIX 、 Linux 、 Windows ； 虚拟化共享存储，存储资源统一管理； 数据分层归档支持； LDAP/NIS/AD 安全机制无缝整合； 开放式服务器和存储系统支持。 根据 StorNext 官方资料和实际部署案例，以及实际实施情况来看， StorNext 能够满足上述存储需求。该存储需求有别于普通需求，关键特点是面向海量小文件应用，以往类似案例较少。因此，本次测试主要目标是进一步获取 StorNext 在这种应用场景下的性能表现，以验证能否真正满足客户的实际需求。本次测试具体目标如下： 文件对象数量能否达到 20 亿？以及在此场景下的系统性能表现。 海量小文件持续写入速率，即单位时间成功创建并完成写的文件数量。测试在不同已有文件对象总数量场景下的该指标。 海量小文件持续读写吞吐量和 IOPS ，测试在不同已有文件对象总数量场景下的该指标。 系统扩展能力，即客户端数量与性能指标的增长关系。 系统最大扩展能力，客户端数量能否达到 100 ~ 1000 台？ 测试环境配置 本次测试环境部署总体架构如图 1 所示，主要由 FC 交换机、千兆以太网交换机、 SAN 磁盘阵列、 StorNext MDC 和 StorNext 客户端组成。基本配置情况如下： FC 交换机： 16 口（ 4Gb ） 千兆以太网交换机： 16 口（ 1Gb ） SAN 磁盘阵列： 4 台 FC 盘阵，每台 16 块磁盘，全做 RAID0 ，其中一台供 MDC 专用 StorNext MDC ： 16GB 内存、 Intel 至强 3.0GHz CPU 、 15K 转 SAS 磁盘 StorNext 客户端： 8GB 内存、双 Intel 至强 3.0GHz 双核 CPU 、 15K 转 SAS 磁盘，共 5 台 性能指标 (1)??? 吞吐量 数据吞吐量 (Throughput) ，指单位时间内可以成功传输的数据数量，吞吐量 以 MB/S 指标来衡量，体现存储系统在大量数据持续读写时的性能，特别是能衡量在非线性编辑、视频流媒体等需要大量读写环境下，存储持续读写的能力。 对于大量顺序读写的应用，