昆腾StorNext存储系统介绍.pptx

StorNext存储系统最佳实践内容StorNext File System性能调优StorNext Storage Manager 归档存储的选择StorNext存储最佳实践StorNext存储系统，包含两个功能：在线存储层： StorNext File System – 共享文件系统，支持SAN和LAN两种网络归档存储层： StorNext Storage Manager – 数据归档（或叫做分级存储），支持磁盘归档、磁带归档、云存储归档最佳实践之 StorNext File System性能调优篇StorNext File System的性能调优作为一种高性能文件系统， SNFS可充分发挥存储硬件、连接网络的带宽，为各种不同的非结构化数据的应用提供极高的存储性能虽然，很多情况下，我们无需调优，缺省安装的StorNext就可以满足大多数的性能需求但是，还有少部分客户，需要极高的存储性能，例如4K电影的后期制作，以及，一些客户为了降低硬件（存储和网络）成本，而拼命调节SNFS参数，从而产生出极致的存储性能接下来，我们来看看，SNFS的调优的最佳实践…SNFS的性能和哪些因素有关？上层应用SNFS底层存储SNFS作为应用和存储之间的那层，在性能上关系重大，应用是否能取得最佳性能，基本上取决于SNFS是否能让上层应用和底层存储匹配起来总结起来，SNFS的性能和如下几个因素有关：底层：底层存储的特性（RAID设置、盘阵缓存设定等）上层：文件大小及应用IO特点（随机/顺序、多少个流、块大小）中层：SNFS的设计（元数据网络、MDC设置、客户端设置等）SNFS底层存储的调优底层存储的调优，是SNFS调优中最重要的部分底层存储的调优包括如下几个部分：RAID缓存的配置RAID级别、RAID条带宽度和SNFS条带宽度SNFS底层存储的调优-RAID缓存的配置RAID缓存的配置是底层存储调优中，最为重要的一个环节，特别是针对小IO应用现代RAID技术都为小IO提供了提升性能的缓存，因此我们必须充分利用RAID控制器的缓存，将他调节到最优状态最佳实践如下：针对SNFS的元数据所在的RAID上，建议开启“回写缓存”（write-back）针对大量小IO写操作，建议开启“回写缓存”，但可能会降低大IO的持续写入性能针对顺序读应用，建议开启“预读缓存”(read-ahead或叫做prefetch)针对随机读应用，不建议开启“预读缓存”针对大IO应用，建议使用“直写缓存”（write-through）直写缓存有点像DMA(Direct Memory Access)，也就是不用缓存直写缓存和回写缓存的左右正相反SNFS底层存储的调优-RAID级别/条带宽度、SNFS条带宽度RAID级别、条带宽度和SNFS条带宽度对性能的影响，不及上述缓存，但也是十分巨大的而且请注意：这几个地方一旦确定下来，投入生产上线后，就不能修改了，因此要特别小心。（前面提到的缓存是可以随时修改的）最佳实践：不要把元数据和数据都放在一个RAID组上，元数据要单独放置建议元数据放在RAID1，也就是镜像磁盘上如果追求IOPS，则可以把元数据放在RAID10上，通常4块盘就可以了，但也可以支持6块、8块盘，RAID10提供了RAID0的性能以及RAID1的保护级别。数据放在RAID5或RAID6上，此时要用RAID组的条带宽度(segment size)来计算SNFS的条带宽度(StripeBreadth)，公式如下：StripeBreadth = n x segment size (n+1 RAID5 或n+2 RAID6里面的n)例如4+1的RAID5，其RAID条带宽度为64KB，则SNFS的StripeBreadth应设为： 4x64KB = 256KBSNFS针对上层应用的调优虽然底层存储的调优，是SNFS调优中最重要的部分，但了解上层应用的IO特点也是很重要的针对上层应用，我们要了解如下信息：并发的数据流（或者IO数）有多少读和写的比例有多少（或者说，读多一些还是写多一些）IO块的大小是多少顺序还是随机读写，还是都有SNFS针对上层应用的调优针对上层应用，SNFS调优的最佳实践：尽可能的将顺序IO和随机IO分开，放在不同文件系统上然后再针对顺序IO和随机IO来调优，各个击破如果不能做到上述，则我们要尽可能的针对最重要的、或最多的那种IO来调优，此时则会影响到另一种IO的性能，但综合起来效果最好如果应用的大顺序IO较多，则可以利用DMA，SNFS的客户端mount参数里有这个设置，可以参见auto_dma_read_length和auto_dma_write_length这两个参数的设定，具体的说明请参见mount参数的说明对于较小的、不够整齐的IO，则可以利用SNFS的bu