关于集群存储选型建议书.docVIP

关于集群存储选型建议书 集群存储的发展历程 随着文件大小和数据规模逐步达到TB和PB，可以把不相干的文件系统融合成只使用一个命名空间的文件系 。 集群存储的分类 集群存储有两种实现方式：一种是硬件基础架构加上软件SAN架构+，典型代表是IBM ; 另一种是专用集群存储，典型代表是Isilon、以及Panasas，通过操作系统实现集群存储。其中Isilon是构建在NAS基础架构之上的，Panasas、曙光的Para200是基于文件对象的带外架构，与Google的云存储系统架构相同。 带内架构的产品意味着带内设备处理元数据、控制和数据路径信息都是在一台设备中进行的。换句话说，元数据管理和控制功能共享这个数据路径。这在一个繁忙的存储局域网中会产生潜在的瓶颈，因为所有的主机请求必须经过一个单一的控制点，这需要控制器设备具有更高的处理能力，NAS头之间需要高速的Infiniband网络，硬件成本会大幅度提升。另外，带内架构在提供冗余时也会需要更多的花费，并且扩展性也比较差。而带外的产品恰恰与此相反，其元数据处理、控制和数据路径信息都是在不同的设备中进行的。换句话说，元数据管理和控制功能具有各自的处理路径，即使在繁忙的存储局域网中也不会互相干扰，与带内虚拟化产品相比，其对节点处理能力、节点连接网络等的需求要低得多，这样的好处就是用户的硬件成本会大幅度降低。由此可见，带外解决方案有很多先天优势。而实际上，带内架构在提供冗余时也会需要更多的花费，并且扩展性也比较差，这都是用户需要考虑的问题。。 那么，既然带内架构不如带外架构，为什么业界的主流还是带内架构方式?这是因为任何一种技术都有进化的过程，带内技术是在传统NAS基础上做的改进，通过为NAS设备增加高级的集群和缓存功能可以解决这一定的问题，但在高并发应用环境中带内方案的局限性就会特别突出。 与此相比，带外架构方式则更有生命力——减少数据流和元数据流之间互相干扰，提升系统聚合性能；各控制机之间无需配置独立的存储网络，可与计算节点共用网络。各控制机可将自身管理的数据直接传递给所有计算节点，无须通过其他控制机转发，以提高并发性能。因此，不难预见，在两三年之后，带外解决方案将会取代带内解决方案。而即使是现在，带外产品已经有了大量的成功案例，比如某用户目前使用CZSS集群存储系统（国内较为领先的集群存储系统），他们通过构建的集群来进行地震资料处理工作，如今已经把两个近1000节点的集群用于生产系统、聚合性能达到10GB/s以上极大地提高了生产效率。 地震资料处理集群存储应用 随着众多高性能计算（HPC）行业的自身发展，其企业的应用要求更强的计算和分析海量数据的能力，从而完成企业业务的需求，目前来看，Cluster集群以其巨大的可扩展性和计算能力，对不断提升的对高性能计算的要求有着天然的“吸引力”。而在基于包括Windows、Unix、Linux众多系统的集群成为了很多企业建立集群时的首选。?? 多系统的集群在石油勘探、气象、地震海啸预警等高性能计算（HPC）方面大展拳脚的同时，存储却成为了限制系统集群的发展羁绊。我们知道集群中节点众多，其每个节点及整体的计算量都非常大，所以才能完成企业大规模的高性能计算任务，但是这些计算能力都是要以存储系统能够提供充足的数据为前提的。以现在中国的很多油田为例，他们为了完成计算任务，不断的加入新的节点，虽然提高了整个网络内的集群的计算节点，结果却带来了很大的存储问题，存储系统的I/O带宽难以为继，很多计算节点因为无法获得数据而被迫停止运算或降低运算效率。集群存储系统可以确保集群系统得到高效使用，它可以对PB量级的共享数据进行快速访问，同时以高速并发读写的性能提供给前端高性能计算服务器群足够的I/O带宽，这也是为何集群存储架构能够凭借高扩展的特性进入到高性能计算领域的原因之一。 集群存储相关的投资正以每年50％以上的速度增长，有超过三分之二的数据管理者在考虑将集群存储系统引入他们的高性能计算网络环境。 总结起来，集群存储系统能轻松地解决HPC对存储而言提出的相关技术要求，如下： HPC需要一个能够连接处理器和I/O节点的高速系统； HPC需要一个满足前端的高并发、高I/O需求的存储系统， HPC需要一个能够提供统一存储池的存储系统； HPC需要一个能够提供数据高安全的存储系统； HPC需要一个满足未来高扩展性需要的存储系统； 三种集群存储架构厂商比较 存储架构最根本的区别在于：存储格式，如块数据或文件；存储与应用之间的控制流和数据流方式。存储格式定义了访问方式，以及访问共享数据时的锁机制、同步和安全。控制/数据流方式则定义了为带宽准备的并发机制。这两个存储特性如何实现最终决定了存储系统的性能和扩展性。 2.1 SAN+I/O节点+文件系统解决方案 如上图