分布式存储vs传统SAN存储IO性能分析.docx

?

?

分布式存储vs传统SAN存储IO性能分析

?

?

来自twt社区同行交流，欢迎更多同行参与交流

传统的SAN存储和分布式存储在IO上的对比？目前X86架构的性能越来越强大，这也促进了分布式存储的发展，传统的观念中，还是觉得SAN存储拥有更好的IO性能，分布式有更灵活的架构，不过现在随着硬件的提升，这两种方式之间的理论性能差距究竟有多大呢？有大神做过详细的对比吗？问题来自社区活动，由会员@潘延晟提出，来自twt社区众多同行的分享，欢迎大家参与交流，各抒己见。*“争议”栏目内容来自同行分享的一手体验和观察，仅代表个人观点

@cpc1989某保险公司存储工程师：

个人的一点看法：性能离不开应用场景，比如OLTP类应用，最重要的性能指标就是延时，其次才是IOPS，存储延时低，IO响应时间就短，数据库的并发就可以比较高，否则可能出现数据库锁等待，并发性能就出现了问题，除非再去应用逻辑上去优化；而一些大量的数据处理类应用，最重要的性能指标是吞吐量，吞吐量高，数据处理任务就能更短时间完成。

SAN存储的优势就是IO短平快，存储延时低，但其架构设计中吞吐量会有瓶颈存在的，但小IO的情况下，最高端的存储也是能超过千万IOPS，IO延时甚至小于0.1ms；分布式存储的优势是扩展性强，大容量高吞吐高IOPS，但是IO路径长，存储架构设计就决定了IO延时会是软肋，即使通过各种数据缓存机制来优化读写的延时，但性能稳定性还是存在隐患，会有性能抖动。

@赵海?技术经理：

首先，我觉得传统SAN存储之所以还是很多企业的主流存储是因为它的稳定性和安全性，性能并不是传统SAN存储最大的优势。

另外，本身对存储性能的衡量是有很多指标的，这需要POC说话。但是我们可以从原理上来解读一下他们读写的差异。对于传统SAN存储来讲，它的读写以Blcok为单位，通过盘头的元数据来记录Block的映射及变化。而分布式存储会有几种架构：

1.以对象存储为底层存储载体，以分布式协同算法来组织节点关系，以上层接口转换的方式来对接应用读写，可以提供Block、File、S3等各种存储接口。

2.以GFS为基本原型，底层为文件系统模式的存储结构，同样上层进行各种包装之后形成的可以提供各类存储服务的统一分布式存储。

从存储架构和组织原理上来讲，其实他们是有着各自擅长的存储场景的。比如对于结构化的表数据的读写来讲，其实直接的Block存储更适合应用的读写控制；对于以键值方式组织的数据结构，似乎更适合对象存储形成的分布式存储架构，而以文件为主的数据场景，如果不能以对象方式重构，那么文件系统架构的分布式存储似乎更适合。

总而言之，不同的存储有不同的优势和劣势，只要我们的应用场景选对了，那就是最优的选型。

@孙伟光中国金融电子化公司IT顾问：

这种实际对比的意义不大，各自应用场景都不一样。分布式存储没出现之前，还不是传统存储承受了一切。分布式存储的出现未必是传统的存储没落亦或是产品跟不上时代脚步。它更是这个传统san存储的有益补充，并非对立。互联网架构，开放式架构成就了分布式存储，但是分布式存储也不是万能的，他也解决不了当下所有的应用场景，两者互相补充。存储的出现一方面解决了性能问题，他的高可用性不应该被忽视，数据是企业的核心生命力，性能再好的存储丢一次数据，再好的存储性能，也终会被企业抛弃。

@王巧雷sino-bridge系统工程师：

个人觉得这个还是得看使用场景吧，否则没有一个标准，没有太大的可比性。

传统的SAN存储在结构化数据这块市场占有率一直还是挺高的，比如作为数据库存储。分布式存储也有自己擅长的方面，比如大规模的并行数据处理等，这都是近些年来逐渐发展起来的，传统的SAN存储可能也能做，但成本就不合适了。两者都有各自擅长的领域，还是看具体需求吧。

@某金融企业存储架构师：

现在分布式存储的IO能做到非常高，随便堆一堆就很轻松的几百万的IOPS，对于传统的SAN存储来说，需要高配甚至顶配的高端存储来对标，但是存储不仅仅是IOPS这一项指标。主要还是要看应用，如果是核心的业务，还是要上传统的SAN，主要还是要体现在稳定，安全，包括运维和容灾的体系架构，都已经形成了很好的优势，这是目前分布式存储不可替代的，即便成本很高，大家还是选择传统稳定的SAN。一些新兴业务，边缘业务，可以选择分布式存储，低廉的价格，很好的扩展性，包括IOPS，目前还没有听说谁家在核心业务上分布式存储的。

@huijx某银行系统架构师：

IO性能还是需要针对具体的案例来进行说话，不同的测试用例，两个存储得出完全相反的结果也不是不可能的。同样的测试用例，同样的存储，节点数/磁盘柜数量也会影响IO性能。所有谈论理论性能意义不大。

@潘延晟?系统工程师：

其实在传统环境里面这两种架构