PMC张冬存储系统的发展、挑战与变革.docxVIP

PMC张冬：存储系统的发展、挑战与变革发表于2013-05-08 17:54| 次阅读| 来源CSDN| 0 条评论| 作者包研 /article/tag/pmcPMC/article/tag/%E5%BC%A0%E5%86%AC张冬/article/tag/%E4%BA%91%E8%AE%A1%E7%AE%97云计算/article/tag/%E4%BA%91%E8%AE%A1%E7%AE%97%E5%A4%A7%E4%BC%9A云计算大会摘要：过去几年，企业存储方案从DAS到NAS/SAN，从RAID卡到iSCSI、PCIe闪存卡，而随着分布式存储系统在互联网企业中大量应用，传统企业存储方案正在受到冲击。PMC资深产品拓展工程师张冬对存储系统面临的挑战进行了分析。 【CSDN报道】张冬在存储领域有多年的从业经验， 主持并参与过多项创新存储技术的设计，也是《大话存储12》系列图书作者。见到张冬是在PMC位于中关村的办公室，他告诉CSDN：传统的企业存储方案正在受到来自互联网企业主导的分布式存储方案的冲击，我们的聊天从存储系统的发展历史开始。图：PMC资深产品拓展工程师 张冬 CSDN：过去几年，从DAS、到NAS、SAN，从RAID卡到iSCSI、PCIe闪存卡，过去几年，企业存储技术经历了怎样的变迁？哪些应用直接带动了存储技术的变革？张冬：在2000年到2005年之间，DAS的方式如Raid卡、JBOD被比较广泛的采用。那时候企业的应用主要以数据库为主，还有ERP、邮箱、网站数据等等。但是，DAS是一个孤岛模式，那么从运帷的角度来看，早期一两台Server没问题。但当企业发展到上百台服务器时，对管理员的压力就非常大了。从2004年到2009年，DAS逐渐开始向SAN/NAS过度，在国内有广泛的应用，发展非常快。大型互联网公司在2006年以前也大量使用了SAN/NAS，此后渐渐向分布式存储过度。但这也不绝对，比如支付类应用依然使用SAN，这些应用对可靠性的要求更高，另外一些中小规模互联网公司依然在广泛使用传统SAN/NAS。CSDN：全闪存、未来甚至全内存计算的架构正在被部分用户所采纳，但是大型数据中心多数使用的仍是低成本存储介质，未来的全内存、全闪存技术在超大型数据中心的前景如何？从技术层面，有哪些瓶颈依然无法克服？张冬：从长远角度来讲，闪存肯定将成为替代品，但是不会很快。很多年前就有人说，磁带会消亡，磁盘代替磁带，闪存代替现在磁盘。但是现在来看这个周期远没有那么短，磁盘容量现在还在增长，4TB的磁盘也推向市场了，磁盘的容量还会继续往上升。现在都在谈大数据，数据量越来越大，各种数据搅在一起，是一个混沌的状态。最终将实现分层，比如快数据、热数据、冷数据。闪存、磁盘就有各自适应的场景。那些彻底不再用，但是又不扔的数据可以存储在磁带上。其实闪存相对机械盘的优点是非常多的，我特别强调故障率，目前从终端用户的反馈短期内来看，SSD故障率相对于机械盘还是有很大的下降，可靠性比较高。那么摆在SSD面前的问题就是成本、寿命和容量。现在，SSD厂商基本上都是在牺牲性能换取容量。早期SSD厂商力推SLC，的确提供了非常高的性能，但是容量很低。最后总结发现用户不敢用，因为大部分场景用不到太高的性能。基于机械盘的那些高端存储的IOPS也就是20万到40万区间，而一块PCIe的FLASH卡就能提供这个级别的IOPS。传统的高端存储系统花费了太多工作去将一堆极不可靠的部件组装为一个高可靠的单一系统，同时有相当一部分高端存储系统其实并没有存储多大容量的数据，用户最看重的其实还是其可靠性和性能。FLASH介质能用极少的部件提供较高的可靠性，而价格却远低于高端存储，在这部分市场，闪存的潜力是蛮大的，但是受多方面因素决定短期内还不可能有实质性影响。而SSD对中低端存储的冲击比较小，因为容量及性价比是中低端用户考虑的首要问题。全闪存的存储系统相当于外置存储系统中的机械盘替换为闪存，然后在软件层面进行性能调优，这种产品现阶段在市场中有一定的份额，适用于特定应用场景。CSDN：企业存储应用的两个趋势，一个是互联网，采取分布式，低成本，但做到稳定性，性能的保障。另一种，在企业级中的高端应用，通过SSD存储方案，保证可用性。张冬：目前是这样的，但是不保证将来不会发生变化。因为现在有些公司正在在把互联网的技术向企业去推动。CSDN：哪些行业正在使用分布式存储等互联网公司的技术？张冬：电信运营商、石油、媒体等数据量较大的行业有采用。CSDN：PMC能提供哪些个性化和定制化的方案，是否有一些案例可以分享？张冬：PMC作为一个部件厂商，提供了在数据存储的优化和定制化服务。比如Big Block bypass技术，当IO下来块数据体积非常大，就不缓存它，这个算法它会在内部完成识