存算分离架构发展趋势解读.docx

?

?

存算分离架构发展趋势解读

?

?

来自twt社区同行交流，欢迎更多同行参与交流

存算分离架构是否会成为主流架构？

随着软件定义存储的不断发展，越来越多的开源分布式数据库在特殊的数据存取领域站稳了脚跟。而这些百花齐放的解决方案，不免让大家眼花缭乱。企业的IT架构是否会随着这些技术的发展而呈现革命性的变化？存算分离架构是否会成为开源分布式数据库发展下的主流架构？

问题来自社区会员，探讨来自twt社区众多同行的分享，欢迎大家参与交流，各抒己见。*“争议”栏目内容来自同行分享的一手体验和观察，仅代表个人观点

@某金融企业机构师：

只能说，存算分离是大数据架构演进的重要趋势。

下面采用一些官方的报告。

Hadoop1.0时代，计算和存储是高度融合，仅能处理单一的MapReduce分析业务。

Hadoop2.0时代，计算层与数据开始解耦，通过Yarn实现了独立的资源管理，并开始支持Spark等更多的计算引擎；而如今来到Hadoop3.0时代，计算存储已分开演进，通过HadoopEC来支持冷数据的存储，同时引入外置存储，如S3，增强其存储底座能力，逐步向数据湖架构演进。

Hadoop3.0时代，计算正向轻量化和容器化方向发展，计算存储分离演进已成为事实。计算存储分离后，我们用企业级的存储基座替代原来的原生大数据存储基座，好处是可以把当前企业级存储的先进技术带入到大数据里面来，如高可靠、高利用率、多协议融合等，更好地释放数据的价值。

@light_hu86某省金融系统工程师：

也不能一概而言，根据业务的规模，使用场景的不同，业务类型的不同进行综合考虑。

@JerryMisky金融银行存储架构师：

纵观过去的20年，我们在算力、网络、存储方向的发展上都有了质的飞跃，然而横向对比却又不难发现三者并不是等效发展。网络，从此前主流100Mb到如今10GbE就绪，甚至迈进25GbE、40GbE，赶超了100多倍；存储，HDD硬盘的性能提升虽然没有网络的大飞跃，但得益于SDD制程和工艺的迭代，存储领域也有了相当显著的进步，NVME的应用已经炉火纯青；而回到算力上，即便是处理器工艺已经迈入7nm，算力的提升也远不及前两者的跨越。非平衡的三元演进趋势，加之数字化转型中不同阶段衍生出的差异性需求，迫切的期待创造一个更加随心的架构形态。

存算分离架构（DisaggregatedStorageandComputeArchitecture）似乎更像是当下的众望所归，充分契合如今的信息技术格局与各行业务境况，其得天独厚的优势也相得益彰：

更灵活的选择。计算资源与存储空间的配置互不制约，即使身处在形态各异的业务场景，都可以因地制宜构建个性化的配比，充分匹配业务的每一项资源要求。

更高效的扩容。计算资源先达到瓶颈？存储空间先达到瓶颈？都能够进行独立、按需扩容，持续保障存算资源的高效使用，杜绝存算一体扩容时带来的资源浪费。

更安全的隔离。存、算各司其职，形成逻辑隔离。计算节点不再承担数据存储，计算节点动态增减甚至是故障宕机，无需大量数据的迁移，丝毫不影响数据存储的可靠性与完整性。

@某银行架构师：

需要区分具体场景，一般来说存储与计算均衡发展的场景，尤其虚拟化场景，超融合已经是确定的趋势，如果是存算发展不均衡的情况下，比如计算密集型的高性能计算或者存储密集型的视频监控，肯定还是存算分离的。

分离式部署的优点：计算资源利用率低，存储资源利用率高。

超融合部署的优点：计算资源利用率高，存储资源利用率高。

根据两者优缺点，结合实际场景有针对性看待。

@radiumguo英特尔ITS：

存算分离，分别进行开发和优化肯定是个趋势。因为分布式计算架构，云架构是个趋势。

有些传统的系统和应用，原来使用OS级别的存储管理能力，扩展性的不够的，无法匹配集群化分布式计算架构发展，所以需要独立的分布式的软件定义存储管理系统。

有些厂商能力较强，分布式计算和存储都可以做的很好，又有很好的整合能力，提供存算一体的方案也不是落后的表现。

@cpc1989某保险公司存储工程师：

从架构上来看，存算分离将计算和存储分层、解耦，扩展性更好，可以适应不同的场景需求；

但计算存储整合在一起也有好处，架构更加简单，更易落地，资源利用率更高，也有适合的场景。

@Ocean_华为IT技术咨询顾问：

对于大型数据中心而言，计算量和数据量巨大，计算和存储分离能够带来显著的优势，如计算和存储单独扩展，需要计算扩计算节点，需要存储扩存储节点，非常利于大型数据中心的管理运维。其次，计算和存储分离之后，对整体系统的可靠性也是有好处的，计算侧不用在为数据的可靠性担心，这些能力都有独立的存储层提供，计算可以更加关注以为解决业务问题，而不是投入太多精力在数据不丢失，访问