云原生环境下的新型超融合数据架构.pptx

云原生环境下的新型超融合数据架构

目录CONTENTS云的机遇与挑战MatrixOne架构介绍MatrixOne最佳实践案例?

K8S与容器的统一平台已成为必然趋势2007:萌芽2010:试探使用门槛比较高平台绑定性强应用可移植性差解决了平台API依赖问题用户代码无需修改即可运行所支持语言非常有限2013:喷涌2016:成熟开源PaaS井喷式爆发易用性、功能性有待增强所支持语言方面还有所限制云原生概念得到阐明易用性/兼容性/应用可移植性/多语言支持/DevOps/应用生命周期管理和开源社区支持等方面都充分成熟随着云原生技术栈主流方向明确，K8s已开始统一无状态应用层,但是数据层呢？

趋势1: k8s+S3+Serverless正在成为数据架构的新范式数据来源：CNCFAnnualsurvey2022数据来源：VMWarestateofKubernetes2022更高的资源利用率超强扩展性和灵活性极快开发运维效率适应多云及跨云环境CloudOS ServerlessComputing数据来源：CNCFAnnualsurvey2022按需计费降低成本 自动扩展简化运维 完全专注业务开发 缩短创新项目周期ObjectStorage2006--2023（等同于云计算历史）无限扩展能力11个9的超高可靠性Kubernetes逐渐纳管数据技术栈Serverless正在成为新的计算资源管理方式极简API操作 极低存储成本对象存储早已成为事实的存储标准

趋势2: 数据处理需求向统一融合和多模发展趋势湖仓一体流批一体HTAP数据湖：数据难使用，运维难度高，兼容多种数据格式，开发灵活度数据仓库：数据易使用，运维难度低，可拓展性强湖仓一体：大规模异构数据，可拓展性强，运维简单分离处理：数据链路冗余、冗余储存；维护成本高；数据口径不一致，易产生误差流批一体：既能做离线分析处理（存量数据），也能做实时分析（增量数据）OLTP：系统快速及时，数据分析能力弱，安全性高，可靠性高，数据不易丢失OLAP：吞吐量高，可分析不同来源数据，安全性低HTAP：既能支持规模事务，又能支持规模数据处理，还能保障数据完整性湖仓一体数据湖数据仓HTAPOLTPOLAP流批一体流处理批处理巨头动向驱动力Gartner/IDC早已将大数据和数据库合并成数据管理系统（CDBMS）

用户想要一个什么样的数据库？MatrixOne介绍分布式超融合云原生数据库存算分离，线性扩展HTAP+Streaming面向云基础设施（K8s+S3）MySQL8.0兼容从零开始，30个月，百万行代码开放开源，行业独创

极简/极速的数据应用开发on(K8s,S3)asServerless

Cloud Native Computing Resource按需使用，按量计费（近乎）无限资源（几乎）覆盖所有规格根据负载调整硬件配置自动弹性伸缩Infra扩展性无上限（那应用呢？）

Cloud Native Storage

Cloud Native Data InfraMatixOne+k8s让云无处不在事实标准：公有云、私有云、混合云统一API：计算、存储、网络自由扩展：自定义API/控制器（Operator）面向云基础设施对象存储：高可靠+无限扩展动态资源：自适应负载变化，Serverless繁荣生态：多云支持，云边协同KubernetesMatrixOne

MatrixOne架构无上限的Infra计算层任意伸缩低成本补上对象存储短板事务层轻量、高可用充分发挥潜力全量数据存S3全局共享，无限扩展

MatrixOne架构-事务层事务日志，就是数据库LogServiceRaft3副本（贵？）需要块存储（EBS）轻量：仅处理AppendTxnLog及时checkpoint，只需要很小的EBS容量TN,TransactionNode决定事务是否可以Commit轻量：不参与复杂计算无状态实现AvailabilityDurability

MatrixOne架构-计算层CN,ComputeNode所有计算工作，约束检测自由伸缩、支持异构写:自适应优化TXNWriteBatchWrite读:S3+LogtailMVCC/SnapshotRead多级缓存MPP

MatrixOne架构-存储层

MatrixOne Cloud云服务需求HighlyDis