03.多协议融合的高性能高敏捷阿里云数据湖+3.0+演进实践-马骏.pdfVIP

多协议融合的高性能高敏捷阿里云数据湖3.0演进实践

阿里云对象存储和数据湖高级架构师/马骏

大数据存储架构演化

传统集中式共享存储SharedNothing存算分离架构

OracleRACHDFS数据湖

趋势背后的技术演进

•基础网络能力的不断提升

数据中心网络经过20年发展从千兆网络提升百Gbps网络

•架构设计理念的变化

从DataLocality到DisAggregation的理念转化

•云计算的发展

服务化的云存储、按需创建的计算资源给大数据带来充分灵活性

数据湖技术优势-与HDFS对比

数据多副本，空间利用率低

强耦合扩容，计算资源过剩生产环境分析平台

数据导入缓慢，无法得到实时洞察

数据反复搬迁，数据需要验证存储与计算耦合式的架构