云原生大数据平台架构演进：弹性、融合、开放.pptx

云原??数据平台架构演进——弹性、融合、开放顺丰科技蔡适择

CONTENTS?.背景趋势?.顺丰?数据平台架构升级三.顺丰?数据架构在内外部的应?实践四.后续规划

1背景趋势

顺丰简介-集团业务概览快递物流快运冷链快递医药同城即时配送仓配?体国际增值服务供应链综合物流其他业务丰巢 顺丰房托顺丰数科 丰泰产业园更多...数据截?时间：2022年12?31?顺丰是中国第??、全球第四?快递物流综合服务商，为客户提供国内及国际端到端?站式供应链服务。同时，依托领先的科技研发能?，致?于构建数字化供应链?态，成为全球智慧供应链的领导者。国内城市覆盖率99.4%335个地级市（含直辖市）国内县级覆盖率99.4%2,813个县区级城市国际快递及供应链业务覆盖98个国家及地区跨境电商包裹业务覆盖208个国家及地区2022年度年营业收?2,675亿员?数量162,823???中国服务全球

顺丰?数据平台应?简图?数据分析AI??智能区块链IoT万物互联智慧供应链智慧物流智能调度智能?控数据运营分仓预测智能调拨?数据平台

?数据平台发展趋势——数据基础设施湖仓?体价值逐渐被认可存算分离、云原?成为现代基础设施标准流批?体诉求越来越?

?数据平台发展趋势——数据管理成熟度曲线

2?数据平台架构升级

原有架构痛点1——存算?体超融合计算存储分离计算能?MPP分析类报表类CPUDisk定义?款通?机型存储能?计算能?CPUGPUFPGADisk存储——计算25G?络列存储压缩存储能?计算密集CPUHDD/SSD3D-Opt存储密集?数据集群的部署基本都将存储与计算融合在?起，导致：?法进?存储或计算的定向伸缩，造成资源浪费发?机器负载时会带来?量的数据复制，影响稳定性?数据服务的部署受限于本地IDC的事前规划，?对?峰往往需要提前预测及备?服务器，机器采购、搬迁、上架、环境安装等均需要耗费?量的精?与时间，资源的弹性伸缩能?严重不?，造成资源浪费。

原有架构痛点2——数据孤岛湖仓分离技术组件独?多云数据中?数据时效性不?以天级为主，?时级为辅数据?致性不?湖中的更新不?定覆盖到仓半结构化数据?持弱半结构化数据难以被分析应?到跨源联邦分析难以满?数据冗余数据?致性不?跨云数据融合分析难以满?不?致的?户体验，使?成本?元数据独?，找数难数据跨境安全保障低Clickhouse顺丰可?区（顺丰云）新加坡可?区（GCP）?户数据 业务数据业务系统BDP?户数据 业务数据业务系统BDP

原有架构痛点3——?产容灾分离存储-HDFS存储-HDFS?产环境容灾环境DISTCP空闲Slot空闲Slot计算资源池空闲Slot空闲SlotSparkSlotFlinkSlotMRSlotPrestoSlot计算资源池...容灾??双活?产、容灾数据?实时?致，任务?法做到?感切换资源浪费容灾计算资源闲置浪费数据?致性差容灾和?产数据?法保障实时?致，维护成本?

弹性融合?数据平台整体架构产品整体上分为四部分，包括弹性资源层、融合计算层、数据洞察层和安全中?。产品?标是为客户提供极致弹性、?感、安全、简单易?的云上数据服务数据洞察层数据集成IDE任务调度数据直通??站式数据?场数据管理平台数据建模数据质量数据?缘主动元数据数据权限管理数据应?平台丰景台 数据服务数据?户数据市场隐私计算数据安全融合计算层实时数仓CDC深度整合 多模索引优化深度定制Hudi表格式元数据管理统?SQL跨源联邦查询 计算下推加速深度定制SQL解析器CodeGen湖仓?体统?Catalog 类型?动推断StaticDynamicPruning弹性资源层对象存储/HDFS存储/混合存储弹性资源调度（ECS/k8s）?业云（?融、政务）公有云（AWS、GCP、Azure、阿?云、腾讯云、华为云）本地私有云数据中?权限认证加解密脱敏?印合规审计KMSShared-nothingCacheRemoteShuffleService资源弹性伸缩策略管理

核?能?1——资源弹性伸缩计算统?SQLJDBCServer认证 SQL解析 鉴权下推RBO资源管理Session管理查询优化CBO引擎管理统?元数据服务Catalog适配器Hive Flink Spark统?数据语?，便利引擎升级K8S-CCEspark-executor-podCache-pod新机房计算资源池spark-driver-podK8S-CCEspark-executor-podCache-pod?机房计算资源池spark-driver-podCache-pod公有云计算资源池K8S-CCEspark-executor-podspark-driver