- 1、本文档共22页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
云原??数据平台架构演进——弹性、融合、开放顺丰科技蔡适择
CONTENTS?.背景趋势?.顺丰?数据平台架构升级三.顺丰?数据架构在内外部的应?实践四.后续规划
1背景趋势
顺丰简介-集团业务概览快递物流快运冷链快递医药同城即时配送仓配?体国际增值服务供应链综合物流其他业务丰巢 顺丰房托顺丰数科 丰泰产业园更多...数据截?时间:2022年12?31?顺丰是中国第??、全球第四?快递物流综合服务商,为客户提供国内及国际端到端?站式供应链服务。同时,依托领先的科技研发能?,致?于构建数字化供应链?态,成为全球智慧供应链的领导者。国内城市覆盖率99.4%335个地级市(含直辖市)国内县级覆盖率99.4%2,813个县区级城市国际快递及供应链业务覆盖98个国家及地区跨境电商包裹业务覆盖208个国家及地区2022年度年营业收?2,675亿员?数量162,823???中国服务全球
顺丰?数据平台应?简图?数据分析AI??智能区块链IoT万物互联智慧供应链智慧物流智能调度智能?控数据运营分仓预测智能调拨?数据平台
?数据平台发展趋势——数据基础设施湖仓?体价值逐渐被认可存算分离、云原?成为现代基础设施标准流批?体诉求越来越?
?数据平台发展趋势——数据管理成熟度曲线
2?数据平台架构升级
原有架构痛点1——存算?体超融合计算存储分离计算能?MPP分析类报表类CPUDisk定义?款通?机型存储能?计算能?CPUGPUFPGADisk存储——计算25G?络列存储压缩存储能?计算密集CPUHDD/SSD3D-Opt存储密集?数据集群的部署基本都将存储与计算融合在?起,导致:?法进?存储或计算的定向伸缩,造成资源浪费发?机器负载时会带来?量的数据复制,影响稳定性?数据服务的部署受限于本地IDC的事前规划,?对?峰往往需要提前预测及备?服务器,机器采购、搬迁、上架、环境安装等均需要耗费?量的精?与时间,资源的弹性伸缩能?严重不?,造成资源浪费。
原有架构痛点2——数据孤岛湖仓分离技术组件独?多云数据中?数据时效性不?以天级为主,?时级为辅数据?致性不?湖中的更新不?定覆盖到仓半结构化数据?持弱半结构化数据难以被分析应?到跨源联邦分析难以满?数据冗余数据?致性不?跨云数据融合分析难以满?不?致的?户体验,使?成本?元数据独?,找数难数据跨境安全保障低Clickhouse顺丰可?区(顺丰云)新加坡可?区(GCP)?户数据 业务数据业务系统BDP?户数据 业务数据业务系统BDP
原有架构痛点3——?产容灾分离存储-HDFS存储-HDFS?产环境容灾环境DISTCP空闲Slot空闲Slot计算资源池空闲Slot空闲SlotSparkSlotFlinkSlotMRSlotPrestoSlot计算资源池...容灾??双活?产、容灾数据?实时?致,任务?法做到?感切换资源浪费容灾计算资源闲置浪费数据?致性差容灾和?产数据?法保障实时?致,维护成本?
弹性融合?数据平台整体架构产品整体上分为四部分,包括弹性资源层、融合计算层、数据洞察层和安全中?。产品?标是为客户提供极致弹性、?感、安全、简单易?的云上数据服务数据洞察层数据集成IDE任务调度数据直通??站式数据?场数据管理平台数据建模数据质量数据?缘主动元数据数据权限管理数据应?平台丰景台 数据服务数据?户数据市场隐私计算数据安全融合计算层实时数仓CDC深度整合 多模索引优化深度定制Hudi表格式元数据管理统?SQL跨源联邦查询 计算下推加速深度定制SQL解析器CodeGen湖仓?体统?Catalog 类型?动推断StaticDynamicPruning弹性资源层对象存储/HDFS存储/混合存储弹性资源调度(ECS/k8s)?业云(?融、政务)公有云(AWS、GCP、Azure、阿?云、腾讯云、华为云)本地私有云数据中?权限认证加解密脱敏?印合规审计KMSShared-nothingCacheRemoteShuffleService资源弹性伸缩策略管理
核?能?1——资源弹性伸缩计算统?SQLJDBCServer认证 SQL解析 鉴权下推RBO资源管理Session管理查询优化CBO引擎管理统?元数据服务Catalog适配器Hive Flink Spark统?数据语?,便利引擎升级K8S-CCEspark-executor-podCache-pod新机房计算资源池spark-driver-podK8S-CCEspark-executor-podCache-pod?机房计算资源池spark-driver-podCache-pod公有云计算资源池K8S-CCEspark-executor-podspark-driver
文档评论(0)