02.⽹易互娱大数据平台出海上云架构设计与实践-柯维鸿.pdfVIP

⽹易互娱大数据平台出海上云架构

设计与实践

柯维鸿/网易游戏技术专家

个人简介

•网易互娱-数据与平台服务部

•离线业务负责人

•负责离线数据平台的整体构建和技

术演进

•提供数据存储、治理和查询

•上层数据产品构建

•支撑网易互娱游戏数据分析业务

目录

•海外⼤数据平台的需求现状与问题

•⼤数据平台存储⽅案选型

•网易互娱Hadoop海外多云迁移⽅案

•出海新架构的上线效果

•问题总结与展望

海外⼤数据平台的需求现状与问题

游戏出海的合规需求，紧急上线了存算一

体方案：

•节点机型：M5.metal

•存储:EBSGP3

•缺点：昂贵的成本

•优点：对历史业务完整兼容，上下游所

有业务都可以无缝快速迁移海外，支持

每天接近30w的作业调度

海外⼤数据平台的需求现状与问题

•大数据计算平台上云Hadoop方案：EMR+EMRFS、Dataproc+GCS

海外⼤数据平台的需求现状与问题

•大数据计算平台上云原生方案：BigQuery、Snowflake，Redshift

海外⼤数据平台的需求现状与问题

为什么我们没有