网易流量计算服务平台架构实践.pptx

北京***建筑科技有限公司网易流量计算服务平台架构实践 标题文本 标题文本 标题文本 标题文本 标题文本 标题文本个人a绍???网易杭州研究院 大数据技术负责人首席架构师2010???????????????Aliyun StreamCompute(galaxy)???????????????????????????????????????????????? ?????????????????????? ??????????????01数据平台数据W务架构????网易新闻网易云音乐网易考拉网易云课堂PP????网易有数 / 网易猛犸数据存k计算服务????日志DaIabaHe直接导mpcb库PP网易大数据g系?????Azkaban???????????IDE?大数据应用开发层????????????????????Ranger????数据加工????Spark?????????Sloth????Hive数据计算统一资源管理与调度Yarn?????资源管理???????HDFS?Kudu??????HBase??????DQC数据存k??/?????Sqoop??/????NDC?DataStream????Kerberos数据集成?????? ??????????? ?JSON????? ?RDBMS??????Amber数据源自研系统与开源组e的结合流计算服务统一l数据服务/ADIh流计算服务化平台 通过增量计算的方式S来完成流计算f务 i用/QLhY开发方式S完n与离线/QLq 容S支持LiCdDL/jDiC/HJbFJeGy/haviCg/ GeIGacIiCg等复杂/QL功能OHive HpaGk iBpaAa hbaHel数据打通OO数bg系rS用户无需在U同的系统一[间OOjl数据同步统一l数据服务流计算服务U同组e组e[前S数据n增量同步O数据安n与权限一站式HD//Hive/IBpaAa//paGk等组e自动 权 限同步一站式的数据平台S数据地图 基于aBbaGi开发的一站式的统一部署S监 控S运维g系OO数据安n与权限一站式O支持到列级y的权限控制S支持数据自动加O密S即i被拖库S]U用担心敏感数据泄露02流计算服务化平台Sloth——????????/ADIh 特点DDL/QL级联 DiB表o联/QL开发 与离线/QLq容执行引擎 扩展AiCk增量计算模型1D HaviCg子句 多表JDiC/JbFJeGy2hDAe/Iage CDdeGeC与离线统一平台/ADIh 增量计算考拉要对所有商家按销售额jv类统计S销售额在[0 100]区间r的归Y一类S[100 200] 区间的的归Y一类Sd此类推S通过计算输t每个区间r的商家个数。这个f务可d用/QL定义YT-- stage1????????????INSERT INTO tmpSELECT seller_id, sum(payment) as total FROM source GROUP BY seller_id;-- stage2: ???????????????SELECT count(seller_id) as num, total/100 as range FROM tmp GROUP BY (total/100);/ADIh 增量计算输m数据/ADIh 增量计算离线计算/ADIh 增量计算流式计算/ADIh 增量计算增量计算/ADIhPyhHicaAPAaC2hDAe /Iage CDdegeC2hDAe /Iage CDdegeC2hDAe /Iage CDdegeC2hDAe /Iage CDdegeC1D—与Hive完nq容1DA—增量1DA自定义u数注s流计算开发平台/ADIh与开源的结合????????FlinkSQL?FlinkSQL????????????????????????? Sloth????StreamingSQL???Codegen?? runtime?????SQL??????????????? ????flink/spark/beam???feature????bug???flinkcalcite??Sloth???????03??????网易大数据平台未来规w得益开源 回馈开源/ADIh开源d/paGkY基础,LAPg系AiCkY基础的 实时计算g系新硬eQGP1SPGA）加速计算BaIch,LAP/IGaBiCg 统一计算平台0eCHDCGfADL DC YaGC实时算法平台