（讲义）大数据平台架构：美团大数据平台架构执行分享.pptxVIP

美团大数据平台架构演进过程与最新进展 目录美团大数据平台架构平台演进时间线近期挑战与应对平台化思路总结 数据体系组织架构基础数据部数据接入碱些到店综合酒店旅游猫眼电影外卖配送广告平台分析师分析师分析师分析师分析师分析师数据数据数据数据数据数据［流式计算BI产品［离线计算［数据挖掘幵券平台美团云■基础设施 美团数据流架构图数据流式计算B产品接入1离线计算1数据挖掘幵发平台 美团数据流架构图HBase业务DBStorm流式计算查询中心SQL解析鉴权ODSlog业务日志APPoriginaLdborigin al_xxHive on H^cIood :配置中心□ O |ETL (Sq I Weaver)事实Bl产品平台Camus数据拉取聚Flqgie Jp日志收集日志麼析original JogcanalBinary log 收 Kafka消息队列DMmart xx ba xxx［自助查询I［指标提取:流量矩阵］天机系统!MIS报表j4DM DB、基础层衍Hive Mysql Presto〔系解析〕调度系统［依赖关］ Reload 、管理’基础数据挖掘图像数据处理数据挖掘 业务数据挖掘1k 业务服务数据开放平台［日志管理］［W武讦算］［ETL开发］［离线任务托管］［资源管理］［数据质量中心］数据 分析师业 务 服 务己数据开发者 数据接入与流式计算f2务D3Storm流式计算ODSg业务日志聚合original_dboriginal_xx衍生Camus 数据拉取八日志解析基础层(IcanalBinary log收 Kafka消息队列Flume百恚敢集丨维度表dirr业务服务 数据收集特性日志型数据多接口支持关系型数据基于Binlog获取增量消息队列集中化分发支持多下游850+日志数百万+峰值每秒消息接入 流式计算平台特性测试幵发平台化拓扑幵发框架延迟统计与报警拓扑间依赖关系解析1100+头时拓扑秒级别实时数据流延迟 流式计算平台DataOpenPlatform ETL^ Hadoop^ Querier^ Scheduler? 敏据接入?Storm▼ HBase* DLM^ 谢语宸［退出］拓扑管理作业状态注册作业Kafka TopicsStorm Wlkl管理员菜单篥群管理机器管理LogParserlf 理Kafka2E S 管理我的Review 配置管理集群维护Topic依赖指标管理作业基本配置O爪本配置4线上配置f 试配置?线上版本 ^Metrics ■日志■历史冬依勅。延迟类型Storm $ App i 名称test_tp_cyzGit仓库 ssr)://gltO/data/stormapp.git相对目录ZTopologyMaxMln组统架构 美团/篥团版术工程及基础數据平會/北京技术工程部/敷据组/敷据平台组用户组data QchenyuzhaoO负责人邮箱O调度状态启用i o报警方式/大象/邮件?修改基本配置 离线计算RSQL解析丫 鉴权］ODSDW维度表dimgDMmart xxba xxx基础层Hive MysqlPresto KylinAPPoriginal dboriginal xxHive on Hadoop?丁1?Camus 数据拉取日志解析originaUo,事实4/f上聚4匚总DM DB 离线计算部署架构平台应用层SparkPresto计算引擎层HDFSYARNHive Meta基础服务层:在线::OLAP ”数据仓库数据挖掘Adhoc ::业务?:分析构建 ，::、机器学习貝查询:?Cloud TableKylinHiveHBaseMapred 离线计算平台特性咼可用，咼可扩展多计算框架支持数据仓库开发模板42P+总存储量I50K /天任务数2500+节点,3机房统一名字空间I6K数据仓库数据表数 444546target ■ (db: META( hmart movie * ] 9 ##一箪引号中填写目标炭所在库* table x ,dctftil_order_doal_info* 9 ?■单引号中壊与目4^%名)LoW#if $isRELOADset hive.exec.dynamic.partition.mode-nonstrict; set hive? cxoc? dynamic.partitiontrue;set hive. exec ?max? dynamic ? partitions-10000;set hive?cxoc?max.dynamic?pArtitions?pernode-1000; set hive?exec.reducers? max ■1000;set hive.exec.max.created.files-10000; set hive emerge.mapfi