腾讯⼤数据能⼒输出之路.pptx

腾讯⼤数据能⼒输出之路 Agenda 概览 基础平台 任务调度云化 Part 01 概览 发展历程 2009 2011 2013 2015 2010 2012 2014 2016 TDW v0.1发布 搭建第—个hadoop集群➢ 智胜广告上线 发布腾讯大数据套件TBDS V1.0 TDBank上线 全面代替原有外购商业产品➢ 发布机器学习平台Tesla TRC正式开放 TDW开源 Gaia单集群实现8800台 Docker on Gaia发布 TPR全实时流程上线➢ 上线2500台Spark集群➢ 大数据私有云平 台数智3.0发布 云市场细分 私有云 公有云单租户 公有云多租户 大数据平台能力 数据敏感性客户 免运维、弹性需求客户 成本极敏感、数据融合诉求 数智⽅略产品家族图谱 数据分析引擎 机器学习引擎 离线计算 多维分析引擎 资源调度管理(CPU、GPU) 搜索 MPP 分布式存储(HDFS、Ceph) Angel Mariana ML Graph 数据接入引擎 大规模任务调度 Tesla 实时计算TDP/Spark Streaming GE数据可视化 文智NLP 开放推荐 洞察分析 热力图 语音识别AAI 优图识别FR 小云客服ICS 舆情 iData游戏大数据平台 MTA移动分析平台 灯塔移动运营平台 信鸽Push 地图位置大数据 更多 数智 方略 行业产品 —站式、全流程大数据服务平台 数智产品特点 ● 高度集成化，接入、存储、离线/实时计算、机器学习、可视化展现服 务 提供可拖拽式的支持分钟级调度的任务调度系统 提供高性能多维分析引擎 提供全局设备、组件、任务纬度的运维系统 数智产品优势 —站式 门户 30+ 深度优化组件 统—数据 安全管控 源于社区，完美兼容，平滑过渡 全开放 API 数智家族图谱 用户开发及应用系统 洛子任务调度 IDE IDEA 黄金眼 数据采集 TDBank 算法应用平台 Tesla 图计算 机器学习 Angel Mariana 流处理 Stream SQL 多维分析 Hermes 分布式数据库 PGXZ 批处理 MapReduce Spark Pig 流式计算 TStorm 资源调度管理 DockerOnGaia(GPU、CPU) 分布式存储 HDFS Ceph KV系统 HBase TDE 数智⼤数据平台架构 管理控制台 服务器 大数据套件 组件层 腾讯自研 社区改造版 社区版本 公有云 私有云 非云化环境 大数据套件 服务层 统—日志中心 统—权限管控 组件协调器 Rest API 运行时/工作流管理 部署 .!I控 数 Lhotse任务调度 PGXZ HIVE PIG EasyCount Spark MapReduce TStorm HDFS Kafka/Tube DockerOnGaia TDE Hermes HBase TPG 黄金眼 报表展示 据 接 入 TDB ANK TRE 广告推荐 处理能⼒ Gaia 业务 在线 系统 存储 MR 数据产品 精准推荐/秒级.!I控/多 维分析/用户画像/… 数据接 入 7万 亿条 2资0源0调0度0台 HDFS2/P5G0/HPBase/ … 离2线0计P算 5实万时亿计算 TRC 条 任务 5调0度0万次 工 作流 Lhotse 3数0据0分亿发次 Part 02 基础平台 ⽭盾点 1. 资源管理 YARN vs I层(Infrastructure) 数据存储 HDFS vs I层(Infrastructure) 云基础设施 14 Cluster Operating System(GAIA) Docker Daemon Docker Daemon Host OS Host OS Server(PM/VM) Server(PM/VM) Docker Daemon Host OS Server(PM/VM) Docker Daemon Host OS Server(PM/VM) Batch job HPC MPI ONLINE STREAMING SERVICE monitor deploy Docker on Gaia 腾讯Gaia运营现状 p 8800:单集群节点数 p 20w+:调度能力覆盖20w个核 p 8k:作业并发度数 p 2500:资源池个数 p 0.2ms:container平均调度匹配时间 p 1.3亿:日运行container数 p 120w: 日运行作业数 p 95%:峰值vcore、memory使用率 DockerOnGaia解决什么问题？ 资源共享 异构环境共存 动态扩缩容 容灾容错 自动化运维 —键式部署：申请资源后提交app，剩余事情交给dockerongaia 用户聚焦业务 灰度运营 以contain