赵兵-在离线混部在知乎的实践.pdfVIP

在离线混部在知乎的实践 赵兵 知乎大数据基础架构工程师 01 为何混部 02 如何混部 03 混部收益 04 未来发展 Part 01 为何混部 1.1 资源使用现状 在线资源利用率低 离线资源紧张 ，无法保证核心任务资源 如何降本增效 ，在知乎备受关注 具有潮汐现象 1.2 资源使用分析 用户对在线资源预估不准，资源申请量高于实际值，具有“占而不用”的现象 在线业务具有潮汐现象，按高峰值申请，低峰期资源浪费 夜间有大量的离线例行任务，任务资源申请不合理，资源紧张，产出不稳定 1.3 利用率提升 在离线混部 资源合理配置 容器化管理 降本增效 利用潮汐现象 资源合理申请 集群化管理 提升离线算力 在波谷时间段 自动扩缩容 合理规划资源 提高产出稳定性 运行离线任务 运行更多的作业 均衡调度 降低服务器成本 提升在线利用率 Part 02 如何混部 2.1 多云架构 问题 • 流量过大导致专线不可用 • 平台较多以及游离的客户机，如何实现调度 • 在线资源隔离 2.2 混部目标 专线带宽控制 在线磁盘不足 资源隔离 离线任务sla 防止带宽打满， 按优先级调度 影响在离线业务 容量小 防止影响在线服务 保障任务稳定性 合理的调度任务 无法满足shuffle cpu mem 容错处理 2.3 架构设计 2.4 在线yarn部署 • 夜间 1 点对在线业务缩容，7 点扩容， 物理机标记 label • RM 物理机部署，稳定且可观测 • NM 容器化部署，DaemonSet 部署 • 主机网络 or 非主机网络 • hostname or ip 2.5 任务调度 • 多个数据平台以及游离的客户机提交的 任务均可以被决策 • 可控性高 • 业务无感知 • 改造成本低 2.6 任务画像 2.7.1 决策服务 2.7.2 任务稳定性 专线带宽 任务优先级 集群资源 任务运行时常 Map 的 input 数据大小 优先调度低优先级任务， 在线 YARN 集群的可用资源 当前时间加上任务的 Reduce 的 output 数据大小 避免高优任务具有 小于 100GB 时， 耗时小于 7 点 shuffle 数据大小 被压制的风险 不在调度到在线集群 2.7.3 容错处理 • 出现事件热点 • 在线环境出现异常时 • 近 n 天任务出现过异常 2.8.1 资源隔离 组件名称