企业数据治理之数据算力治理方案.pptxVIP

企业数据治理之算力治理方案

算力治理-问题分析存量任务数量多、增长快，平台上有大量异常（或无效）任务新增任务无“查重”检测机制，平台存在冗余或相似任务存在没人使用（无价值）的任务，长期空跑平台缺乏任务治理产品数据倾斜等慢任务，缺乏诊断工具，优化工具 计算引擎以MR/Tez为主，Spark引擎使用占比不足5%，算力利用效率不高缺少算力量化指标，任务价值量化算力使用粗放，资源成本意识弱算力使用需要精细化运营专项一：提高有效算力占比①获取无效任务（异常、冗余）②建立治理规则引擎③效果评估④建立“识别-治理-分析”闭环产品专项二：提升平台计算资源利用效率①Hive-Spark迁移工程②hive优化诊断工具③任务分发④在离线混合部署专项三：建立算力增长可控体系①算力量化、任务价值量化②治理效果评估③算力/任务健康度监测④算力管理、资源拆分

算力治理-整体架构提升有效算例占比提高算力能效集群计算引擎升级 tez spark在离线服务混部在离线物理集群划分分时错峰复用资源调度底层功能算力采集算力量化任务日志收集任务日志解析支撑单任务诊断工具工具链路任务诊断工具功能无效任务下线问题任务识别重复计算识别相似任务识别报警推送系统报警推送任务白名单用户问题任务优化重复计算缓存相似任务合并核心任务保障API数据地图奥丁 ……数据来源任务价值