构建端到端的联邦学习Pipeline生产服务.PDFVIP

构建端到端的联邦学习Pipeline生产服务 曾纪策 微众银行人工智能系统架构师 jarviszeng@ / /WeBankFinTech/FATE 1 研发背景介绍 目录 2 高弹性联邦学习Pipeline调度 CONTENTS 3 联邦学习任务可视化 4 高性能联邦学习在线推理服务 2 01 背景介绍 3 运行到哪一步？ 数据输出 指标输出 跑完了吗？ L o s s 、A u c 等指标趋势 有没有需求是看日志不能解决的？ 在这里单击需要的关键词 如果有，那就加几行日志！ 启动多方任务 1 2 各方的运行状况 多方日志、排查问题 4 3 多方任务管理 02 高弹性联邦学习Pipeline调度 8 • DSL Parser: 非对称DAG DSL解析器 • Job Scheduler: 联邦任务DAG调度器 • Federated Task Scheduler: 联邦任务DAG节点 协同调度中心 • Job Controller: 联邦任务控制器 • Executor: 联邦任务执行节点，Operator容器 • Tracking Manager: 任务输入输出实时追踪器 • Model Manager: 联邦模型管理器 dataio_0 dataio_0 intersection_0 intersection_0 federated_sample_0 federated_sample_0 hetero_feature_binning_0 hetero_feature_binning_0 hetero_feature_selection_ hetero_feature_selection_ 0 0 federated_transform_0 federated_transform_0 hetero_lr_0 hetero_lr_0 evaluation_0