大规模分布式机器学习系统设计与应用经验分享.PDF

大规模分布式机器学习 系统设计与应用经验分享 涂威威 涂威威大规模分布式机器学习系统设计与应用经验分享 1 目录  机器学习系统  大规模分布式模型训练框架设计  机器学习实际应用的常见陷阱 涂威威大规模分布式机器学习系统设计与应用经验分享 2 机器学习系统  机器学习的经典定义  典型的机器学习应用过程  机器学习的核心系统 涂威威大规模分布式机器学习系统设计与应用经验分享 3 机器学习的经典定义  利用经验改善系统性能  经验 数据  机器学习无处不在  搜索与推荐  生物特征识别  自动驾驶  军事决策助手（DARPA）  … 涂威威大规模分布式机器学习系统设计与应用经验分享 4 典型的机器学习应用过程（广告点击率预估系统为例）  问题定义：收入= 平均每次点击价格* 点击率* 广告展现量  应用过程：数据收集数据预处理模型训练模型服务 数据收集 模型服务 数据预处理 [Sibyl, Google] 模型训练 涂威威大规模分布式机器学习系统设计与应用经验分享 5 机器学习的核心系统 数据收集 模型服务 数据预处理 模型训练 涂威威大规模分布式机器学习系统设计与应用经验分享 6 大规模分布式模型训练框架设计  工业应用模型训练框架设计目标  开发效率：计算模型和编程模型的选择  执行效率：计算优化举例 涂威威大规模分布式机器学习系统设计与应用经验分享 7 机器学习在工业应用中的发展趋势 宏观特征（比如：年龄、性别等）  有效数据的增长 频  数据量：  ~ 度  特征维度的增长 长尾特征（比如用户ID等）  宏观特征（ ） 微观特征（ ~ ） 涂威威大规模分布式机器学习系统设计与应用经验分享 8 机器学习在工业应用中的发展趋势 机器学习算法在工业应用中的四个象限 宏观特征 微观特征 复杂模型 复杂模型 宏观特征 微观特征 简单模型 简单模型 涂威威大规模分布式机器