大规模机器学习在阿里的应用.pptx

大规模机器学习在蚂蚁+阿里的应用主要内容1设计理念2应用场景3展望未来Big Data Era每天30亿query, 300亿served广告，30万亿indexed网页全球超过14亿用户，每天分享43亿内容每天产生4.3亿Tweets每天App下载量~1亿?一年产生86亿包裹，每天2356万个?2015年双十一当天共产生7.1亿笔支付Big Data Era—how to use data?用户在不同场景下有不同的相应，结合这些数据，通过机器学习得到 模型，然后进行智能决策（个性化推荐、搜索个性化等）Big Data ? Big Model训练数据：1T—1P特征：百亿—千亿级别样本：百亿—千亿级别Sibyl: A System for Large Scale Machine Learning at GoogleBig Model ? Distributed Learning System在大数据上，利用机器学习从中学习到知识，是人工智能取得突破的 主要手段，也是系统架构师面临的重要挑战之一许多模型和抽象先后用于这一任务：早期的MPI，后来的MapReduce，当前使用较多的Graph 、Spark等Distributed Learning SystemCombine the complexities of machine learning with system designDistributed Learning System(Cont.)MapReduce：迭代式计算低效，节点之间通信效率不高MPI：无法支撑大数据，任意节点挂掉，任务就失败Graph：用图来做抽象，类似深度学习无法高效求解，只能同步，不 支持异步Spark：通用框架，高维度 + 稀疏数据支持不够综合考虑Fault Tolerance、Straggler等因素，性价比高的选择? Parameter Server大规模机器学习框架—Parameter Server（参数服务器）机器学习的核心竞争力和技术壁垒之一使用大数据（1T—1P），快速训练，迭代优化需要考虑failover、通信/计算效率、收敛速度等多个特性原有的MPI系统(存在稳定性、成功率等问题)当超过1000 Worker instances，– 成功率 30%稳定性差，浪费大量资源（费用）Parameter Server 框架-RolesParameter Server相对MPI的优势：Server Nodes…Paramet erParamet erParamet erBuilt-in Failover vs. no Failover (Robustness)Multiple Servers vs. Single Server (Model Scalability)Asynchronous Support vs. Synchronous Communication only (Faster Convergence)Sparse Representations vs. Dense Representation (Memory Communication Efficiency)? Overall: Large Scale vs. Small and Medium Sized DataModel (Scalability)CoordinatorData Workloa dData Workloa dData Workloa dData Workloa d…Worker NodesServer Node：模型分片存储Worker Node： 数据分片存储Coordinator： 总体流程控制Parameter Server 框架： Roles in detailsCoordinator迭代控制Failover管理、checkpointServerDistributed key value store一致性hash，进行模型分片Worker数据分片（加载表的不同行）实现Compute（Gradient等）接口Parameter Server 接口抽象两个基本的APIPull：从Server上拉取Weight到本地Push：将本地Weight 推到Server上SparseSparseParameter Server Updater: Bulk Synchronous ExecutionParameter Server Updater: Asynchronous ExecutionParameter Server Updater: Bounding StalenessParameter Server—小结同步、异步、有界异步等，提高资源利用率稀疏、压缩等，降低通信流