6-1 基于GPU的超大规模离散模型训练框架PaddleBox、FeaBox.pdf

基于GPU的超大规模离散模型训练框架 PaddleBox、FeaBox 焦 学 武 百度 主任架构师 / MEG商业模型中台技术负责人 2021年10月 @DataFunSummit 主要内容 •  PaddleBox、FeaBox是什么 •  凤巢CTR模型算法及框架演进 •  PaddleBox ：基于GPUBox的大规模离散模型训练框架 •  FeaBox ：基于GPUBox的一体化特征抽取框架 •  PaddleBox、FeaBox在百度的应用情况 PaddleBox、FeaBox是什么 •  PaddleBox ：基于GPUBox的大规模离散模型训练框架 –  业界首个全GPU的大规模离散DNN训练的模型训练框架 –  单机支持千亿维特征、万亿维参数 ，模型 10TB ，覆盖排序和召回场景 –  多机线性扩展 ，加速训练、支持更大样本和更大模型 –  低成本、高性能、高稳定、灵活易用 ，相比MPI具备5~40倍性价比提升