架构师-机器学习实践.pdf

1 架构师特刊：机器学习实践 卷首语 机器学习，趁着近年来深度学习的热潮强势复苏，很快地从一个很少被 大众关注的技术主题，转变为被很多人使用的管理工具和开发工具。其有效 性被无数企业成功验证并推广应用，为了避免错失良机，企业需要设计自己 的机器学习项目，比如在电商平台的推荐、排序业务中。在业务的多样性大 的时候企业就需要考虑将机器学习系统平台化。对于学术界来说，学者们除 了看重算法性能和运算效率之外，也希望机器学习平台容易调试、灵活性要强、 迭代要快；而对于工业界更看重的是平台的稳定性强、处理大数据量、容易 进行数据整合、高效率、低开发成本等。 InfoQ 实际上已经积累了不少企业机器学习平台构建的内容，包括百度 的 PaddlePaddle，腾讯的 Angel 等。还有大规模机器学习平台，如第四范式 的“先知”和TalkingData的Fregata，各有优点。 2 架构师特刊：机器学习实践 Tensorflow 深度学习框架也应该开源一年了，经过了广泛应用和验证， 本电子书里也收集了 一 篇 将 Tensorflow 应 用 于 企 业 实 践 中 的 内 容。 另 外 还 有 将 Deeplearning4j部署到生产环境。 机器学习企业实践也是少不了的，这些是将机器学习研究转化为真正的 生产力，为用户带来实际价值，如：Twitter 机器学习平台的设计与搭建、 机器排序学习在 1 号店电商搜索中的实战、百分点基于机器学习方法对销售 预测的研究等等。 InfoQ 由社区推动，这里的内容源自像你一样的专业技术人，欢迎大家 投稿机器学习的相关实践内容：editors@，促进大家共同进步。 InfoQ 编辑 Tina 架构师特刊：机器学习实践 3 目录 05 深度学习框架 TensorFlow 在 Kubernetes 上的实践 13 百度 PaddlePaddle 深度学习平台介绍 25 第四范式大规模机器学习先知平台的整体架构和实现细节 53 轻量级大规模机器学习算法库 Fregata：快速，无需调参 67 Twitter 机器学习平台的设计与搭建 83 机器排序学习在电商搜索中的实战 95 基机器学习方法对销售预测的研究 4 架构师特刊：机器学习实践 深 度 学 习 框 架 TensorFlow 在 Kubernetes 上的实践 作者 郑泽宇 什么是深度学习？ 深度学习这个名词听了很多次，它到底是什么东西，它背后的技术其实起源 于神经网络。神经网络最早受到人类大脑工作原理的启发，我们知道人的大脑是 很复杂的结构，它可以被分为很多区域，比如听觉中心、视觉中心，我在读研究 中心的时候，做视频有计算机视觉研究室，做语言有语言所，语音有语音所，不 同的功能在学科划分中已经分开了，这个和我们人类对大脑理解多多少少有一些 关系。之后科学家发现人类大脑是一个通用的计算模型。 架构师特刊：机器学习实践 5 科学家做了这样一个实验，把小白鼠的听觉中心的神经和耳朵通路剪断，视 觉输入接到听觉中心上，过了几个月，小白鼠可以通过听觉中心处理视觉信号。 这就说明人类大脑工作原理是一样的，神经元工作原理一样，只是需要经过不断 的训练。基于这样的假设，神经学家做了这样的尝试，希望给盲人能够带来重新 看到世界的希望，他们相当于是把电极接到舌头上，通过摄像机把不同的像素传 到舌头上，使得盲人有可能通过舌头看到世界。对人类神经工作原理的进一步理 解让我们看到深度学习有望成为一种通用的学习模型。 上图给出了神经网络的大致结构。图中左侧是人类的神经元，右侧是神经网 络的神经元。神经网络的神经元最早受到了人类神经元