《QCon上海二零一六-在Spark上构建硬件加速的分布式神经网络架构-王奕恒、黄晟盛》.pdf

在Spark上构建分布式神经网络 王奕恒 Intel, Big Data Technology 1 2015-6-3 2015-6-3 Agenda • 背景和概要介绍 • 通用计算平台上的性能优化 4 4 Agenda • 背景和概要介绍 • 通用计算平台上的性能优化 5 5 神经网络 Artificial Neural Network 外部输入 神经元 认知 神经网络与神经科学的关系 • Biological Inspiration • 最初的研究动机： 解决问题/研究人脑 • 现代的“深度学习”和神经科学的关系已相对较远 Perceptron：最基础的神经元模型 • 本质上就是线性模型叠加非线性activation 向量内积 MLP – Multilayer Perceptron 多个Perceptron组合成网络 (无环，feed-forward) 向量矩阵相乘 6 卷积神经网络 Convolutional Neural Network 一种特殊的神经网络形式——可以处理已知的、具有网格状拓扑结构的数据（根据卷 积操作的特性) CNN在实践中已经有非常成功的应用，特别是在图像识别领域。 ImageNet image classification result Year Error Rate … 2011 26% AlexNet 2012 15.3% GoogLeNet 2014 6.6% State-of-art 2015 5% AlexNet for ImageNet Classification 2012 Pixels Edges Object Parts Object models Illustrations from Andrew Ng. CS229 7 7 Spark上神经网络的支持 Spark 1.5开始支持 • MLP的实现在spark.ml （ spark.ml.MultilayerPerceptronClassifier ） • 数据接口基于spark的DataFrame • Layer, error, activation等基本功能在ml.ann.Layer • Optimizer和Evaluation主要实现在mllib，和其他算法共享 • Some docs: /docs/latest/ml-ann.html 8 MNIST 手写