TensrFlw阅读报告.docVIP

TensorFtow论文阅读报告 基本信息 题目：TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems 来源：Google Research 时间:2015.9 ：Marfin Abadi，Ashish Agarwal, Paul Barham TensorFlow是一个表达机器学习算法的接口，并且是执行算法的实现桐架。 使用TensorFlow表示的计算可以在众多异构的系统上方便地移植，从移动设备 如手机或者平板电脑到成千的GPU计算集群上都可以执行。该系统灵活，可以被 用来表示很多的算法，包括深度神经网络的训练和推断算法。也己经被用于科研 和应用机器学习系统在内的若干计算机科学领域或者其他领域屮，例如语言识 别、计算机视觉、机器人、信息检索、自然语言理解、地理信息抽取和计算药物 发现。 3?引言 基于第一代可扩展分布式训练和推断系统DistBelief的经验，构建了 TensorFlow 第二代大规模机器学习模型的实现和部署的系统。TensorFlow 使用类似数据流模型的计算，将这些计算映射到不同的硬件平台，例如使用包禽 一个或者多个GPU显卡的装有Android和iOS的单个机器，或运行在数百台 包含数千个GPU的大规模训练系统。拥有一个单一的系统可以扩展分布到众多的平台上可以大大简化真实场景中机器学习系统的使用，正如用分离的系统进行 大规模训练和小规模的部署，会产生巨大的维护代价和较差的抽象效果。 TensorFlow的计算被表示为含状态的数据流图，在让这个系统足够灵活能够快 速地实验研究中产牛.的新模型，并同时充分地提升产品级训练的性能和部署机器 学习模型健壮性。为扩展神经网络训练搞更大的部署环境，TensorFlow允许通 过复制和并行执行一个核心模型数据流图，使client简单地表达不同类型的并 行，依赖不同计算设备合作更新一个共享的参数或者其他的状态。对计算描述 的微妙变动可以使用较低的代价来达到和尝试很多不同的并行的法。对比 DistBelief, TensorFlow的编程模型更加灵活，性能也更好，支持在大规模的 异构硬件平台上训练和使用很多的模型。 主要技术 1、编程模型和基本概念 TensorFlow的计算由一个有向图描述，这个图中由一个节点集合组成。该 图表达了数据流计算，作出了一些类型的节点保持和更新持久状态和让分支及循 环控制结构类似丁 Naiad的行力方式的扩展。客户一般都会使用TensorFlow 支持的前端语言（C++或者Python）构建一个计算图。下图表示一段样例使用 Python构建并执行丫一个TensorFlow的计算图： import tensorflow as tf b = tf.Variable(tf.zeros([100] ) ) # 100-d vector, init to zeroes W = tf.Variable(tf.random uniform([784/100]-l/l)) # 784x100 matrix w/rnd vals Placeholder for inputRelu(Wx+b)Cost computed as a functionof ReluCreate 100-d vector for inputFetch cost, feeding x=inputx = tf.placeholder(name= Placeholder for input Relu(Wx+b) Cost computed as a function of Relu Create 100-d vector for input Fetch cost, feeding x=input relu = tf.nn.relu(tf.matmul(W# x) + b) C =[…] s = tf.Session() for step in xrange(0r 10): input = ...construct 100-D input array ? result = s.run(Cr feed一dict={x: input}) print step, result 下图表示结构计算图: ±r 〔ReLU 〕 t LAddJ LAddJ 在一幅TensorFlow闻中，每个节点(node)有一个或者多个输入和零个或 者多个输出，表示一种操作(operation)的实例化。流过图中正常的边(输出 到输入)的值都是张量(tensor),任意维度的数组其中基础元素类型是指定的 或者在图的构造过程中自动推断出来的。特别的边，我们称之为控制依赖 (control dependencie