TensorFlow阅读报告汇总.pdfVIP

TensorFlow论文阅读报告 1.基本信息 题目：TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems 来源：G gle Research 时间：2015.9 作者：Martn Abadi, Ashish Agarwal, Paul Barham…… 2.摘要 TensorFlow 是一个表达机器学习算法的接口，并且是执行算法的实现框架。 使用 TensorFlow 表示的计算可以在众多异构的系统上方便地移植，从移动设备 如手机或者平板电脑到成千的GPU 计算集群上都可以执行。该系统灵活，可以被 用来表示很多的算法，包括深度神经网络的训练和推断算法。也已经被用于科研 和应用机器学习系统在内的若干计算机科学领域或者其他领域中，例如语言识 别、计算机视觉、机器人、信息检索、自然语言理解、地理信息抽取和计算药物 发现。 3.引言 基于第一代可扩展分布式训练和推断系统 DistBelief 的经验，构建了 TensorFlow——第二代大规模机器学习模型的实现和部署的系统。 TensorFlow 使用类似数据流模型的计算，将这些计算映射到不同的硬件平台，例如使用包含 一个或者多个 GPU 显卡的装有 Android 和 iOS 的单个机器，或运行在数百台 包含数千个 GPU 的大规模训练系统。拥有一个单一的系统可以扩展分布到众多 - 1 - 的平台上可以大大简化真实场景中机器学习系统的使用，正如用分离的系统进行 大规模训练和小规模的部署，会产生巨大的维护代价和较差的抽象效果。 TensorFlow 的计算被表示为含状态的数据流图，在让这个系统足够灵活能够快 速地实验研究中产生的新模型，并同时充分地提升产品级训练的性能和部署机器 学习模型健壮性。为扩展神经网络训练搞更大的部署环境，TensorFlow 允许通 过复制和并行执行一个核心模型数据流图，使client 简单地表达不同类型的并 行，依赖不同计算设备合作更新一个共享的参数或者其他的状态。 对计算描述 的微妙变动可以使用较低的代价来达到和尝试很多不同的并行的法。对比 DistBelief，TensorFlow 的编程模型更加灵活，性能也更好，支持在大规模的 异构硬件平台上训练和使用很多的模型。 4.主要技术 1、编程模型和基本概念 TensorFlow 的计算由一个有向图描述，这个图中由一个节点集合组成。该 图表达了数据流计算，作出了一些类型的节点保持和更新持久状态和让分支及循 环控制结构类似于 Naiad 的行为方式的扩展。客户一般都会使用 TensorFlow 支持的前端语言（C++或者Python）构建一个计算图。下图表示一段样例使用 Python 构建并执行了一个 TensorFlow 的计算图： 下图表示结构计算图： - 2 - 在一幅 TensorFlow 图中，每个节点 （node）有一个或者多个输入和零个或 者多个输出，表示一种操作（operation）的实例化。流过图中正常的边（输出 到输入）的值都是张量（tensor），任意维度的数组其中基础元素类型是指定的 或者在图的构造过程中自动推断出来的。特别的边，我们称之为控制依赖 （control dependencies），同样也存在在图中：这类边上没有数据流过，但是 他们表示源节点必须在目标节点的控制依赖开始执行前完成运行。由于我们的模 型包括可变状态，控制依赖可以被直接用来确保 happens-before 关系。我们的 实现同样会插入控制依赖来确保独立操作之间的顺序，比如说作为控制内存使用 最高峰值的方式。 1）操作和核（kernel） 一个操作有一个名字。它表示一个抽象的计算（比如说，“矩阵相乘”或者 “相加”）。一个操作可以有属性（attribute），所有的属性必须提供或者在 图构造的过程中推断出以实例化一个节点来执行操作。属性通常的使用方式是让 操作在不同的张量元素类型上多态（例如，两个 float 类型的张量和两个 int32 类型的张量）。核（kernel）是一种操作的特别实现，可以运行在一个特定类型 的设备上（如 CPU 或者 GPU）。TensorFlow 的 binary 定义了可以通过注册