分布式计算框架 Google Cloud Dataflow .docVIP

HYPERLINK "http://liweithu.me/dataflow" \o "分布式计算框架:Google Cloud Dataflow" 分布式计算框架:Google Cloud Dataflow Google Cloud Dataflow是一种构建、管理和优化复杂数据处理流水线的方法，从MapReduce演化而来（并不是“抛弃”），集成了许多内部技术，如用于数据高效并行化处理的 HYPERLINK "/~akella/CS838/F12/838-CloudPapers/FlumeJava.pdf" \t "_blank" Flume和具有良好容错机制流处理的 HYPERLINK "/pubs/pub41378.html" \t "_blank" MillWheel。Dataflow当前的API还只有Java版本（其实Flume本身是提供Java/C++/Python多种接口的）。 相比原生的map-reduce模型，Dataflow有几个优点： 1.可以构建复杂的pipeline，在这不妨引用Google云平台的产品营销总监Brian Goldfarb的话。 Cloud Dataflow可以用于处理批量数据和流数据两种。在一个世界性事件（比如演讲当中的世界杯事件）中，实时分析上百万twitter数据。在流水线的一个部阶段责读取tweet，下一个阶段负责抽取标签。另一个阶段对tweet分类（基于情感，正面负面或者其他方面）。下一个阶段过滤关键词等等。相比之下，Map/Reduce这个用来处理大数据的较早模型，处理这种实时数据已经力不从心，而且也很难应用到这种很长很复杂的数据流水线上。 2.不需手工配置和管理MapReduce集群。自动进行代码优化和资源调度，使得开发者的主要精力可以放在业务逻辑本身。 3.支持从Batch到Streaming模式的无缝切换: 假设我们要根据用户在twitter上产生的内容，来实现一个hashtags自动补全的功能。 Dataflow将数据抽象为一个PCollections (“parallel collections”)，PCollection可以是一个内存中的集合，从 HYPERLINK "/products/cloud-storage/" \t "_blank" Cloud Storage读进来，从 HYPERLINK "/products/bigquery/" \t "_blank" BigQuerytable中查询得到，从 HYPERLINK "/pubsub/" \t "_blank" Pub/Sub以流的方式读入，或者从用户代码中计算得到。 为了对PCollection进行处理，Dataflow提供了许多PTransforms (“parallel transforms”)，例如ParDo (“parallel do”) 对于PCollection中每一个元素分别进行指定操作（类似MapReduce中的Map和Reduce函数，或者SQL中的WHERE），GroupByKey对一个key-value pairs的PCollection进行处理，将相同key的pairs group到一起（类似MapReduce中的Shuffle步骤，或者SQL中的GROUP BY和JOIN）。 此外，用户还可以将这些基本操作组合起来定义新的transformations。Dataflow本身也提供了一些常用的组合transformations，如Count, Top, and Mean。 这是一个经典的批处理的例子 4. Dashboard: 还可以在developer console中了解流水线中每个环节执行的情况，每个流程框基本对应着一行代码 5. 生态系统: BigQuery作为存储系统是Dataflow的一个补充，经过Dataflow清洗和处理过的数据，可以在BigQuery中存下来，同时Dataflow也可以读取BigQuery以进行表连接等操作。如果想在Dataflow上使用一些开源资源（比如说Spark中的机器学习库），也是很方便的。为了配合Dataflow， HYPERLINK "/cloud/" \t "_blank" Google Cloud Platform还为开发者提供了一系列工具，包括云保存，云调试，云追踪和云监控。