ApachePig平台.PDFVIP

2012 年 10 月 Apache Hadoop* 社区聚焦 Apache* Pig* 平台 Alan Gates 详细说明了Apache* Pig* 平台如何让用户和开发人员能够轻松利用 Apache Hadoop* 框架的强大功能。Alan 是Apache Incubator* 项目管理委员会 （PMC ）和Apache* Pig* 项目管理委员会的成员，同时还是Apache HCatalog 项目的顾问，以及Hortonworks 的联合创始人兼架构师。 Apache Pig ：面向Hadoop* 框架的高级语言 Pig 平台为创建Apache MapReduce 应用程序提供了一款相对简 Pig Latin ：为什么选择另一种编程语言？ 单的工具。随着活跃的开源社区对项目的不断投入，Pig 迅速 Pig Latin 是一种非传统的编程语言，专注于数据流而非J ava 或 发展壮大，逐渐成为一种能分析大数据的高级数据流编程语言 Python 等语言所使用的传统编程操作。作为一名Pig Latin 用户， 和执行框架。 您可通过指定一个或多个输入数据集，然后识别出其需要应用 的操作来构建脚本。这些操作可能包括筛选不需要的纪录、合 Pig 平台由Pig Latin 编程语言和基础设施构成，后者能够支持 并两个数据集以及基于特定标准拆分数据集等。您可在图表中 在分布式文件系统上运行的应用程序。 连接特定的操作，以自动找到最佳数据流。然后，您可以定义 • 基础设施层包含一个可用于生成MapReduce 程序的编译器。 如何将数据写出到一个或多个输出源。这对于程序而言是一种 • Pig Latin 是一种高级文本语言，有效简化了编写、理解和维 截然不同的方式。 护程序的工作。从实践应用角度而言，这意味着您可在15 Pig 可使用Hadoop 框架为您管理所有转换和协调工作。首先， 分钟内编写一个Pig 脚本，而如果您采用J ava* 语言编写它， 它将在Pig Latin 脚本上自动执行优化，然后将要求的操作转换 则可能需要花上数个小时。Pig 平台还优化了任务自动执行 成一个或多个 （通常为10 个、20 个甚至是50 个）MapReduce 功能，并支持使用自定义功能进行扩展。 作业。Pig 在Hadoop 集群中运行这些作业，并同时提供进度反 Pig 系统位于Apache Hadoop* 分布式文件系统 （简称Apache 馈和错误信息提示等。 HDFS* ）之上。它能够读取来自HDFS 以及其他位置的数据，并 向其写入数据，同时还可运行MapReduce 作业。从本质上来 说，Pig 平台提供了一种与Hadoop 框架轻松进行交互的方式。 “Pig Latin 为不希望使用复杂的J ava* 代码来创建 MapReduce 应用程序的用户提供了一个理想之选。” —Alan Gates Pig 与Apache Hive 之比较 用户通常将Pig 平台和Apache Hive* 数据仓库基础设施视为能够 实现相同目标的不同工具。然而事实上，Pig 和Hive 能够提供 Pig Latin 实际使用时有多简单？ 不同的分析功能。Hive 在MapReduce 之上呈现了一个结构化查 Pig Latin 为不希望使用更复杂的J