Pig简介.pptxVIP

Pig简介制作人：杨大爷s 班德尔城目录Pig简介Pig 组成Pig基本框架Pig的实现Pig Latin语言Pig Latin语法简介Pig是基于Hadoop的一个大规模数据仓库工具，它提供的类SQL语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。组成：Pig基本框架Pig的实现：HDFSZebra LibraryPigStreamingMapReduce1.Pig自己实现的一套框架对输入、输出的人机交互部分的实现，就是Pig Latin 。2.Zebra是Pig与HDFS/Hadoop的中间层、Zebra是MapReduce作业编写的客户端，Zebra用结构化的语言实现了对Hadoop物理存储元数据的管理也是对Hadoop的数据抽象层，在Zebra中有2个核心的类（TableStore(写)、TableLoad(读)）对Hadoop上的数据进行操作。3.Pig中的Streaming主要分为4个组件: 1. Pig Latin 2. 逻辑层(Logical Layer) 3. 物理层(Physical Layer) 4. Streaming具体实现(Implementation)，Streaming会创建一个Map/Reduce作业，并把它发送给合适的集群，同时监视这个作业的在集群环境中的整个执行过程。?4.MapReduce在每台机器上进行分布式计算的框架(算法)。5.HDFS最终存储数据的部分。Pig Latin语言：Pig Latin是Pig的专用语言，它是类似于SQL的面向数据流语言，这套脚本语言提供了对数据进行排序、过滤、求和、分组(group by)、关联(Joining)等操作，Pig也可以由用户自定义一些函数对数据集进行操作，也就是传说中的UDF(user-defined functions)。Pig Latin语法：数据类型 （1）基本数据类型 （2）复杂数据类型运算符 提供了算术，比较，关系等运算符，这些运算符的含义和用法与其它语言（C，Java）相似。函数 函数或是内置或是用户自定义。