pig介绍剖析.docx

Apache Pig简介与实践Apache Pig是一个用来分析大数据集的平台，它由两部分组成：一部分是用于表达数据分析程序的高级脚本语言，另一部分是用于评估分析程序的基本工具。目前来看，Pig主要用于离线数据的批量处理应用场景，但是随着Pig的发展处理数据的速度会不断地提升，这可能依赖于Pig底层的执行引擎。比如，Pig通过指定执行模式，可以使用Hadoop的MapReduce计算引擎来实现数据处理，也可以使用基于Tez的计算引擎来实现（Tez是为了绕开MapReduce多阶段Job写磁盘而设计的DAG计算引擎，性能应该比MapReduce要快），看到Pig未来的发展路线图，以后可能会基于Storm或Spark计算平台实现底层计算引擎，那样速度会有极大地提升。Pig安装与执行Pig安装非常简单，只需要下载Pig包，然后解压缩即可：在31机子上已经下载了pig-0.12.0.tar.gzPIG配置zxp@cfs01:~ vi ./.bashrcPig的两种模式本地模式本地模式主要是基于本地文件系统，比较适合调试脚本使用。进入本地模式执行如下命令：1pig -x?localMapReduce模式MapReduce模式基于Hadoop，数据存储在HDFS上，它基于运行于YARN之上的MapReduce进行处理。进入MapReduce运行模式执行如下命令：1pig -x mapreduce一般，我们的数据都是存储在HDFS上的，使用该模式能够充分利用Hadoop集群的计算能力数据类型Pig的数据类型可以分为2类，分别为简单类型和复杂类型。简单类型包括：int、long、float、double、chararray、bytearray、boolean、datetime、biginteger、bigdecimal。复杂类型包括：tuple、bag、map。这里对特别的数据类型，解释说明一下：chararray相当于字符串String；bytearray相当于字节数组；tuple是一个有序的字段的集合，可以理解为元组，例如(3090018, ‘Android’, 76)；bag是tuple的集合，例如{(3090018, ‘Android’, 76), (3090019, ‘iOS’, 172)}；map是键值对的集合，例如[name#Jeff Stone, age#28, healthy index#195.58]。基本操作符算数操作符（Arithmetic Operators）包括：+、-、*、/、%、?:、CASE WHEN THEN ELSE END。布尔操作符（Boolean Operators）包括：AND、OR、IN、NOT。类型转换操作符（Cast Operators）：使用圆括号包含类型名，作用于一个字段，例如(int)age、(map[])、(chararray)COUNT($2)、(tuple(chararray,int,map[]))name_age_scores等等。比较操作符（Comparison Operators）包括：==、!=、、、=、=、matches。其中，matches比较操作符使用Java的Pattern进行匹配来比较，例如user_name matches ‘[a-n]{3,12}’。类型构造操作符（Type Construction Operators）：可以创建复杂类型的数据，tuple使用()，map使用[]，bag使用{}，例如FOREACH users GENERATE (name, age, address)。解引用操作符（Dereference Operators）：解引用主要是针对集合类型tuple、bag、map，从集合中拿到对应字段的值。比如对于tuple，定义类型t=tuple(t1:int,t2:int,t3:int)，则我要获取字段t1和t3的值，一种方式可以通过t.t1和t.t3得到，也可以通过t.$0和t.$2获取到关系操作符操作符语法说明ASSERTASSERT alias BY expression [, message];断言：判定某个字段的值的条件为trueCOGROUPalias = COGROUP alias { ALL | BY expression} [, alias ALL | BY expression …] [USING collected | merge] [PARTITION BY partitioner] [PARALLEL n];数据分组，与GROUP相同，但是至多支持127个关系CROSSalias = CROSS alias, alias [, alias …] [PARTITION BY partitioner] [PARALL