第8讲：Pig应用开发.ppt

主要内容 Pig 是什么？ ?安装Pig ?Grunt shell及shell命令 ?Pig latin语言 ?例子 pig Pig是一个用于并行计算的高级数据流语言和执行框架，是map-reduce上构建的一种高级查询语言。 处理大数据集。 Pig可以看做hadoop的客户端软件，可以连接到hadoop集群进行数据分析工作 Pig方便不熟悉java的用户，使用一种较为简便的类似于SQL的面向数据流的语言pig latin进行数据处理 Pig latin可以进行排序、过滤、求和、分组、关联等常用操作，还可以自定义函数，这是一种面向数据分析处理的轻量级脚本语言 Pig可以看做是pig latin到map-reduce的映射器 Pig特点： Pig的底层由一个编译器组成，他在运行的时候会产生一些mapreduce程序序列，并且这里大规模的并行依然存在。当前，pig的语言层由一个叫做Pig Latin的正文型语言组成，有如下特点： 易于编程：对于那些简单的并且不易并行的数据分析任务并不需要实行并行执行的目标。多重关联的数据转换任务需要明确被编码成数据流序列，让他们易于被书写、理解和掌握。 最优化机会：任务被编码的方式允许系统执行的时候进行自动优化，用户更需要注意的是程序语义的设计而不是效率。 扩展性：用户能自定义函数来实现特殊的目的。 Pig框架 安装pig ? 下载并解压pig安装包（ /） ?设置环境变量 ?进入grunt shell验证 下载并解压pig安装包 编辑环境变量 重新登录使环境变量生效 用set命令检查环境变量 进入grunt shell Pig工作模式 本地模式：所有文件和执行过程都在本地，一般用于测试程序 输入pig –x local Mapreduce模式（hadoop模式）：实际工作模式 输入pig 配置pig的map-reduce模式 设置PATH，增加指向hadoop/bin ?设置PIG_CLASSPATH环境变量 ?修改hosts文件 ?启动pig 设置PIG_CLASSPATH环境变量 设置完成后重新登录使环境变量生效 修改hosts文件 启动grunt shell Pig参考文档大全 Pig的运行方法 脚本 （ pig –x local /home/pig/sc/sc.pig） ?Grunt ?嵌入式 Grunt 自动补全机制 ?Autocomplete文件 ?Eclipse插件PigPen Grunt shell命令 ls、cd、cat copyToLocal 执行操作系统命令：sh Pig数据模型 Bag：表 Tuple：行，记录 Field：属性 Pig不要求同一个bag里面的各个tuple有相同数量或相同类型的field Pig latin常用语句 LOAD：指出载入数据的方法 ?FOREACH：逐行扫描进行某种处理 ?FILTER：过滤行 ?DUMP：把结果显示到屏幕 ?STORE：把结果保存到文件 LOAD、FOREACH、STORE三部曲 结果 UDF 支持使用Java、Python、Javascript三种语言编写UDF Java自定义函数较为成熟，其它两种功能还有限 用PIG实现各种SQL的效果 /blog/1317084 学生成绩处理 Pig Latin 进阶 ?数据格式 ?任务目标： 计算一名学生被多少位老师教过 ?方法一： 先 DISTINCT, 再计数 –DISTINCT 能够对所有数据去重 ?方法二： 先分组 –FOREACH 嵌套 –使用 DISTINCT 学生成绩处理 任务目标二： 找出每位老师最优秀的两名学生 ?步骤一： GROUP BY –GROUP BY 的嵌套方法 ?步骤二： ORDER BY –FOREACH 嵌套 ?步骤三： LIMIT –配合 ORDER BY 使用 ?步骤四： FLATTEN –去括号过程 谢 谢！ 《云计算（第二版）》购买网址： 当当网：/product.aspx?product_id京东商城：html * * 第9讲 Pig开发应用