大数据平台构建（国家） 大数据平台构建（国家） 05 操作笔记 Apache Pig 安装.docxVIP

Apache Pig 安装 本章将介绍如何在系统中下载，安装和设置?Apache Pig?。 先决条件 在你运行Apache Pig之前，必须在系统上安装好Hadoop和Java。因此，在安装Apache Pig之前，请按照前面的课程内容搭建好Hadoop 下载Apache Pig 首先，从以下网站下载最新版本的Apache Pig: / 步骤1 打开Apache Pig网站的主页。在News部分下，点击链接release page，如下面的快照所示。 步骤2 点击指定的链接后，你将被重定向到?Apache Pig Releases?页面。在此页面的Download部分下，单击链接，然后你将被重定向到具有一组镜像的页面。 步骤3 选择并单击这些镜像中的任一个，如下所示。 步骤4 这些镜像将带您进入?Pig Releases?页面。?此页面包含Apache Pig的各种版本。?单击其中的最新版本。 步骤5 在这些文件夹中，有发行版中的Apache Pig的源文件和二进制文件。下载Apache Pig 0.16，?pig0.16.0-src.tar.gz?和?pig-0.16.0.tar.gz?的源和二进制文件的tar文件。 安装Apache Pig 下载Apache Pig软件后，按照以下步骤将其安装在Linux环境中。 步骤1 在安装了?Hadoop，Java和其他软件的安装目录的同一目录中创建一个名为Pig的目录。（在我们的教程中，我们在名为Hadoop的用户中创建了Pig目录）。 $ mkdir Pig 第2步 提取下载的tar文件，如下所示。 $ cd Downloads/ $ tar zxvf pig-0.15.0-src.tar.gz $ tar zxvf pig-0.15.0.tar.gz 步骤3 将?pig-0.16.0-src.tar.gz?文件的内容移动到之前创建的?Pig?目录，如下所示。 $ mv pig-0.16.0-src.tar.gz/* /home/Hadoop/Pig/ 配置Apache Pig 安装Apache Pig后，我们必须配置它。要配置，我们需要编辑两个文件 -?bashrc和perties?。 .bashrc文件 在?.bashrc?文件中，设置以下变量 PIG_HOME?文件夹复制到Apache Pig的安装文件夹 PATH?环境变量复制到bin文件夹 PIG_CLASSPATH?环境变量复制到安装Hadoop的etc（配置）文件夹（包含core-site.xml，hdfs-site.xml和mapred-site.xml文件的目录）。 export PIG_HOME = /home/Hadoop/Pig export PATH = PATH:/home/Hadoop/pig/bin export PIG_CLASSPATH = $HADOOP_HOME/conf perties文件 在Pig的?conf?文件夹中，我们有一个名为?perties?的文件。在perties文件中，可以设置如下所示的各种参数。 pig -h properties 支持以下属性: Logging: verbose = true|false; default is false. This property is the same as -v switch brief=true|false; default is false. This property is the same as -b switch debug=OFF|ERROR|WARN|INFO|DEBUG; default is INFO. This property is the same as -d switch aggregate.warning = true|false; default is true. If true, prints count of warnings of each type rather than logging each warning. Performance tuning: pig.cachedbag.memusage=mem fraction; default is 0.2 (20% of all memory). Note that this memory is shared across all large bags used by the application. pig.skewedjoin.reduce.memusagea=mem fracti