hadoop--简介及原理.pptVIP

Pig简介 运行Pig程序 一共有三种执行Pig项目的方式，适用于本地和Hadoop模式。 Script Pig可以运行一个包含Pig命令的脚本文件。 Grunt Grunt是一个运行Pig命令的交互方式shell。 Embedded 可以在Java中运行Pig程序。 * Pig简介 例：通过Pig Latin为气温数据集编写程序来计算一年中的最高气温。 一共有三种执行Pig项目的方式，适用于本地和Hadoop模式。 Script Pig可以运行一个包含Pig命令的脚本文件。 Grunt Grunt是一个运行Pig命令的交互方式shell。 Embedded 可以在Java中运行Pig程序。 * Hadoop集群的安装 中央处理器 两个四核英特尔 Xeron2.0Ghz CPU 内存 8 GB ECC RAM 存储器 4*TB SATA 磁盘 网络 千兆位以太网卡 * 2008年后期运行Hadoop数据节点和tasktracer机器的典型选择方案 Hadoop集群的安装 网络拓扑 普通hadoop集群结构有一个两阶网络拓扑组成。如下图9。一般每个机架有30~40个服务器，带有一个1GB的交换机，并向上传输到一个核心交换机或者路由器。 * 图9 Hadoop集群典型的两阶网络结构 Task Assignment 在jobstracker为tasktracker选择任务之前，jobtracker必须先选定任务所在的作业，有多种调度算法，但是默认的方法是简单维护一个作业优先级列表。 针对map任务和reduce任务，tasktracker有固定数量的槽。默认调度器在处理reduce任务槽之前，会填满空闲的map任务槽，jobtracker会为它选择一个map任务；否则，选择一个reduce任务。 * 状态包括：作业或者任务的状态(比如，运行，成功完成，失败)；map和reduce的进度；作业计数器的值；状态消息或描述。 * 状态包括：作业或者任务的状态(比如，运行，成功完成，失败)；map和reduce的进度；作业计数器的值；状态消息或描述。 * * * * * * * * * * * Hadoop介绍 * Hadoop介绍 * MapReduce简介及原理 1 MapReduce的类型与格式 2 Pig简介 3 Hadoop集群配置 4 MapReduce简介 Mapreduce是一中用于数据处理的编程模型。 例子:用Hadoop处理气象数据，找出每年最高气温 MapReduce工作过程分为两个阶段：map阶段和reduce阶段每个阶段都有键/值对作为输入和输出。程序员还定义两个函数map函数和reduce函数。 用map函数来找出年份和气温。本例map函数只是一个数据准备阶段。通过这种方式建立数据，使得reducer函数能在此基础上进行工作，找出每年最高气温。 思考下面的输入数据 * MapReduce简介 (续) * 这些行以键/值对的方式来表示map函数 MapReduce简介 (续) Map函数的功能仅仅提取年份和气温(粗体显示)，并将其作为输出被发送(气温值已被解释为整数) (1950, 0) (1950, 22) (1950, -11) (1949, 211) (1949, 78) Map函数的输出先有MapReduce框架处理，然后再被发送到reduce函数。这一处理过程根据键来对键/值进行排序和分组。因此，reduce函数会看到如下输入： (1949, [111, 78]) (1950, [0, 22, -11]) 每年的年份后都有一系列气温度数。所有reduce函数现在必须重复这个列表并从中找出最大的度数： (1949, 111) (1950, 22) 这是最后的输出：全球气温记录中每年的最高气温 * MapReduce简介 (续) 上面的数据流如下图所示。在图的底部是Unix的管道，模拟整个MapReduce的流程。 * 图1 MapReduce的逻辑数据流 MapReduce简介 (续) MapReduce的分布式应用 MapReduce作业(job)是客户端执行的基本单位：包括输入数据,MapReduce程序和配置信息。Hadoop通过把作业分成若干个小任务(task)来工作，包括。两种类型的任务:map任务和reduce任务。 有两种类型的节点控制着作业执行的过程：jobtracker和多个tasktracker。Jobtracker通过调度任务在tasktracker上运行来协调所有运行在系统上的作业。Tasktracker运行任务的同时，把进度报告传送到jobtracker，jobtracker则记录着每项任务的整体进展情况。如果其中一个任务失败，jobtracker可以