基于Hadoop.0并行数据处理应用.docVIP

电子科技大学成都学院云计算系 实践专周设计报告 课 程 名 称：基于Hadoop2.0并行数据处理应用 指导 教师 组： 邹倩颖 王小芳 组长学号姓名： 1座机电话号码1 屈太源 组员学号姓名： 1座机电话号码0 冯小丹 组员学号姓名： 1座机电话号码6 张 瑜 云计算科学与技术系制 2015年12月 目 录 第1章 引 言 1 1.1 问题分析 1 1.2 设计目标 1 1.2.1 基本功能 1 1.2.2 扩展功能 2 1.3 设计思路 2 1.4 功能描述 2 1.5 设计过程 3 第 4 2.1 Hadoop平台介绍 4 2.2 MapReduce并行程序设计 4 2.2.1 Map函数 4 2.2.2 Reduce函数 5 2.2.3 MapReduce计算模型的优化 5 2.3 HDFS简介 6 2.3.1 HDFS节点 6 2.3.2 关于NameNode 6 2.3.3 关于DataNode及体系结构图 7 第 8 3.1 搭建hadoop伪分布的环境 8 3.2 设置ssh免密码登本地 8 3.2.1 创建一个wifi 8 3.2.2 配置jdk 9 3.2.3 配置hadoop 9 3.2.4 测试hadoop是否搭建成功 12 第 13 4.1 第一案例要求 13 4.2 核心代码1 13 4.3 第二案例要求 16 4.4 核心