Hadoop编程实践教案.pptVIP

查看HDFS基本统计信息 * 在新节点安装好hadoop 把namenode的相关配置文件复制到该节点 修改masters和slaves文件，添加该节点 设置ssh无密码登陆该节点 单独启动该节点上的datanode和tasktracker（hadoop-daemon.sh start datanode/tasktracker) 运行start-balancer.sh进行数据负载均衡 怎么添加节点 * Page 1：the weather is good. Page 2 : good weather is good. 举例：单词计数 * (key,value) (the,1) (weather,1) (is,1) (good,1) (key,value) (good,1) (weather,1) (is,1) (good,1) (key,value) (the,1) (weather,2) (is,2) (good,3) Map1 Map2 Reduce void map(LongWritable key, Text value, OutputCollectorText, IntWritable output, Reporter reporter) {?????? String line = value.toString(); ????? StringTokenizer t= new StringTokenizer(line); while (t.hasMoreTokens()) { ???????? word.set(t.nextToken()); ???????? output.collect(word, one); ? } ?? } Map函数 * void reduce(Text key, IteratorIntWritable values, OutputCollectorText, IntWritable output, Reporter reporter) {?????? int sum = 0; ?????? while (values.hasNext()) { ?????? sum += value.next().get(); } output.collect(key,new IntWritable(sum)); } Reduce函数 * 重写Map/Reduce函数 设置Job属性 打包程序并向JobTracker提交 监控程序进度 得到最终结果 程序运行 * 日志分析 排序 搜索 广告计算，广告优化、分析，点击流分析，链接分析 搜索关键字进行内容分类 搜索引擎，创建索引 word 计数，统计值计算，统计数据，过滤，分析，查询 垃圾数据分析 数据分析 机器学习 数据挖掘 大规模图像转换（纽约时报使用Hadoop 和EC2在36个小时内将4TB的TIFF图像—包括405K大TIFF图像，3.3M SGML文章和405K XML文件 — 转换为800K适合在Web上使用的PNG图像。） MapReduce的应用 * * * * * * * * * Flume:cloudera提供日志收集系统 Sqoop:与关系数据库转移工具HueCloudera提供用户管理界面 Chukwa:数据收集系统 Avro数据序列化系统 Cassandra:分布式NoSQL数据库 Hama：基于块同步并行(Bulk sync parall)的科学计算、图形处理等复杂计算工具 Mashout:机器学习 * * * Map-reduce的思想是“分而治之” Mapper：负责“分”，把复杂的任务分解成若干个“简单的任务”并行执行。简单任务的含义：1、数据或计算规模较小，2、就近计算；3、可以并行计算，彼此间几乎没有依赖关系。 Reducer：对map阶段的结果进行汇总，reducer数目默认是1。 * * * * 当map开始产生输出时，并不是简单的写入到磁盘，先是写入到缓冲区，并进行预排序，以提升效率。 MapReduce数据流—— shuffle和sort * Partitons:每一个reduce节点会分派到中间输出的键集合中的一个不同的子集合 Partitioner类决定键值对去向，默认分类器计算键哈希值 Spill线程把缓冲区数据写到磁盘前， 会对它进行一个二次快速排序， 首先根据数据属性的par