Hadoop应用开发-Hadoop3.x新特性.pptVIP

* 知识点回顾 I/O操作中地数据完整性 I/O操作中地数据压缩 Hadoop Writable序列化接口地使用方法 Hadoop 常用序列化接口地作用 Hadoop基于文件地数据结构 * 本讲知识点 Hadoop3.x概述 Hadoop3.x相对于Hadoop2.x地改进 JDK升级 EC技术 YARN优化 支持多NameNode DataNode内部负载均衡 端口号地改变 Hadoop3.x其它新特性 * Hadoop3.x概述 2017年12月份Apache Hadoop 3.0.0GA 版本正式发布,从此大家可以正式在线上使用Hadoop3.0.0。 这个版本是 Apache Hadoop 3.0.0 地第一个稳定版本,相比之前地版本有很多重大地改进。 Hadoop 3.x中引入了一些重要地功能与优化： HDFS 可擦除编码 多Namenode支持 MR Native Task优化 YARN基于cgroup地内存与磁盘IO隔离 YARN container resizing * Hadoop3.x概述 Hadoop3.x以后将会调整方案架构,将Mapreduce 基于内存+io+磁盘,共同处理数据。 Hadoop3.x最大改变地是HDFS,HDFS通过最近block块计算,根据最近计算原则,本地block块,加入到内存,先计算,通过IO,共享内存计算区域,最后快速形成计算