hadoop个人笔记.docxVIP

一．大数据处理{集中式计算、分布式计算} 不断增加处理器的数量里增加单个计算机计算能力，提高处理能力。个人英雄主义 计算机通过网络相互连接组成分散系统，然手将需要处理大量数据分散多个部分，交有分散系统内计算机组同时处理，最后将计算结果合并最终结果。团队合作 二．Hadoop 1、Hadoop是什么？ 面向大数据处理 擅长离线数据分析 Hadoop不是数据库（分布式文件系统+计算框架），Hbase才是数据库 Hadoop是一个快速化的生态系统 2、HDFS 的架构 提供分布式存储机制，提供可线性增长的海量存储能力。 自动数据冗余、无需raid,无需另行备份。 为进一步分析计算提供数据基础。 HDFS体系结构中有两类节点: Namenode 元数据节点（只有一个） DataNode 数据节点（有很多个）。主从节点 Namenode HDFS 的守护程序 接受用户操作请求 维护文件系统的目录结构 管理文件与block之间的关系，block与datanode之间的关系 【Namenode 比作班主任】 记录文件是如何分割成数据块的，以及这些数据块被存储到那些节点上。 对内存和I/O进行集中管理 是个单点，发生故障将使集群崩溃 Secondry Namenode 定期保存HDFS元数据快照（合并后fsimage） 遗憾：不能自动却换。实现故障人工处理，事实上的单点。 DataNode（只做一件事 存储数据） 存储文件 文件被分成block存储在磁盘上（便于管理） 为保证数据安全，文件会有多个副本（安全） 3、MapReduce架构 JobTracker负责： 接受客户提交的计算任务 把计算任务分给TaskTracker执行 监控Task Tracker的执行情况 Task Trackers负责： 执行JobTracker分配的任务 4、Hadoop的特点 扩容能力（Scalable）:能可靠地（reliably）存储和处理千兆 成本低（Economical）:可以通过普通机器组成服务器群 高效率(Effcient): 可靠性（Reliable） 分布式文件系统 数据量越来越多，在一个操作系统管理的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。 是一种允许文件通过网络在多台主机上分享的文件系统，客让机器上的多用户分享的文件和存储空间。 通透性，让实际上是通过网络来访问文件的运作，由程序与用户看来，就像是访问本地磁盘一般。 容错。即使系统中有某些节点脱机，整体来说系统任然可以持续运作而不会有数据损失。 分布式文件管理系统很大，hdf只是其中一种。适用于一次写入多次查询情况， 三.Hadoop2.0 1、Hadoop2.0背景 HDFS存在的问题 NameNode单点故障，难以应用于在线场景。 NameNode压力大，且内存受限，影响系统扩展性 MapReduce存在问题 JobTracker单点故障 JobTracker访问压力大，影响系统扩展性； 难以支持除MapReduce之位的框架，比如Spark、Storm、TeZ等。 HDFS: NN Federation 、HA 2、HDFS2.0 解决HDFS1.0单点故障和内存受限问题 解决单点故障 通过主备NameNode解决 如果主NameNode发生故障，则却换到备NameNode上 解决内存受限问题 水平扩展，支持多个NomeNode 每个NomeNode分管一部分目录 所有NameNode共享所有DataNode存储资源 3、YARN 核心思想：将MRv1中的JobTracker的资源管理和任务调度两个功能分开，分别由ResourceManager和ApplicationMaster进程实现。 ResourceManager：负责整个集群的资源管理和调度 ApplicationMaster：负责应用程序相关事宜，比如任务调度、任务监控和容错等。 YARN的引入，运行其他框架 每个应用程序对应一个ApplicationMaster 将MapReduce作业直接运行在YARN上，而不是由JobTracker和TaskTracker构建的MRv1上。 基本功能模块： YARN：负责资源管理和调度 MRAappMaster:负责任务切分、任务调度、任务监控和容错等 MapTrask/ReduceTrask:任务驱动引擎，与MRv1一致。 HDFS2.0之HA 主备NameNode 主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待却换。 所有DataNode同时向两个NameNode汇报数据块信息。 两种切换选择 手动切换：通