大数据--Hadoop集群环境搭建.pdfVIP

⼤数据--Hadoop集群环境搭建 ⾸先我们来认识⼀下HDFS ， HDFS （Hadoop Distributed File System ）Hadoop分布式⽂件系统。它其实 是将⼀个⼤⽂件分成若⼲块保存在不同服务器的多个节点中。通过联⽹让⽤户感觉像是在本地⼀样查看 ⽂件，为了降低⽂件丢失造成的错误，它会为每个⼩⽂件复制多个副本（默认为三个），以此来实现多 机器上的多⽤户分享⽂件和存储空间。 Hadoop主要包含三个模块： HDFS模块：HDFS负责⼤数据的存储，通过将⼤⽂件分块后进⾏分布式存储⽅式，突破了服务器硬盘⼤ ⼩的限制，解决了单台机器⽆法存储⼤⽂件的问题，HDFS是个相对独⽴的模块，可以为YARN提供服 务，也可以为HBase等其他模块提供服务。 YARN模块：YARN是⼀个通⽤的资源协同和任务调度框架，是为了解决Hadoop中MapReduce⾥ NameNode负载太⼤和其他问题⽽创建的⼀个框架。YARN是个通⽤框架，不⽌可以运⾏MapReduce ，还 可以运⾏Spark、Storm等其他计算框架。 MapReduce模块：MapReduce是⼀个计算框架，它给出了⼀种数据处理的⽅式，即通过Map阶段、 Reduce阶段来分布式地流式处理数据。它只适⽤于⼤数据的离线处理，对实时性要求很⾼的应⽤不适 ⽤。多相关信息可以