大数据开发笔试.docxVIP

1、 hdfs原理，以及各个模块的职责 答：Hadoop?Distributed File System即： Hadoop分布式文件系统，就是把数据划分成不同的Block分别存储在不同节点的设备上。它分为两个部分：NameNode和DateNode，NameNode相当于一个领导，将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。它管理集群内的DataNode，当客户发送请求过来后，NameNode会根据Meta-data指定存储到哪些DataNode上，而其本身并不存储真实的数据。 2、 mr的工作原