如何高效的做到全栈数据工程师系列（下）.docxVIP

如何高效的做到全栈数据工程师系列（下） 数据仓库与Python大数据 2021-09-03 以下文章来源于憋七工作室 ，作者憋七 HYPERLINK 憋七工作室 . 只聊那些有的没的 导读：如何高效的做到全栈数据工程师，本文从面试的视角开放次要分为以下篇章： Hadoop原理篇 MySQL 进阶篇 数据结构算法篇 ? 关注 『数据仓库与Python大数据』，猎取更多 优质资源与干货文章。 作者：?憋七 编辑：?紫霞仙子 注释 一、Hadoop原理篇 就是HDFS+Yarn+MapReduce HDFS分布式文件存储 ? ? ? 一个NameNode+N个DataNode，2.0Hadoop和1.0的区分在于可以配置两个NameNode，也就是NameNode的HA，一个是Active形态，另一个是Standby形态，实质还是保持一个NameNode在工作 HDFS的操作，分为写和读，记住读和写的流程即可 写操作： Client发起写操作告知NameNode NameNode依据文件大小和块配置，前往给Client它下面管理的DataNode的信息 Client再依据块大小，划分多个块，再找到DataNode的信息，再写入DataNode块中 读操作： Client发起读操作告知NameNode NameNode前往Client块信息以及对应的Data