HDFS HA架构Edits Log写机制优化.pdfVIP

hadoop源码的二次开发、系统优化以及问题修复

后面可能会不断的增加内容，刚刚讲完hadoophdfs的源码，第二个课程，刚开始首先主要

就是对hadoophdfs做源码的二次开发

hadoop-hdfs（分布式），yarn（分布式资源调度），mapreduce（分布式计算）

还会讲解yarn和mapreduce的源码，会放到后面有一个离线数据那一块的大项目，项目驱

动，来讲解这两块的源码

我们可以回过头来补充这个hadoop源码二次开发的课程，对yarn和mapreduce进行二次

开发，1个月左右的时间，对hdfs进行源码二次开发

从源码级别解决的hdfs的2个问题

（1）NameNode如果出现FullGC卡顿时间过长（卡顿二三十秒），可能会导致editslog写入

QJM（JournalNodes集群）算出现异常，进而导致NameNode宕机

（2）在手动下线多台DataNode机器的时候，block副本的算法有和，

可能会导致部分数据永久性丢失

从源码级别去分析可能存在的问题，然后改造源码，提升hdfs系统的稳定性

源码二次开发的课程有什么好处呢？如果你去看一些稍微要求高一点点的大数