FSDatasetImpl中的锁优化的一套东西,源码修改,优化锁并发的性能
在hadoop2.8.x版本以后,开始在FSDatasetImpl中加入了一个锁,专门对一些文件操作进
行加锁。如果你多个线程并发的对一个文件进行修改和写入的操作,可能是会有问题的。所
以在hadoop里面,在比较新的版本
就是把这个锁给他加上,后续我们再来一点点分析这个锁的并发性能如何优化
DataNode突然所在的机器宕机的话,可能会导致刚刚上传完毕的block会丢失,他上传完一
个block没有及时的进行fsync的操作,仅仅
原创力文档

文档评论(0)