Hadoop FSDatasetImpl锁优化与fsync机制分析.pdf

Hadoop FSDatasetImpl锁优化与fsync机制分析.pdf

FSDatasetImpl中的锁优化的一套东西,源码修改,优化锁并发的性能

在hadoop2.8.x版本以后,开始在FSDatasetImpl中加入了一个锁,专门对一些文件操作进

行加锁。如果你多个线程并发的对一个文件进行修改和写入的操作,可能是会有问题的。所

以在hadoop里面,在比较新的版本

就是把这个锁给他加上,后续我们再来一点点分析这个锁的并发性能如何优化

DataNode突然所在的机器宕机的话,可能会导致刚刚上传完毕的block会丢失,他上传完一

个block没有及时的进行fsync的操作,仅仅

文档评论(0)

1亿VIP精品文档

相关文档