editslog数据存储格式设计与优化.pdfVIP

  • 1
  • 0
  • 约1.72千字
  • 约 2页
  • 2026-06-25 发布于北京
  • 举报

我们的editslog到底要设计成什么样的格式,要如何序列化放到磁盘文件里去呢?比

如说人家的hadoop采用的是他特定的一种序列化的机制。但是我们来说,NameNode写

editslog,是会通过checkpoint检查点的操作,定时清理掉的

如果一旦你完成了一个checkpoint检查点的操作,在检查点之前的editslog都可以删除

了。所以说一般来说,这个editslog都不会特别的多。每秒10万次的高并发的修改文件目

录树的请求

平台的评论,每天能多少评论?3000万用户,日活用户300万。日订单

大概是100万个订单。很多订单是没有人评论,评论的人就10万个人。每天可能

就几万条评论,或者是10万条评论。

分布式文件系统,存放的主要是商品的,评论的晒图,每天10万个小进入分布式

文件系统也就差不多了,一般来说是不会对这种系统造成多大的并发的的。10万个新

的文件进入分布式文件系统

每天会执行10万次请求,来在文件目录树中新添加一个文件,每天新添加10万个文件,

editslog也就10万条,但是在一天里

文档评论(0)

1亿VIP精品文档

相关文档