s3fs实现原理剖析.pdfVIP

s3fs实现原理剖析

⼀、机制分析

1.读取⽂件

S3FS对于⽂件的存储分为临时⽂件和缓存两种⽅式，⽤户可以在命令⾏中通过use_cache参数指定缓存⽬录来启动缓存⽅式。

⽤户通过offset和size来读取指定⽂件中的特定区域，如果本地没有相应的内容S3FS会通过⽹络请求S3上的相应内容，并且将对应

的内容存储到本地的临时⽂件或者缓存中。

2.⽂件逻辑架构

不管是临时⽂件还是缓存⽂件，S3FS都⽤同⼀个逻辑架构组织这个⽂件，S3FS使⽤⼀个页的列表来代表⼀个⽂件，每页都是这个⽂件中

的⼀部分，下图为对⼀个⽂件的逻辑组织架构：

FDPage：代表了⼀个⽂件中的⼀页，即也是⽂件中的部分内容。

参数名参数

offset偏移量

bytes页的⼤⼩

bytes是否加载到了本地

PageList：代表⼀个本地⽂件，它是FDPage的⼀个链表。

参数名参数

pages