.ext4的新特性-bigalloc.pdf

ext4 的新特性— bigalloc Robin Dong sanbai@ ext4 硬盘布局 Image from: /media/ch29s02.html ext4 向后兼容ext 的文件布局 Image from: /ext2intro.html ext4 ● ext4 继承了 ext2/ext3 的所有特性 ● 支持更大的文件系统 最大文件大小: 16TB 最大文件系统: 1EB(1048576TB) ext4: extent Image from: /developerworks/cn/linux/l-cn- filesrc5/ ext4: extent ● 一个 ext4_extent 可以管理最多 128MB 连续空间. ● 比如: 一个ext3 下300G 的文件需要占 用300MB 的硬盘空间做元数据, 但是 ext4 只需要占36KB 的元数据空间 ext4: flex_bg ● 将 Block-Bitmap/Inode-Bitmap/Inode- table 都合并到 Group 0 ● 优点: 合并 Group 1,Group 2,Group 3 的空闲空间( 尤其针对ext4 的 extent ) ext4: flex_bg 为何“连续磁盘空间”这么重要？ ● 我们用dd 向裸盘写入512MB 的数据，每 次写入64K ，共写819 次 ● 连续顺序写入：17s ● 间断写入（每64K 中间隔开64K ）：26s ● 间断且倒序：36s 为何需要超过4K 的cluster ？ ● 一个group 将有更大的空间 ● group 受制于“只能有一个bitamp” ● 4K block 的group 最大只能是8*4k*4k=128MB ● 1MB block 的group 最大可以是 8*4k*1M=32G ● group 更大，同样磁盘的group 数量就更少，元数据的 消耗就更小（flex_bg 只能把空间挪到一起，并不能省 掉） ● 元数据少了，mkfs 和fsck 的速度就会更快 为何需要超过4K 的block ？ （续 ） ● 多进程写文件时会有更少的磁盘碎片 ● 多个进程在同一个目录下append 写各自的文 件，ext4 很可能会交错的分配空间给不同的文 件，造成大量碎片（Hadoop ） ● block 为1MB （或更大）后，碎片问题会大大 减轻 测试数据 ● 格式化磁盘的速度（磁盘大小 103G ） ● block=4k 36.8s ● block(cluster)=64k 7.6s ● block(cluster)=1M 0.6s ● 格式化磁盘后的可用空间 ● block=4K Used:1.6G ● block(cluster)=64k Used:379M ● block(cluster)=1M Used:21M 对于SSD 硬盘，可以明显节省资金 测试数据 工具：iozone 单位：KB/sec 写4G 大小的文件 1MB