网易视频云技分享：linux软raid的bitmap分析.docx

网易视频云技术分享：linux软raid的bitmap分析网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PAAS服务，在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云的技术专家给大家分享一则技术文:linux软raid的bitmap分析。在使用raid1，raid5等磁盘阵列的时候，对于数据的可靠性有很高的要求，raid5在写的时候需要计算校验并写入，raid1则写源和镜像来保证数据的一致性，在写的过程中，有可能存在不稳定的因素，比如磁盘损坏，系统故障等，这样导致写入失败，在系统恢复后，raid也需要进行恢复，传统的恢复方式就是全盘扫描计算校验或者全量同步，如果磁盘比较大，那同步恢复的过程会很长，有可能再发生其他故障，这样就会对业务有比较大的影响。以raid1来说，在发生故障时，其实两块盘的数据很多都是已经一致的了，可能只有少部分不一致，所以就没必要进行全盘扫描，但是系统并不知道两块盘哪些数据是一致的，这就需要在某个地方记录哪些是已同步的，为此，就诞生了bitmap，简单来说，bitmap就是记录raid中哪些数据是一致的，哪些是不一致的，这样在raid进行恢复的时候就不用全量同步，而是增量同步了，从而减少了恢复的时间。1. bitmap的使用bitmap的使用比较简单，mdadm的帮助文档里有很详细的说明。bitmap分两种，一种是internal，一种是external。internal bitmap是存放在raid设备的成员盘的superblock附近（可以在之前也可以在之后），而external是单独指定一个文件用来存放bitmap。这里简单的介绍一下bitmap的使用。# mdadm –create /dev/md/test_md1 –run –force –metadata=0.9 –assume-clean –bitmap=/mnt/test/bitmap_md1 –level=1 –raid-devices=2 /dev/sdb /dev/sdcmdadm: /dev/sdb appears to be part of a raid array:level=raid1 devices=2 ctime=Tue Dec 17 21:00:58 2013mdadm: array /dev/md/test_md1 started.查看md的状态#cat /proc/mdstatPersonalities : [raid1]md126 : active? raid1 sdc[1] sdb[0]2097216 blocks [2/2] [UU]bitmap: 1/257 pages [4KB], 4KB chunk, file: /mnt/test/bitmap_md1可以看到最后一行就是md126的bitmap信息，这里的默认bitmap的chunksize是4KB，可以通过–bitmap-chunk来指定bitmap chunk大小，bitmap的chunk表示在bitmap中1bit对应md设备的一个chunk（大小为bitmap的chunksize）。这里对cat /proc/mdstat查看到的bitmap的信息进行说明。其中的4KB chunk表示bitmap的chunk大小是4KB；1/257 pages指的是bitmap所对应的内存位图（作为磁盘上的bitmap的缓存，提高对位图的操作效率），257是内存bitmap占的总page数，1表示已经分配的page数，内存bitmap是动态分配的，使用完后就可以回收。内存位图使用16bit来表征一个chunk，其中的14bit用来统计该chunk上正在进行的写io数（后面会有详细的介绍）。[4KB]表示已经分配的内存位图page总大小。总的chunk数=md设备大小/bitmap的chunk大小内存bitmap一个page可以表示的chunk数=PAGE_SIZE*8/16内存bitmap占的总page数=总的chunk数/内存bitmap一个page可以表示的chunk数上面给出的例子中总的chunk数为2097216KB/4KB=524304取页大小为4096，一个page可以表示的chunk数为4096*8/16=2048总共需要524304/2048=256个page，看实际上是257，这是因为有可能不能整除的情况，最后一个page可能不是全部都使用。2. bitmap的内存结构bitmap的结构体有比较多的字段，这里关注几个重要的字段，加以说明，便于后面的分析。struct bitma