flashcache原理及改造.pdf

flashcache 内部原理和优化 核心系统部-内核组 Robin Dong robin.k.dong@ 讲师介绍 ? 核心系统部-内核组-董昊（花名：三百） ? 2006年加入阿里巴巴-雅虎中国 从事c/c++服务端程序开发 ? 2008年转入淘宝，继续从事c/c++服务端程序及公用库开发 ? 2011年转入核心系统部内核组，目前从事文件系统和IO相关的内核开 发和调优 ? 内核组百科：/index.php/Kernel ? 内核组wiki：/ 课程目标与目标学员 ? 面向学员：=P6，有linux上编程开发经验 ? 课程目标：通过本课程，学员可以： 1. 更深的理解linux的block层结构 2. 了解linux的device mapper框架 3. 了解flashcache的原理 课程大纲页 1. Linux内核的block层 2. Device Mapper原理 3. Flashcache原理 4. Flashcache改造 Linux内核的Block层 ? Block层位于文件系统层之下，设备驱动层之上 图片来自 / Linux内核的Block层 ? BIO与request 图片来自 /Articles/26404/ Linux内核的Block层 ? Linux内核的所有IO最后都走到submit_bio函数 图片来自 / Linux内核的Block层 ? request_queue 图片来自 /fudan_abc/article/details/2034264 Linux内核的Block层 ? IO调度器 ? cfq （为每个进程准备一个队列） ? deadline （读请求、写请求两个队列） ? anticipatory （deadline的改进） ? noop 课程大纲页 1. Linux内核的block层 2. Device Mapper原理 3. Flashcache原理 4. Flashcache改造 Device Mapper原理 ? 将两个（或多个设备）聚合成一个虚拟设备 图片来自 / Device Mapper原理 ? 线性聚合 ? dmsetup create my_linear table.txt ? table.txt: 0 1048576 linear /dev/sda 0 1048576 2097152 linear /dev/sdb 0 Device Mapper原理 Device Mapper原理 ? striped聚合（RAID0） ? dmsetup create my_stripe table.txt ? table.txt: 0 2097152 striped 2 32 /dev/sda 0 /dev/sdb 0 Device Mapper原理 课程大纲页 1. Linux内核的block层 2. Device Mapper原理 3. Flashcache原理 4. Flashcache改造 Flashcache原理 ? Flashcache用device mapper框架实现 Flashcache原理 ? 直接处理传入虚拟设备的BIO ? 默认每8个sector（512Bytes）为一个block，每512个block为一 个set; cache和disk都按此划分 ? set内的block由LRU链表管理 ? 非常简单的Hash算法：在disk上属于哪个set，直接模上cache 的set数 Flashcache原理 Flashcache原理 ? Writeback（回写）模式 – 写操作迅速完成（只写cache） – 利用work_queue（由keventd内核线程执行）把cache中的 dirty block写往disk Flashcache原理 ? Flashcache的可调参数 ? /proc/sys/dev/flashcache/fioa3+fioa1/ ? dirty_thresh_pct （可以最多保持多少dirty blocks，针对单个set） ? do_sync ? fallow_clean_speed/fallow_delay ? skip_seq_thresh_kb （用32个seqio结构来跟踪连续的IO流） 课程大纲页 1. Linux内核的block层 2. Device Mapper原理 3. Flashcache原理 4. Flashcache改造 Flashcache改造 线上RDS平