WindowsIO资源隔离方案.pdfVIP

Windows IO资源隔离 方案分享 淘宝核心系统鸣嵩（@曹伟-鸣嵩） 2013/8/12 项目背景 • 聚石塔RDS的SQL Server数据库 – 高配物理机96G 内存12块SSD盘 – 一台物理机运行多个SQL Server进程，卖给不同客户 – Windows缺少IO资源隔离机制，进程IO行为会相互干扰 • 硬件厂商Fusion IO、LSI方案 – 依赖固件，或和固件绑定 – 评测中不能定量控制IOPS，无法产品化 • 集团内部悬赏1万元征求方案 需求 • 需要一个Windows版的Cgroup blkio方案 – 以进程组为单位进行控制 • 一个进程组包含多个进程 • 为进程组设置IOPS配额，可以动态调整 • 该组内的进程共享IOPS配额 • 支持查询进程组、组内每个进程的IO计数器 – 性能 • 压力足够时，IOPS值不能有明显波动 • IO控制带来的额外的CPU开销不能超过5% Windows IO系统 ntdll.dll陷入内核 创建IRP 在驱动层之间传递IRP IRP结构 • 请求类型 – IRP_MJ_READ – IRP_MJ_WRITE • I/O stack location数组 – 每个驱动层对应一个entry – 存储驱动层的上下文数据 IRP处理流程图 文件系统驱动层VS 设备驱动层 • 在文件系统层做IO控制 – Pros • 与具体设备类型无关 • 可以跨设备控制多个设备上的IO • 可以控制用户发起的所有IO，包括被FS缓存的，缓存也可以收费 • 开发难度小，不涉及ISR和DPC – Cons • 没办法看到真正落到设备上的IO个数 放大看文件系统驱动 • 新版Windows支持Minifilter， 简化了文件系统驱动的开发 • 基于Minifilter可以开发很多 创意功能 – 系统监控 – 病毒文件检查 – 透明加密 – …… – 当然，可以做IOPS控制 iopsflt 文件系统驱动层方案 应用程序 SQLServer SQLServer SQLServer 进程/进程组 截获读/写请求 进程组A 进程组B 进程组C 配置IOPS限制 IOPSFLT 客户端 IOPS流控 驱动模块 iopsflt.exe iopsflt.sys 获得IOPS统计 Windows 内核