微信sqlite数据库损坏恢复实践.pdfVIP

微信 SQLite 数据库 损坏恢复实践 johnwhe (何俊伟) SQLite 恢复 ◊问题背景 ◊常规做法 ◊数据备份 ◊Repair Kit ◊组合方案 问题背景 ◊微信聊天记录只存客户端 ◊SQLCipher 加密数据库 问题背景 ◊SQLite 概率性损坏 ◊1/20,000 ~ 1/10,000 ◊256MB ~1% ，1GB ~1‰ ◊设备断电、kernel crash、空间不足 SQLite 恢复 ◊问题背景 ◊常规做法 ◊数据备份 ◊Repair Kit ◊组合方案 常规做法 ◊.dump 命令 ◊来自 SQLite 命令行工具 ◊整个 DB 输出为 SQL 语句 .dump 输出 .dump 用于恢复 ◊打开损坏 DB 后使用 ◊遇到错误前一直输出 ◊遇到错误，跳到下一个表 .dump 成功率 ◊成功率仅 ~30% ◊打不开 DB ◊打开了读不出数据 SQLite 恢复 ◊问题背景 ◊常规做法 ◊数据备份 ◊Repair Kit ◊组合方案 数据备份 ◊主要考虑因素 ◊恢复成功率 ◊空间大小 ◊性能 ◊加密 备选方案 方案 优点 缺点 文件复制 + 压缩 实现简单 非原子操作 Backup API 热备份 稍慢 .dump 有选择备份 （SELECT 输出） 备选方案 测试： ~50MB ，10W 条目，加密 DB 32 92 复制 + 压缩 48 48 Backup + 压缩 dump + 压缩 18 14 6.5 3.2 3.2 大小(MB) 备份耗时(秒) 恢复耗时(秒) .dump ：先压缩后加密 → 压缩率高 我们的方案 ◊基于 dump + 压缩 ◊加密保存 ◊自定义二进制格式 ◊多线程流水线 ◊只备份不可恢复数据 ◊灭屏充电时备份