分布式存储系统的架构设计和应用讲义.ppt

资料仅可参考，如有不妥，请联系本人改正或者删除。 * 2020年08月13日 分布式存储系统的架构设计和应用 2020年08月13日 分布式存储系统的架构设计和应用 * SST file的索引结构： 4级索引 2020年08月13日 分布式存储系统的架构设计和应用 * Compaction 1. 旧式KV存储系统，文件空间管理采用类似内存管理的Buddy算法，产生大量碎片，需要定期整理。 2. compact的核心价值是通过compact将删除记录或过期记录去掉，避免文件空洞的产生。 2020年08月13日 分布式存储系统的架构设计和应用 * Level Compaction 2020年08月13日 分布式存储系统的架构设计和应用 * column family 2020年08月13日 分布式存储系统的架构设计和应用 * Compaction Filter Compaction时执行的业务规则，如实现TTL, 无用数据的清除等。 2020年08月13日 分布式存储系统的架构设计和应用 * 数据回收方式 影响范围 TTL Record的生命周期 expire 回收某个时间点之前的所有record version 回收某个version的所有record HDEL Record, 影响范围：db write + compaction 大量使用时，占用write吞吐，占用介质容量，compact时大量占用cpu，只适合于流式更新。 数据回收方式 2020年08月13日 分布式存储系统的架构设计和应用 * 数据回收流程 2020年08月13日 分布式存储系统的架构设计和应用 * 分布式表格系统 column1 column2 column3 … column - n Key1 key2 key3 … Key n 客户端在初始化的时候指定要访问column的集合(schema) 请求协议： “key1+key2+…+keyn\r\ncolumn1+column2+…+column-n” 返回协议：“v11+v12+..+v1n\r\nv21+v22+..+v2n\r\n…” 2020年08月13日 分布式存储系统的架构设计和应用 * 分布式kv存储平台化 2020年08月13日 分布式存储系统的架构设计和应用 * KV存储引擎的发展 极致写= write-ahead logs + memtable + level compaction 极致读 = ？ 2020年08月13日 分布式存储系统的架构设计和应用 * 索引与数据的分离 * 2020年08月13日 分布式存储系统的架构设计和应用 Q A * 2020年08月13日 分布式存储系统的架构设计和应用 THANK YOU ? 资料仅可参考，如有不妥，请联系本人改正或者删除。 * 2020年08月13日 分布式存储系统的架构设计和应用 资料仅可参考，如有不妥，请联系本人改正或者删除。 * 2020年08月13日 分布式存储系统的架构设计和应用 资料仅可参考，如有不妥，请联系本人改正或者删除。 * 2020年08月13日 分布式存储系统的架构设计和应用 资料仅可参考，如有不妥，请联系本人改正或者删除。 * 2020年08月13日 分布式存储系统的架构设计和应用 资料仅可参考，如有不妥，请联系本人改正或者删除。 * 2020年08月13日 分布式存储系统的架构设计和应用 资料仅可参考，如有不妥，请联系本人改正或者删除。 * 2020年08月13日 分布式存储系统的架构设计和应用 资料仅可参考，如有不妥，请联系本人改正或者删除。 * 2020年08月13日 分布式存储系统的架构设计和应用 资料仅可参考，如有不妥，请联系本人改正或者删除。 * 2020年08月13日 分布式存储系统的架构设计和应用 资料仅可参考，如有不妥，请联系本人改正或者删除。 * 2020年08月13日 分布式存储系统的架构设计和应用 资料仅可参考，如有不妥，请联系本人改正或者删除。 * 2020年08月13日 分布式存储系统的架构设计和应用 资料仅可参考，如有不妥，请联系本人改正或者删除。 * 2020年08月13日 分布式存储系统的架构设计和应用 资料仅可参考，如有不妥，请联系本人改正或者删除。 * 2020年08月13日 分布式存储系统的架构设计和应用 资料仅可参考，如有不妥，请联系本人改正或者删除。 * 2020年08月13日 分布式存储系统的架构设计和应用 资料仅可参考，如有不妥，请联系本人改正或者删除。 * 2020年08月13日 分布式存储系统的架构设计和应用 资料仅可参考，如有不妥，请联系本人改正或者删除。 * 2020年08月13日 分布式存储系统的架构设计和应用 资料仅可参考，如有不妥，