浅析分布式存储架构—设计自己的存储-58同城徐振华.pptVIP

浅析分布式存储架构—设计自己的存储;内容概要;介绍;现状;基础知识;网络 服务器模型 ?s:1 , c:1 , bio; 一个请求一个线程 s:1 , c:n , nio ?;多个请求，一个线程分发 seda :Staged Event-Driven Architecture Select (轮询) 和 epoll （事件驱动 callback）; C10K问题,C500K，C**K 本质 方法: I/O模型 职责划分 内核和协议栈优化 目标 :尽量少占用CPU ，提高资源利用率 DRM的目标一致 常用网络库 Netty , Mina， libevent，libev, ACE，ASIO ; 各种IO模型;数据结构 主要存储模型 Consistent hash, (去中心化 ) B+ tree , (实时,随机) LSM tree, (批量 顺序) 其它 Bitmap (bloom filter 缓存命中) Dynamo,hbase Merkle Tree (一致性) Dynamo Skip List ( 跳表 lsm变形) leveldb prio_tree (优先搜索树 mmap) mognodb ; consistent hash ; B+ tree; cassandra 数据存储过程; Lsm tree ; Merkle Tree;集群 无主 ；Master_slave ; P2P(全主) 操作系统 进程调度 内存管理 文件管理： 存储领域 存储硬件 事务和锁（ MVCC 二段提交 三段提交 ,paxos） 常用数字 扇区 512, 内存页4k , 磁盘块大小 4k mtu 1500 其它领域 人工智能 : k_means;基础知识应用; linux vfs体系;如何设计架构; 分析需求，做好平衡 1 分析需求 数据结构 文件 table , object 数据特点 容量大小 访问模式 读写比例，实时读写，顺序读写 实时性 2 平衡 1 CAP理论 , BASE理论/ACID 2 选择存储模型 B+ or LSM 资源利用率和管理 高吞吐和低延迟 随机与顺序 规模与实时 B+ or LSM 3 实践 Mongodb选择 ; 原则和目标 原则： kiss unix 设计哲学 目标: RAS RAS: Reliability, Availability, Scalability 高可靠，高可用，高扩展 R:过载控制 : Qos, (随机早期检测) A: 容灾 ?多副本 （同机柜，机房，数据中心） S 扩容 ? 分片 ： a 取模 b 一致性hash c B+ tree 或变种 ; 利用硬件,分级存储 数据中心 Facebook开源服务器、数???中心,将开源存储方案, 分级存储 网络延迟 局部性原理 ? cdn 按对象访问热点进行迁移： 最热的进SSD，中等热度的放SAS，轻热度的存SATA 展望 硬件分离, 你的CPU在一台服务器上，而内存在另外一台服务器，网卡可能在第三台服务器上 ; facebook数据中心电力布局; 淘宝cdn分级; 数据分布; 实践1: Google Megastore; 实践2: Facebook Haystack图片存储架构;QA;谢 谢