WOS云存储系统介绍.pptx

WOS云存储系统介绍超大规模、面向对象、地理分布Agenda公司简介传统方案的困境WOS?定位与典型应用场景WOS?技术细节QA对象存储解除了传统方案面临的困境2/7/12NAS在亿级文件数量时的性能瓶颈NAS设备管理了大量目录元数据如果在每个目录下存储几千个文件，读一个几KB的文件可能需要10个以上磁盘操作；即使将每个目录下的文件数量削减为几百个，为获取1个小文件NAS系统仍然需要至少3个磁盘操作：将目录元数据加载到内存并将文件名转换为inode number、从磁盘上读取inode、读取文件本身NAS+NFS/CIFS成本高缓存文件句柄对long tail数据的性能帮助很小WOS每节点可管理40亿个文件对象WOS单一集群可管理10000亿个文件对象；且单位TB的IO性能基本恒定。海量冷数据的成本问题云备份、iCloud、电信运营商的话单日志、Facebook等SNS网站…上述海量数据中，long tail数据占很大比例传统CDN使用RAM缓存实现低延迟、高并发，为热点数据提供了高性能；但对long tail数据无能为力如何降低海量数据的存储成本，降低访问long tail数据的延迟，提高IO性能？Size of HDDSize of RAMCDN的价值＝Long tailCIO的困境现有应用新增应用Data Flow故障点多，管理复杂，TCO高，新增应用困难，扩容升级困难File system: 对现有应用优化索引票据影像数据存储Volume Manager：对现有数据优化?索引票据影像数据存储安装即过时——索引票据影像数据存储RAID/LUN：安装时用PND算法设定索引数据Hard disk：第一次购买时最优BYOD、Cloud、Social、Mobile…Big Data！预算有限，分身无术，客户需要一个简化的IT数据与应用系统紧密耦合，“牵一发动全身”扩容、改造、升级常受制于系统现状及软件开发商对象对象被存储在几乎无限大的平面地址空间内；将数据保存在被称为Object的容器里每个Object都有data和metadataObject ID (OID):ACuoBKmWW3Uw1W2TmVYthASecurity Signature平面命名空间Replication/Protection PolicyAsync, Sync, ObjectAssure CodingMetadata Metadata Metadata 64bit ChecksumData Data Data User Metadata (64MB)Key-value or binaryTag=Beach; Thumbnails没有文件系统的复杂性1MB以内对象的每次读写只执行1次硬盘IO对不同大小的文件自动优化IO性能无中心管理Full File/Object1MB Objects Segmented into 1MB Chunks读/写数据流程(1)一个文件被上传到应用服务器或者web服务器D.应用程序返回文件给用户A.某用户需要读取一个文件(2)应用程序调用WOS客户端保存(PUT)一个新对象B.应用程序调用WOS客户端读取(GET)该对象；OID被传递给 WOS客户端.(3)WOS客户端在节点中保存该对象；后续的对象在云中被自动负载均衡。C.WOS客户端自动判断哪个节点拥有被请求的对象，从延迟最低的数据源读取该对象，并迅速将该文件返回给应用程序(5)WOS客户端返回唯一的标识符OID；应用程序保存该OID而不是传统的文件路径，然后应用程序在内容数据库中注册该OID。应用/Web 服务器OID = 5718a36143521602OID = 5718a36143521602内容数据库(4)系统根据WOS的策略复制数据。本例中，该文件被复制到Zone 2。LAN/WANZone 1Zone 2文件存储 vs. 对象存储File StorageObject StorageMillions of FilesAmendable DataLocking MechanismsFile System HierarchyComplex to ScaleTCO increases exponentiallyHundreds of Billions of ObjectsImmutable DataNo Locking MechanismsOne Storage Pool, Object ID’sScales UniformlyLowest TCOWOS?典型应用场景WOS?用于数据源 数据加速（CDN）内容上传城市1内容源城市2AutomaticPolicy-basedSynchronizationWOS Cache ServerWOS Cache ServerWOS