基于Ceph的对象存储和文件互操作研究.PDFVIP

基于Ceph的对象和文件互操作研究 2017.09 互联网和物联网持续推动大数据经济 44ZB 数据产生 4500亿美元数据价值 80% 以上的数据 将是非结构化数据 至2020年 ， 500亿设备实现互联 图灵奖得主Jim Gray ： 未来10年内 ， 从现在起 ，每18个月 ，新增 将增加44倍的数据和内容 的数据量等于有史以来数据 量之和。 三种主流存储方案 块存储 文件存储 对象存储 • 多个磁盘组成一个LUN • 多个LUN组成一个文件系统 • 多个站点组成一个全局对象存储池 • 访问单元为 “ 块” • 访问单元为 “ 文件” • 访问单元为 “ 对象” • LUN的大小通常10TB •分层文件结构和有限的命名空间 • 扩展到几百PB甚至更多 • 文件数量几千万 •卷组大小通常 100TB • 对象数量可以到几千亿 • 无法直接共享 • 文件数量几亿 • 多种共享方式 •数据中心内访问 • 通过CIFS或者NFS共享 • 扁平的数据组织结构易于并发访问 • 通过复制或者镜像实现主/ • LAN访问 • 基于互联网的新增业务 备拷贝 • 通过复制实现主/备拷贝 • 多活、多区、多副本 对象存储适用于海量的非结构化半结构化 ，去中心的数据存储 非结构化数据的主流存放方案 - 对象 （Object ）存储 电子邮件 视频 文件 音频 表格 图片 对象 “ ” ，可以是任意格式 ，任意大小 ，附加任意属性 什么是对象 （Object ）存储 对象/ Object • 对象存储内数据存储的最小实体 • 由对象数据和元数据组成 10110001101 • 读写权限继承桶的