《大数据对象存储OpenStack Swift 李明宇Microwise》.pdf

“中关村大数据产业联盟”推出“大数据100 分”论坛，每晚 9 点开始，于“中关村大数据 产业联盟”微信群进行时长 100 分钟的交流、探讨。 【大数据 100 分 】中国科学院李明宇：分布式对象存储的特点、技术现状及前沿问题 主讲嘉宾：李 明宇 主持人：中关村大数据产业联盟 学术委员会主任委员 阮彤 承办 ：中关村大数据产业联盟 嘉宾介绍 ： 李明宇 ：博士，中国科学院软件研究所综合信息系统技术重点实验室云计算与大数据系统研 究组负责人。 IEEE International Workshop on Cloud Computing for Signal Processing, Coding and Networking (IWCCSP) 发起人和 Program Chair，IEEE International Conference on Pervasive Computing Signal Processing and Applications 特邀会议主席，在 IEEE Transaction on Cloud Computing 等多个国际期刊担任审稿人。 产学研结合的践行者，2008 年进入中科院软件所工作以来，带领团队完成多个云计算方面的 工程项目，在多个国家大型工程项目中负责虚拟化资源池的设计与实现，为多个互联网公司 供分布式系统相关的咨询和优化 。 曾作为演讲嘉宾出席国际学术会议 IC2E、C3 沙龙、中国高校云教育创新技术应用及人才培养 高峰论坛。 以下为分享实景全文： 李明宇： 谢谢大家周六晚上还在这里参与活动。我目前在软件所带一个团队围绕 OpenStack 做一些工作，一方 面是基于 OS 的私有云部署，另一方面是在大数据系统云化和分布式对象存储方面做一些研究。重点 在分布式对象存储，也就是今天讨论的主题。 我今天的分享主要包括以下几个部分： 1. 这里所说的分布式对象存储的概念； 2. 一个典型的开源分布式对象存储系统 OpenStack Swift ； 3. 该方向上可以继续做研究的点 一、 对象存储的概念 我们平时说的对象存储，其实有两大类。 我们今天这里说的对象存储是以 2006 年 Amazon 发布的 AWS S3 服务为代表的。使用 REST、SOAP 等 Web Service 访问接口读写数据及其 metadata，一般采用分布式架构实现，具有很好的 scalability，尤 其是 scale out 特性。 另一类呢，通常指基于 OSD (Object Storage Device) + MDS (Metadata Server) + Client 架构实现的分布式 对象存储系统，这一类国内比较著名的有华科冯丹老师她们做的 CapFS 。这类不一定直接支持 Web Service 接口。前一类也不一定采用 OSD (Object Storage Device) + MDS (Metadata Server) + Client 架构实 现。 虽然在使用的某些技术上二者有关联性，但是总之来说，不能混为一谈。这里重点讨论的是前一类， 即目前在云服务中常见的以 Web Service 接口访问数据的对象存储系统。 这里比较典型的例子有 AWS S3 、国内的七牛和 OpenStack Swift 。 商用产品国内比较有代表性的是华为的 UDS。我们也即将推出我们自己的对象存储产品，我们的产品 将以简介的界面、低廉的拥有成本和运维成本为企业用户实现TB 到PB 级可平滑扩展的对象存储方案， 预计发布时间为八月份到九月份，敬请期待。 与对象存储相对的两个概念是块存储和文件系统，下面也简单说一下，以便大家更好地理解对象存储 的概念： 1. 块存储：其典型代表是本机的磁盘（未格式化的）和 SAN 存储设备； 2. 文件系统：其典型代表如大家比较熟悉的单机的 NFS，分布式的 HDFS。 块存储缺少对数据的抽象和述，所以除了在数据库和操作系统底层等少数地方以外，很少直接使用； 文件系统用得较多，大家也较为熟悉，但是文件系统结构经常比较复杂，比如说大家在自己计算机上 经常要维护一个很深的目录树。 而对象存储的一个典型特征是采用扁平化结构管理所有数据，一般来说，一个对象存储只采用两级到 三级结构，比如说 Bucket-Object 或者 Account-Container-Object 。 对象存储里的