对象存储技术.pptVIP

对象存储与传统存储的对比 存储接口 存储系统 优点 缺点 块级存储 块 块存储设备 如: SAN , 提供高性能的随机I/O和数据吞吐率 可扩展性和可管理性较差、价格较高、不能满足成千上万CPU 规模的系统 文件储存 文件 块存储设备 ＋文件系统 如:NAS, 扩展性好、易于管理、价格便宜 开销高、带宽低、延迟大,不利于高性能集群中应用 对象存储 对象 块存储设备 ＋文件系统 ＋定位逻辑 ＋应用程序 支持高并行性、可伸缩的数据访问, 管理性好、安全性高、适合高性能集群使用 处于发展阶段,相应的硬件、软件支持有待进一步完善 对象存储的特性（总结） 性能优势 存储设备的智能化 数据的共享更容易 管理更方便 更好的安全性 对象存储系统实例：Lustre A shared file system for HPC clusters Open Source software (GPL) linux cluster Very high metadata and I/O performance 5,000 file creations/sec in 1 dir, 1,000 nodes Single clients up to 290MB/sec. Aggregate up to 11GB/sec Scalable to 1,000’s of nodes In production now on such clusters Lustre Retrospective 1999 Initial ideas @CMU Seagate: management aspects, prototypes Much survives today 2000 National Labs Can Lustre be next generation FS? 100 GB/sec, trillion files, 10,000’s clients, secure, PBs 2002 – 2003 Many partners: Dell, HP, Cray, LNXI, DDN others Production use, 1.0 released A Lustre Cluster Lustre Systems Clients 1000’s now, 10,000’s future Obtain access to Lustre file system Typical role: Linux compute server OSS 100’s now, 1000’s future Object storage servers Linux servers handling (stripes of) file data MDS 10‘s, 100’s nodes Metadata request transaction engine. Linux server handling metadata requests Key Design Issue : Scalability I/O throughput How to avoid bottlenecks Metadata scalability How can 10,000’s of clients work on files in same folder Cluster Recovery If sth fails, how can transparent recovery happen Management Adding, removing, replacing, systems; data migration backup Reference Lustre: A SAN File System for Linux http://www//docs/lustre/luswhite.pdf Several presentation materials from Dr. Peter J. Braam * 1、RootObject 存储设备都包含一个惟一的RootObject。此Object中包含了存储设备的全局属性，包括GroupObject数目、UserObject数目、服务特性等，由存储设备负责维护 2、GroupObject 对UserObject进行管理，其中包括了一个UserObject列表、最大可用的UserObject数目、当前Group的容量等 GroupObject的默认属性从RootObject中继承而来，所包含的数据是当前可使用的ObjectID。 3、UserObject 存放具体数据的Object类