对象存储技术知识 信息存储理论与技术知识 .pptVIP

信息存储理论与技术 对象存储技术 网络存储需要解决的主要问题 随着网络技术的发展，网络化存储逐渐成为主流技术。其需要解决的主要问题如下： 提供高性能存储，在I/O级和数据吞吐率方面能满足成百上千台集群服务器访问请求； 提供安全的共享数据访问，便于集群应用程序的编写和存储的负载均衡； 提供强大的容错能力，确保存储系统的高可用性。 主流网络存储结构的问题 存储区域网（SAN）： 高性能 容错性 安全共享？ 附网存储（NAS）： 扩展性 共享 性能？ Why Object Storage? Storage technology has progressed to the point that a change in the device interface is needed Intelligent, self-managed,aware of the storage applications they serve. Object: the convergence of two technologies: files and blocks 对象存储结构 对象存储（Object-Based Storage, OBS)综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的数据共享等优势，提供了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。 对象存储结构 对象存储系统组成 对象(Object) 包含了文件数据以及相关的属性信息，可以进行自我管理 OSD（Object-based Storage Device) 一个智能设备，是Object的集合 文件系统 文件系统运行在客户端上，将应用程序的文件系统请求传输到MDS和OSD上 元数据服务器(Metadata Server，MDS) 系统提供元数据、Cache一致性等服务 网络连接 1. 对象(Object) 对象存储的基本单元。每个Object是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储中，块设备要记录每个存储数据块在设备上的位置。Object维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。Object的大小可以不同，可以包含整个数据结构，如文件、数据库表项等。 对象分类 2、OSD（Object-based Storage Device) 每个OSD都是一个智能设备，具有自己的存储介质、处理器、内存以及网络系统等，负责管理本地的Object，是对象存储系统的核心。OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。 OSD的主要功能 数据存储和安全访问 OSD使用Object对所保存的数据进行管理。它将数据存放到磁盘的磁道和扇区，将若干磁道和扇区组合起来构成Object，并且通过此Object向外界提供对数据的访问。每个Object同传统的文件相似，使用同文件类似的访问接口，包括Open、Read、Write等。但是两者并不相同，每个Object可能包括若干个文件，也可能是某个文件的一部分，且是独立于操作系统的。除了具体的用户数据外，OSD还记录了每个Object的属性信息，主要是物理视图信息。将这些信息放到OSD上，大大减轻了元数据服务器的负担，增强了整个存储系统的并行访问性能和可扩展性。 3、文件系统 文件系统对用户的文件操作进行解释，并在元数据服务器和OSD间通信，完成所请求的操作。 现有的应用对数据的访问大部分都是通过POSIX文件方式进行的，对象存储系统提供给用户的也是标准的POSIX文件访问接口。 接口具有和通用文件系统相同的访问方式，同时为了提高性能，也具有对数据的Cache功能和文件的条带功能。 同时，文件系统必须维护不同客户端上Cache的一致性，保证文件系统的数据一致 文件系统读访问实例： 客户端应用发出读请求; 文件系统向元数据服务器发送请求，获取要读取的数据所在的OSD; 然后直接向每个OSD发送数据读取请求； OSD得到请求以后，判断要读取的Object，并根据此Object要求的认证方式，对客户端进行认证，如果此客户端得到授权，则将Object的数据返回给客户端； 文件系统收到OSD返回的数据以后，读操作完成。 4.元数据服务器 (Metadata Server) 为客户端提供元数据，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的OSD等。 4.元数据服务器 (Metadata Server) 在传统的文件系统中，元数据由本机或者文件服务器负责维护，每次对数据块的操作都要获取元数据。 在对象存储系统中，由于每次操作只有一次对元数据的访问