GlusterFS培训.ppt

复合卷：哈希＋复制 哈希卷和复制卷的复合方式 同时具有哈希卷和复制卷的特点 Haibo Li/CC/IHEP * - * 复合卷：哈希＋条带 哈希卷和条带卷的复合方式 同时具有哈希卷和条带卷的特点 Haibo Li/CC/IHEP * - * 复合卷：条带＋复制 类似RAID 10 同时具有条带卷和复制卷的特点 Haibo Li/CC/IHEP * - * 复合卷：哈希＋条带＋复制 三种基本卷的复合卷 通常用于类Map Reduce应用 Haibo Li/CC/IHEP * - * Distributed Hash Table (DHT) GlusterFS弹性扩展的基础 确定目标hash和brick之间的映射关系 Haibo Li/CC/IHEP * - * 添加节点 添加新节点，最小化数据重新分配 老数据分布模式不变，新数据分布到所有节点上 执行rebalance，数据重新分布 Haibo Li/CC/IHEP * - * 容量负载均衡 Hash范围均衡分布，节点一变动全局 目标：优化数据分布，最小化数据迁移 数据迁移自动化、智能化、并行化 Haibo Li/CC/IHEP * - * 文件更名 文件更名：FileA ? FileB 原先的hash映射关系失效，大文件难以实时迁移 采用文件符号链接，访问时解析重定向 Haibo Li/CC/IHEP * - * 脑裂 所谓脑裂，就是指两个或多个节点都“认为”自身是正常节点而互相“指责”对方，导致不能选取正确的节点进行接管或修复，导致脑裂状态。 Glusterfs的冗余镜像（AFR）提供了数据副本功能，能够在即使只有一个冗余节点的情况下仍能正常工作，不中断上层应用。当节点恢复后，能够将数据修复到一致状态，保证数据的安全。 两个副本均为WISE时发生脑裂。 解决方法：1、报错处理；2、Quorum方法(N=2？)；3、仲裁机制 Haibo Li/CC/IHEP * - * （三）设计讨论 Haibo Li/CC/IHEP * - * 无元数据服务器 vs 元数据服务器 优点 没有单点故障和性能瓶颈问题，可提高系统扩展性、性能、可靠性和稳定性。有利于解决海量小文件元数据难点问题。 缺点 数据一致问题更加复杂，文件目录遍历操作效率低下，缺乏全局监控管理功能。 导致客户端承担了更多的职能，比如文件定位、名字空间缓存、逻辑卷视图维护等等，这些都增加了客户端的负载，占用相当的CPU和内存。 Haibo Li/CC/IHEP * - * 用户空间 vs 内核空间 用户空间实现起来相对要简单许多，对开发者技能要求较低，运行相对安全。 用户空间效率低，数据需要多次与内核空间交换，另外GlusterFS借助FUSE来实现标准文件系统接口，性能上又有所损耗。 内核空间实现可以获得很高的数据吞吐量，缺点是实现和调试非常困难，程序出错经常会导致系统崩溃，安全性低。 纵向扩展上，内核空间要优于用户空间，GlusterFS有横向扩展能力来弥补。 Haibo Li/CC/IHEP * - * 堆栈式 vs 非堆栈式 GlusterFS堆栈式设计思想源自GNU/Hurd微内核操作系统，具有很强的系统扩展能力，系统设计实现复杂性降低很多，基本功能模块的堆栈式组合就可以实现强大的功能。 非堆栈式设计可看成类似Linux的单一内核设计，系统调用通过中断实现，非常高效。系统核心臃肿，实现和扩展复杂，出现问题调试困难。 Haibo Li/CC/IHEP * - * 原始存储格式 vs 私有存储格式 GlusterFS使用原始格式存储文件或数据分片，可以直接使用各种标准的工具进行访问，数据互操作性好，迁移和数据管理非常方便。 数据是以平凡的方式保存的，接触数据的人可以直接复制和查看，存在数据安全问题。 GlusterFS要实现自己的私有格式，在设计实现和数据管理上相对复杂一些，也会对性能产生一定影响。 Haibo Li/CC/IHEP * - * 大文件 vs 小文件 GlusterFS适合存储大文件，小文件性能较差，还存在很大优化空间。 弹性哈希算法和Stripe数据分布策略，移除了元数据依赖，优化了数据分布，提高数据访问并行性，能够大幅提高大文件存储性能。 对于小文件，无元数据服务设计解决了元数据的问题。但GlusterFS并没有在I/O方面作优化，在存储服务器底层文件系统上仍然是大量小文件，本地文件系统元数据访问是一个瓶颈，数据分布和并行性也无法充分发挥作用。 Haibo Li/CC/IHEP * - * 可用性 vs 存储利用率 可用性与存储利用率是一个矛盾体，可用性高存储利用率就低，反之亦然。 采用复制技术，存储利用率为1/复制数，镜像是50%，三路复制则只有33%。 RAID5