第十九章 软件RAID和并行文件系统解读.pptVIP

并行预取和缓存的调度 执行预取时需要一个好的预取和缓存的调度方法 （过早、过晚都不好、多个磁盘系统） 积极的算法（预取的块替换掉在最远的将来才会访问到的块） * 积极的算法（示例） 两个磁盘 、三个缓存块，读取一个块需要两个时间单元，一个磁盘一次只能读取一个块。 块流顺序：F1、A1、B2、C1、D2、E1和F1 * 反向积极算法 积极算法在多个磁盘中性能有待提高 通过替换平衡磁盘负载达到接近最优消失时间。 生成请求的反向序列； 在避免并行替换同一磁盘上的块的前提下生成积极调度方案； 将反向序列中的每次读取操作作为正序列中的一次替换就可以将第二步生成的调度方案转化得到原始序列的调度方案，反之亦然； * * 19.1 引言 19.2 数据的物理存取 19.3 缓存 19.4 预取 19.5 接口 * 工作站集群系统的主要优点之一是可以提供巨大的资源，而传统方式下只有那些连接到给定资源节点上运行的进程才能访问，而且操作步骤复杂又不透明，一个完美的工作站集群文件系统应当为用户提供透明访问文件系统中所有磁盘和缓存内存的方法。 例如，访问远程机器磁盘上文件的方法通常是ftp所需的文件到本地磁盘上，而在工作站集群中应当可以友好地从任何一个节点上访问这些资源。 运行在工作站集群的应用程序需要高性能的I/O系统支持。 工作站集群与并行处理机的应用环境类似，并行处理机上的应用程序也应当可以在工作站集群上运行，这些应用程序通常需要处理大量的数据，而这些数据无法保存在内存中，因此也就需要能快速读写数据的文件系统。 并行应用程序在工作站集群运行时，I/O系统应当支持协同操作。 * 在设计开发高性能的文件系统之前，应当首先考虑工作站集群的特点和使用文件系统的方法。 工作站集群的优点： 具有大量的资源； 具有连接所有节点的高速互联网络； 越来越接近于并行处理机。 * 设计工作站集群文件系统需要解决的问题 问题一：可见性问题 大量磁盘分散在各个节点上 希望从集群中任一节点都可以访问这些磁盘。 改变磁盘上数据的存放方式 问题二：实现高性能I/O系统相关的问题 提高磁盘性能的惟一方法是改变磁盘上数据的存放方式。 * 挂载远程文件系统（一） 应用这种思想的系统可以像管理本地文件系统一样管理远程文件系统。 系统管理员将远程文件系统挂载到系统目录结构任一已有的可访问的目录（如下图所示）。 * 挂载远程文件系统（二） 维护远程挂载信息的两种方法 在客户端维护挂载信息 (SUN NFS)； 在服务器上保存挂载信息 (Sprite 系统)； 为提高挂载文件系统机制性能，采用缓存技术。 * 名字解析（一） 即如何用名字来定位文件或目录。 两种名字解析方法方法 集中式； 分布式； 集中式名字解析策略 一个节点负责维护映射表,并由该节点记录新对象存储位置； 保存映射信息的节点的失败将导致整个文件系统的失败； 大系统中集中的服务器可能成为瓶颈，降低系统的性能。 * 名字解析（二） 分布式名字解析策略的两种方法： 系统建立自己的名字空间 (如SUN NFS) 整个系统建立唯一的全局结构。目录树划分为不同的域，每个服务器负责维护其中的一个域，（这个名字服务器知道域内那个节点的磁盘存储这些数据） * 名字解析：划分目录树为域的例子 * RAID（一） 将几个磁盘连接到一个控制器，使磁盘具有更高的数据传输带宽。 其高性能来自三个方面： 不同磁盘上的数据可以同时读取，提高磁盘带宽； 所有磁盘可以并行执行搜索操作，减少搜索时间； 一个请求可以并行处理。 数据间隔(在磁盘中间隔存储数据) 细粒度磁盘阵列 粗粒度磁盘阵列 * RAID（二） RAID 需要相应的容错机制来保证在不丢失磁盘信息的前提下允许磁盘失败。划分了五个级别RAID。 * RAID（三） * RAID（四） * 逻辑 RAID (软件 RAID) 文件系统既要负责分布数据，也要保持期望的容错级别。 拆分组 问题 需要大量的小块写操作； 节点网络带宽的限制； 磁盘失败的可能性增大。 解决方案 在所有磁盘的一些子集上拆分数据。 * 日志结构文件系统 （一） 思想：大部分写操作是顺序执行的文件系统 和传统文件系统（Unix FS）的区别 所有的写操作都是顺序完成的。 数据块和元数据经常移动 * 日志结构文件系统（二） 传统Unix文件系统和日志结构文