分布式文件存储系统原型.pptVIP

分布式文件存储系统原型Soft-Raid 文件传输协议 系统基本思想 利用Raid算法实现一个分布式的文件传输协议，加快文件传输速度，提高数据的可用性。 四台对等服务器提供服务，无中心服务器 系统应该支持 上传(put) 下载(get) 删除(rm) 重命名(rename) 移动文件位置(mv) 设置文件权限(chmod) 多用户/多组之间文件共享 多用户/多组管理 维护一致性：事务处理 写操作使用分布式事务 使用两阶段提交协议保证服务器之间的数据一致性 RAID：3-of-4 Encoding 文件被分割为3个等大的块，根据这三个块计算出一个同样大小的校验块，将这四块分别存到不同的服务器上。当文件大小小于某阈值时，则将该文件直接在各服务器上存储一份复本 读取时只要读取任何三块都可以还原出原来的文件，通常只取源文件的分割块以减少计算时间 当服务器上任何一块丢失或损坏后，可以通过其他三块计算出损失的块 效率：3-of-4 Encoding 同时从三个服务器读取比从单个服务器上要快近三倍，同时存储的数据量只为源文件的4/3倍，冗余量小 容错性与自动恢复 当4台服务器中任何一台瘫痪后，用户只能进行读操作 在瘫痪的服务器重起后，管理员可以通过管理软件端控制它进行数据恢复 数据恢复完成后用户可以在此进行写操作 管理软件 添加/删除/修改用户、组 设置用户的磁盘配额 可以修改任何用户的文件 服务器瘫痪时进行数据恢复 安全：文件加密传输 用户可以选择使用SSL协议进行传输加密 实现上使用OpenSSL,对上层传输透明 维护一致性：并发控制 服务器端利用多进程和文件锁控制多个用户的并发问题 每个进程服务一个用户连接 进行读操时加读锁 进行写操作时加写锁 * *