FASTDFS文件服务器架构方案解说.ppt

MooseFS特点 MooseFS文件系统结构包括以下四种角色：管理服务器 (master)，元数据日志服务器（Metalogger），数据存储服务器 (chunkservers)，客户端（client）； 文件分片（64Mb）； 多点备份，动态冗余备份； 可以自定义文件存储路径； 需要保持文件索引，内存消耗较大； 对小于64Kb的数据的存储性能不高。 TFS（TaobaoFS）特点 完全扁平化的数据组织结构，抛弃了传统文件系统的目录结构。 在块设备基础上建立自有的文件系统，减少EXT3等文件系统数据碎片带来的性能损耗。 单进程管理单块磁盘的方式，摒除RAID5机制。 带有HA机制的中央控制节点，在安全稳定和性能复杂度之间取得平衡。 尽量缩减元数据大小，将元数据全部加载入内存，提升访问速度。 跨机架和IDC的负载均衡和冗余安全策略。 完全平滑扩容。 HDFS特点 1 扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。2 成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。3 高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速。4 可靠性（Reliable）：hadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。 附录 参考资料站点： FastDFS中文：/ FastDFS英文：/p/fastdfs/ 文件服务器架构方案 目标：近期需要对服务器架构优化，需要一套文件服务器架构方案，期望达到如下目标：1、建立独立的文件服务器。2、文件服务器需要考虑扩展性，能够增加服务器扩充文件服务器容量。3、文件服务器有独立的二级域名访问，并能够通过接口上传，文件以图片和音频为主。4、文件服务器可以考虑备份机制，尽可能是增量备份。5、文件服务器如果可以实现个别文件加密访问更好。 * 第一部分：主要阐述在互联网应用中分布式存储承担着那些责任，面临着哪些挑战； 第二部分：从总体体系到架构机制中fastdfs是如何一一应对挑战的； 第三部分：基本的使用。网络部署情况，接口提供情况； 第四部分：根据整体架构的剖析，总结优缺点； 第五部分：通过优缺点的分析和陈列，看其他分布式存储是否有好的东西移植，有哪些不足需要补充。 * 在互联网应用中，需要做到：数据的安全性，服务的实效性，大数据量的管理功能。 常规的处理方式是怎样： * * Tracker Server：跟踪服务器，主要做调度工作，在访问上起负载均衡的作用。在内存中记录集群中group和storage server的状态信息，是连接Client和Storage server的枢纽。 tracker?server在内存中记录分组和Storage?server的状态等信息，不记录文件索引信息，占用的内存量很少。另外，客户端（应用）和Storage?server访问Tracker?server时，Tracker?server扫描内存中的分组和Storage?server信息，然后给出应答。由此可以看出Tracker?server非常轻量化，不会成为系统瓶颈。 Storage Server：存储服务器，文件和文件属性（meta data）都保存到存储服务器上 * 存储节点是可以分组的，结构可以跟图形相似。FastDFS实现了软件方式的RAID 统一组内每一个storage都是一致的。都保存的相同的内容。起冗余备份的作用。 扩容可以通过为每一个sotrage添加磁盘，或是添加存储组（也叫卷） * 对等结构的好处：FastDFS集群中的Tracker?server也可以有多台，Tracker?server和Storage?server均不存在单点问题。 缺点：由于安装的对等需求，所以在存储机制上存在木桶的短板原理。 线性扩容如何解决， 线性扩容需要解决的问题 同步延时和同步 * * 上传： 1. client询问tracker上传到的storage，不需要附加参数； 2. tracker返回一台可用的storage； 3. client直接和storage通讯完成文件上传。 * 下载： 1. client询问tracker下载文件的storage，参数为文件标识（组名和文件名）； 2. tracker返回一台可用的storage； 3. client直接和storage通讯完成文件下载。 * 1.专用分布式文件系统：基于google FS的思想，文件上传后不能修改。不能mount使用（mount是linux自带的文件系统），需要使用专有API对文件进行访问