分布式文件系统FastDFS课件.pptxVIP

分布式文件系统FastDFS余 庆2011年10月05日FastDFS是什么FastDFS是一款开源的轻量级分布式文件系统纯C实现，支持Linux、FreeBSD等UNIX系统类google FS，不是通用的文件系统，只能通过专有API访问，目前提供了C、Java和PHP API为互联网应用量身定做，追求高性能和高扩展性FastDFS可以看做是基于文件的key value pair存储系统，称作分布式文件存储服务更为合适FastDFS提供的功能upload：上传普通文件，包括主文件upload_appender：上传appender文件，后续可以对其进行append操作upload_slave：上传从文件download：下载文件delete：删除文件append：在已有文件后追加内容set_metadata：设置文件附加属性get_metadata：获取文件附加属性FastDFS的特点分组存储，灵活简洁对等结构，不存在单点文件ID由FastDFS生成，作为文件访问凭证。FastDFS不需要传统的name server和流行的web server无缝衔接，FastDFS已提供apache和nginx扩展模块大中小文件均可以很好支持，支持海量小文件存储存储服务器上可以保存文件附加属性FastDFS发展历史2008年7月发布第一个版本V1.00，两年的时间内持续升级到V1.29。V1.x系列后续不再维护和升级2010年8月推出V2.00。V2.x最新版本是V2.11。V2.x预计维护到今年年底2011年6月推出V3.00。当前最新版本是V3.02。V3.x后续会一直进行维护和升级高版本完全兼容低版本的数据，可以做到平滑升级，希望大家尽可能升级到最新版本FastDFS的版本演变V1.x：采用传统的一个请求一个线程服务的模式，系统资源消耗较大，支持的并发连接数在1K左右V2.x：采用libevent异步IO模型，磁盘读写采用专门的线程，比V1.x的工作模型更加先进和高效。支持的并发连接数可以达到10KV3.x：支持小文件合并存储，解决海量小文件的存储问题友情提示：即使不需要小文件合并存储的特性，也可以使用V3.x。因为这个特性缺省就是关闭的！FastDFS架构示意图相关术语 Tracker Server：跟踪服务器，主要做调度工作，在访问上起负载均衡的作用。在内存中记录集群中group和storage server的状态信息，是连接Client和Storage server的枢纽。 因为相关信息全部在内存中，Tracker server的性能非常高，一个较大的集群（比如上百个group）中有3台就足够了。 Storage Server：存储服务器，文件和文件属性（meta data）都保存到存储服务器上。FastDFS架构解读只有两个角色，tracker server和storage server，不需要存储文件索引信息所有服务器都是对等的，不存在Master-Slave关系存储服务器采用分组方式，同组内存储服务器上的文件完全相同（RAID 1）不同组的storage server之间不会相互通信由storage server主动向tracker server报告状态信息，tracker server之间通常不会相互通信FastDFS上传文件流程图1. client询问tracker上传到的storage；2. tracker返回一台可用的storage；3. client直接和storage通信完成文件上传，storage返回文件ID。 FastDFS下载文件流程图1. client询问tracker可以下载指定文件的storage，参数为文件ID（组名和文件名）；2. tracker返回一台可用的storage；3. client直接和storage通信完成文件下载。以HTTP方式下载文件FastDFS分组存储方式，为HTTP方式下载提供了便利FastDFS支持HTTP方式下载文件，不建议使用内置web server，推荐使用外部web server，如果apache或nginx因为需要解决文件同步延迟的问题，因此在apache和nginx上需要使用FastDFS扩展模块下面仅介绍扩展模块方式FastDFS扩展模块要点使用扩展模块来解决文件同步延迟问题在每台storage server上部署web server，直接对外提供HTTP服务tracker server上不需要部署web server如果请求文件在当前storage上不存在，通过文件ID反解出源storage，直接请求源storage目前已提供apache和nginx扩展模块FastDFS扩展模块不依赖于FastDFS server，可以独立存在！FastDFS扩展模块