FastDFS原理介绍.pptx

FastDFS原理概述和介绍 FastDFS沙龙 一切从问题的根本出发 作者：袁晨阳（ShaneYuan） 日期：2010.12.14 摘要 分布式文件系统的使命 FastDFS如何应对 FastDFS基础应用 探索后的感知 邻家是否“有菜可偷” 分布式文件系统的使命 冗余备份； 负载均衡； 线性扩容等机制； 大量请求中高可用、高性能； 容灾和可拓展性。 FastDFS如何应对 FastDFS的基本架构特征 轻量级； 分组方式； 对等结构。 轻量级 服务端只有两角色：跟踪服务器（tracker）和存储服务器（storage） response request 分组方式 Tracker servers 对等结构 FastDFS基础应用 基础操作，数据流程 网络拓扑，实际应用 容灾，优化，版本升级 文件上传操作 文件下载操作 文件索引解析 文件的存储方式和返回 文件名解析 文件名包含：源头storage IP地址和文件创建时间戳、文件大小、随机数、文件拓展名。 网络拓扑--实施部署案例 以HTTP方式下载文件 FastDFS分组存储方式，为HTTP方式下载提供了便利 FastDFS支持HTTP方式下载文件，可以使用内置web server或者外部web server 需要解决文件同步延迟的问题 可以采取如下两种方式： tracker跳转方式：通过Tracker server跳转 非tracker跳转方式：Storage server直接提供文件下载 HTTP下载方式一（tracker跳转） HTTP下载方式一流程解读 通过Tracker server解决文件同步延迟的问题 Tracker server上需使用内置web server Storage server可以使用内置web server，也可以使用外部web server。推荐使用外部web server，如apache或nginx HTTP下方式二（非tracker跳转） 可以分为两种方式： 跳转方式（redirect） 代理方式（proxy） HTTP下载方式二（redirect） HTTP下载方式二（proxy） HTTP下载方式二流程解读 使用扩展模块来解决文件同步延迟问题 如果请求文件在当前storage上不存在，通过文件ID反解出源storage，直接请求源storage tracker server上不需要任何web server 在每台storage server上部署web server，直接对外提供HTTP服务 目前已提供apache和nginx扩展模块 推荐使用扩展模块方式 版本升级 是否有可行性升级方案、升级风险的验证升级验证结果 可以直接通过服务端程序替换进行版本升级，经测试验证升级后基础数据无影响。 版本的优化和方向 FastDFS + 目录服务 + client mount 探索后的感知 优缺点（特性） 适用业务场景 改造方向 这样的结构带来的优缺点（1） 不记录文件索引信息 对等结构，组内所有storage 存储一致 采用异步方式将源数据服务器主动push到其他数据库服务器 文件不进行分片处理 这样的结构带来的优缺点（2） 客户端访问时需通过tracker指定storage 优缺点 支持同一文件只保存一份，节约磁盘空间 下载文件支持HTTP协议，可以使用内置Web Server，也可以和其他Web Server配合使用 支持在线扩容，支持主从文件 storage上可以保存文件属性（meta-data） 文件不分块存储，上传的文件和OS文件系统中的文件一一对应（实现了软件RAID ） 我不是超人 自带的http server端支持不足，storage 扩展建议使用nginx； 没有支持python的接口； 在服务器配置不统一时不能很好的调节磁盘空间负载压力（非动态）； 需要客户端自行记录存储信息，增加了客户端的信息管理量。 适用的业务场景 存储后不做改动； 视频或其他文件的断点存取； 存储文件的关系度不复杂（如果跟统计项目类似存储文件间关系复杂则不适用）； 存储总量预计在500Tb范围内的应用。 邻家是否“有菜可偷” mogileFS特点 mooseFS特点 Hadoop特点 FastDFS改造方向 MogileFS特点 有三个角色：tracker、storage和存储文件信息的mysql db； 使用mysql来存储文件索引等信息，文件同步通过tracker调度和中转； 动态冗余，灵活性一般； 不支持文件附加属性（meta data）； 不支持文件偏移下载。 MooseFS特点 MooseFS文件系统结构包括以下四种角色：管理服务器 (master)，元数据日志服务器（Metalogger），数据存储服务器 (chunkservers)，