经典分布式文件系统全介绍.pptVIP

TFS的容错机制 集群容错； 配置主辅集群 。 NameServer容错； 管理了DataServer和Block之间的关系 ； NameServer和DataServer之间也会有定时的heartbeat ； DataServer容错。 采用Block存储多份的方式来实现DataServer的容错 。 TFS的文件命名 * * * * * * * * * * * * * * * * * * * MooseFS读文件操作 MooseFS发展、应用状况 支持FUSE，相对比较轻量级 ; 存在问题—单点依赖； 但是，国内用的人比较多（据说）。 MooseFS核心技术 mfsmount进程 管理客户端与服务器进行交互（接收或修改元数据文件）； 管理客户端与数据服务器交换真正的数据。 MogileFS 是一个开源的分布式文件系统，用于组建分布式文件集群，由 LiveJournal 旗下 Danga Interactive 公司开发. 目前国内使用 MogileFS 的有图片托管网站 yupoo 等。 MogileFS 是 51.com 的存储设计的大师碧轩非常推荐的，51 的集群文件系统也是基于这个原理实现的。 简单来讲 MogileFS 是基于 Google File System 实作出来的. MogileFS的存储引擎对应用完全透明，同时它的每一个节点还可以作为轻量级Http Server，支持GET直接访问文件。另外，还包括接入时负载均衡的支持。 经典分布式文件系统六：MogileFS MogileFS功能 MogileFS的存储引擎对应用完全透明； 它的每一个节点还可以作为轻量级Http Server，支持GET直接访问文件； 另外，还包括接入时负载均衡的支持。 MogileFS特征 能够做到?不需要特殊的核心组件； 无单点失败； 自动的文件复制； 比RAID好多了； 传输中立； 无特殊协议(客户端可以通过NFS或HTTP来和MogileFS通信)； 简单的命名空间； 不用共享任何东西； 不会碰到文件系统本身的不可知情况。 MogileFS适用性 由于Mogilefs不支持对一个文件的随机读写，因此注定了只适合做一部分应用。比如图片服务，静态HTML服务。 ?? 即文件写入后基本上不需要修改的应用，当然你也可以生成一个新的文件覆盖上去。 适合于静态存储，就是那种一次保存，多次读取型的资源，比如以html方式静态化处理的动态文件，图片文件，其他只提供下载的文件等。 MogileFS体系结构 MogileFS组成一 数据库（MySQL）部分 ?? 可以用?mogdbsetup程序来初始化数据库。数据库保存了Mogilefs的所有元数据，可以单独拿数据库服务器来做，也可以跟其他程序跑在一起，数据库?部分非常重要，类似邮件系统的认证中心那么重要，如果这儿挂了，那么整个Mogilefs将处于不可用状态。因此最好是HA结构。 ? MogileFS组成二 存储节点 ?? mogstored?程序的启动将使本机成为一个存储节点。启动时默认去读/etc/mogilefs/mogstored.conf?，具体配置可以参考配置部分。 mogstored启动后，便可以通过mogadm增加这台机器到cluster中。 一台机器可以只运行一个?mogstored作为存储节点即可，也可以同时运行其他程序。 ?? MogileFS组成三 trackers（跟踪器） ?? mogilefsd即?trackers程序，类似mogilefs的wiki上介绍的，trackers做了很多工作，Replication?，Deletion，Query，Reaper，Monitor等等。mogadm,mogtool的所有操作都要跟trackers打交?道，Client的一些操作也需要定义好trackers，因此最好同时运行多个trackers来做负载均衡。trackers也可以只运行在一台机器?上，也可以跟其他程序运行在一起，只要你配置好他的配置文件即可，默认在/etc/mogilefs/mogilefsd.conf。 MogileFS组成四 工具 ?? 主要就是mogadm，mogtool这两个工具（进程）了，用来在命令行下控制整个mogilefs系统以及查看状态等等。 MogileFS组成五 ?Client ?? Client实际上是一个Perl的pm，可以写程序调用该pm来使用mogilefs系统，对整个系统进行读写操作 MogileFS值得借鉴的地方 多服务器，避免了单点依赖； 采用Domain,class来对文件进行分类； 自动文件复制功能； Ceph 最初是一