《分布式存储技术及应用》.pdfVIP

分布式存储技术及应用 根据did you know(/)的数据，目前互联网上可访问的信息数 24 量接近 1 秭= 1 百万亿亿 (10 )。毫无疑问，各个大型网站也都存储着海量的数据，这些海 量的数据如何有效存储，是每个大型网站的架构师必须要解决的问题。分布式存储技术就是 为了解决这个问题而发展起来的技术，下面让将会详细介绍这个技术及应用。 分布式存储概念 与目前常见的集中式存储技术不同，分布式存储技术并不是将数据存储在某个或多个特定的 节点上，而是通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成 一个虚拟的存储设备，数据分散的存储在企业的各个角落。 具体技术及应用： 海量的数据按照结构化程度来分，可以大致分为结构化数据，非结构化数据，半结构化数据。 本文接下来将会分别介绍这三种数据如何分布式存储。 结构化数据的存储及应用 所谓结构化数据是一种用户定义的数据类型，它包含了一系列的属性，每一个属性都有一个 数据类型，存储在关系数据库里,可以用二维表结构来表达实现的数据。 大多数系统都有大量的结构化数据，一般存储在Oracle 或MySQL 的等的关系型数据库中， 当系统规模大到单一节点的数据库无法支撑时，一般有两种方法：垂直扩展与水平扩展。 垂直扩展：垂直扩展比较好理解，简单来说就是按照功能切分数据库，将不同功能 的数据，存储在不同的数据库中，这样一个大数据库就被切分成多个小数据库， 从而达到了数据库的扩展。一个架构设计良好的应用系统，其总体功能一般肯定 是由很多个松耦合的功能模块所组成的，而每一个功能模块所需要的数据对应到 数据库中就是一张或多张表。各个功能模块之间交互越少，越统一，系统的耦合 度越低，这样的系统就越容易实现垂直切分。 水平扩展：简单来说，可以将数据的水平切分理解为按照数据行来切分，就是将表 中的某些行切分到一个数据库中，而另外的某些行又切分到其他的数据库中。为 了能够比较容易地判断各行数据切分到了哪个数据库中，切分总是需要按照某种 特定的规则来进行的，如按照某个数字字段的范围，某个时间类型字段的范围， 或者某个字段的hash 值。 垂直扩展与水平扩展各有优缺点，一般一个大型系统会将水平与垂直扩展结合使用。 实际应用：图1 是为核高基项目设计的结构化数据分布式存储的架构图。 图1 可水平垂直切分扩展的数据访问框架 采用了独立的分布式数据访问层，后端分布式数据库集群对前端应用透明。 集成了Memcached 集群，减少对后端数据库的访问，提高数据的查询效率。 同时支持垂直及水平两种扩展方式。 基于全局唯一性主键范围的切分方式，减轻了后续维护的工作量。 全局唯一性主键的生成采用DRBD+Heartbeat 技术保证了可靠性。 利用MySQL Replication 技术实现高可用的架构。 注:以上的数据切分方案并不是唯一扩展MySql 的方法，有兴趣的读者可以关注一下”云计 算时代的MySQL-Clustrix Sierra 分布式数据库系统”。 非结构化数据的存储及应用 相对于结构化数据而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包 括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。 分布式文件系统是实现非结构化数据存储的主要技术，说到分布式文件系统就不得不提GFS （全称为Google File System），GFS 的系统架构图如下图所示。 图2 Google-file-system 架构图 图3 Google-file-system 架构图（详细） GFS 将整个系统分为三类角色：Client （客户端）、Master （主服务器）、Chunk Server （数 据块服务器）。 Client （客户端）：是GFS 提供给应用程序的访问接口，它是一组专用接口，不遵 守POSIX 规范，以库文件的形式提供。应用程序直接调用这些库函数，并与该库 链接在一起。 Master （主服务器）：是GFS 的管理节点，主要存储与数据文件相关的元数据，而 不是Chunk （数据块）。元数据