基于分布式存储的多类型数据管理技术研究.pdfVIP

ELECTRIC POWER ICT 中图分类号：TP333　文献标志码：B　文章编号：2095-641X(2016)05-0076-06　DOI：10.16543/j.2095-641x.electric.power.ict.2016.05.013 基于分布式存储的多类型数据管理 技术研究 饶玮 1 ，周爱华 1 ，常涛2 ，谢若承 3 ，蒋静 1 （1. 全球能源互联网研究院 计算及应用研究所 ，江苏 南京 210003 ；2. 国网重庆市电力公司 ，重庆 400015 ； 3. 国网浙江省电力公司 信息通信分公司 ，浙江 杭州 310013 ） 摘要：文章针对大量非结构化数据密集型的应用 ，提 出一个高性能、高可用、高可伸缩、易管 理、安全 的分布式云存储解决方案 ，能够解决大规模存储 问题 ，集成 了多类型数据的分布式 高速存储 结构 、一体化 的数据访 问与管理、按需服务 的智能分级存储等技术 ，同时能够与现 有的集 中式存储架构相融合 ，充分利用企业现有的各类存储型服务器 ，提供基于 x86 服务器 集群的数据存储支撑服务 ，实现大数据环境下的多类型数据的集成与组织功能、海量数据的 电 分布式存储和容错备份机制 ，以及面 向上层应用的数据高速访问和检索功能。 力 关键词：分布式文件系统；云计算；云存储；数据管理；非结构化数据 信 息 通 信 音频 、图片等影像数据 ，这些非结构化数据文件对存 0　引言 储 空 间要 求 较 高 ，但 被 调 用 的频 率 则 相 对 较 低 。如 传统存储技术分 为直接存储技术 和 网络存储技 果 可 以采用成本相对较低 的非高端存储对这些非结 术 。传 统 的服务 器 自带存 储 设 备 ，这 种类 型 的存 储 构 化 数 据 进 行存 储 ，则 可 以有 效 地 降低 整 体存 储 成 设 备 称 为 直 接 连 接 存 储 （Direct Attached Storage ， 本 ，缓 解 存 储 需 求 与成 本 之 间 的矛盾 。借 鉴 互 联 网 DA S ），通 过 小 型计 算 机 系 统 接 口（Small Computer 行业 中被 广 泛 采 用 的 “云存 储 ”技术 ，基 于 PC 集 群 System Interface ，SCSI ）将 存 储 设 备 连 接 到 服 务 存 储 和分 布式存 储 软件 ，能够 实 现 以较 低 成 本 提供 器 上 ，不 附 带 任 何 存 储 操 作 系 统 ，体 系 简 单 易 用 ， 同样安全 的海量存储服务 。 但 设 备 分 散 ，管 理 复 杂 ，而 且 服 务 器 性 能 易 成 为 体 云存 储 是 云计 算 较 为核 心 的关 键 技 术 之 一 ，能 系瓶 颈 ，无 法 在 服务 器 之 间动 态 分 配存 储 空 间。 网 够 将 广 域 范 围 的存 储 设 备 通 过 分 布 式 技 术 有 效 集 络 存 储 系 统 （N etwork Attached Storage ，NA S ）是 成 ，构建高吞 吐量 的数据存储平 台 ，充分体现云计算 和 网络 连接 的一 种 数 据存 储 单 元 ，在基 本 的磁 盘 阵 以服务 为核心价值 的理念 [2] 。本 文通过研究 云存储 列 柜 上 搭 载 一 套 瘦 服 务 器 系 统 ，通 过 TCP/IP 网络 技 术 和分 布式 文件 系统 的基 本 原 理 和实 现方 法 ，解 存 取 管 理 数 据 ，对 硬 件 要 求 不 高 ，但