大数据时代云平台与大容量存储-2019年文档.docxVIP

大数据时代云平台与大容量存储 2013年 10月召开的第八届科技信息资源共享促进国际会议 （COINFC2013）的议题是：大数据时代的信息资源共享 [1]。由 此可见，大数据时代的到来已引起越来越多人的关注。数据 （Data）从计算机诞生之日起开始累积，从计算数据到信息数据， 再到社交数据， 有增无减地成就了今天的大数据。 从普遍采用的 存储设备计量单位的变化一一从 M （兆）到G （吉）再到如今的 T （太），可以看到大数据“大”至打何种程度。根据摩尔定律， 数据量的几何级增长在将来会占用更多的存储空间，不但对硬件 数据量的几何级增长在将来会占用更多的存储空间， 不但对硬件 的发展产生了压力，而且对数据的加工、管理、分析乃至利用带 来了前所未有的难题。 对于传统的数据所有者来说， 每过一段时 间就需要扩充存储容量， 提高计算机处理速度， 接入传输速度更 快的网络，否则，数据的累积将不堪重负。所以，存储能力与计 算能力之间的发展匹配程度决定了大数据的前景是“豁然开 朗”抑或“穷途末路”。 1 理论探讨 云计算技术 软、硬件的高速发展给计算机带来了计算资源过剩的问题。 据研究显示，用户对 Unix服务器的平均CPL利用率不足29% 对于Microsoft Windows 服务器的平均 CPU利用率不到13%[2]。 经过多年的酝酿，目前云计算应用已经进入人们的日常生 活。云计算( Cloud Computing )是由分布式计算( Distributed Computing 八 并行处理(Parallel Computing)、网格计算(Grid Computing )发展而来的一种新兴商用计算模型 [3] 。物理服务器 作为云操作系统中的底层节点可采用各种操作系统，如常见的 Linux ；云操作系统则在更高层次对所辖节点的物理资源进行抽 象和再分配。以CPU为例，底层节点的2个8核CPL在云操作系 统中可以分配出4个8核CPU的虚拟机，其原理是：通过调度来 充分利用各虚拟机的 CPU空闲，与独占式CPU相比，云操作系统 提高了 CPU的利用率。假设一个任务需要进行一系列较复杂的浮 点运算，如果在传统的计算机上完成，它可能会 100%占用 CPU 和内存， 如果在虚拟机上进行， 云操作系统会把计算任务划分为 小块并分配给利用率不高的“友邻”帮助计算。计算复杂度越 高，分配出的任务块越多， 所以一度流传着“云计算是越算越快 的计算”的说法。 因为云计算是以任务为中心的， 问题的焦点不 再是应用程序是什么和应用程序能做什么， 而是你需要做什么和 应用程序如何完成你的任务 [4] 。 大容量存储 传统的存储容量依赖于计算机， 更深入一些， 则与计算机的 计算能力有关。在386时代，计算机的存储空间为 500M现代 的i7笔记本的存储空间约1T，手机也普遍有32G的存储空间。 由此可见，依赖于计算机本身的存储已不能满足数据存储的需 要，尤其对于企业和政府而言。 以湖北省科技信息研究院拥有的文献资源为例， 清华同方在 湖北的机构数字图书馆拥有原文 38T,维普10T,并以每年3? 5T的速度增长。原始的解决办法是为服务器加硬盘，但经实践 证明有以下几点问题： ①与服务器配套的硬盘不易购买甚至已停 产；②硬盘卡槽数量有限；③硬盘数量过多，对主板产生压力; ④影响原有的RAID,对已存储的数据构成丢失风险。 适应大数据时代的存储设备必须满足两个条件： 一是不影响 原有服务器；二是增加服务器上可以直接管理的存储空间。 这样， 存储设备必须自己管理存储空间， 比如磁盘划分、磁盘格式、RAID 策略等。 从服务器上看， 存储设备提供的空间与本地磁盘管理相 同或类似。 结合 众所周知，在电脑上使用U盘时必须有USB接口，存储设备 与服务器的连接原理也是如此。 光纤通道HBA卡是将主机连接到 存储区域网络（SAN必不可少的接入设备［5］。此卡安装在服务 器上，使用光纤与存储设备连接，存储设备通过 HBA卡的卡号 （WWP号）来唯一标识和识别一台服务器。因此，服务器与存 储设备之间建立了一对一的关系。在云操作系统中， 任一底层节 储设备之间建立了一对一的关系。 在云操作系统中， 任一底层节 点从存储设备中获得的存储空间都能被纳入到云操作系统的资 源管理范围内，可以由云操作系统分配。 2 云平台实例分析 湖北省科技信息共享服务平台旨在提供文献检索和下载服 段。 段。 3 关于云平台的几点思考 务，它囊括了国内主要的数据供应商如万方、 NSTL国研、同方、 维普等。为了解决日益增长的检索和存储需求，引入了云平台， 具体部署如图 1 所示。 硬件方面，云平台采用 6 台曙光高性能服务器（型号： I620G10, 6核，128G内存，带HBA卡）作为6个底