第11章_海量信息存储.pptxVIP

第11章海量信息存储内容提要物联背景下如何适应海量信息存储的需求呢？随着物联网的发展，数据中心将成为解决海量数据存储的主要手段。本章将介绍典型的网络存储体系结构以及数据中心的基本概念。内容回顾第10章介绍了数据库管理系统的基本概念数据库模型的发展关系数据库的基本概念利用关系代数写查询表达式物联网数据管理的特点本章重点介绍三种基本的网络存储体系结构，并以Google数据中心为例，介绍大规模数据中心的相关技术，最后简要开源分布式计算框架Hadoop。本章内容11.1 物联网对海量信息存储的需求11.2 网络存储体系结构11.3 数据中心信息存储的发展历程如何？物联网对海量信息存储的需求促使了哪些技术的发展？数据存储的发展历史甲骨文→纸质书籍→数字化存储物联网对海量信息存储的需求全球信息总量迅猛增长2007年产生的数据量为281EB （ 1EB=10亿GB ）物联网中对象的数量将庞大到以百亿为单位物联网中的对象积极参与业务流程的需求高强度计算需求数据的持续在线可获取特性导致了网络化存储和大型数据中心的诞生Value exponentMetric?3kBkilobyte6MBmegabyte9GBgigabyte12TBterabyte15PBpetabyte18EBexabyte21ZBzettabyte24YByottabyte本章内容11.1 物联网对海量信息存储的需求11.2 网络存储体系结构11.3 数据中心三种基本的网络存储体系结构：直接附加存储，网络附加存储，存储区域网络，各有什么特点？直接附加存储直接附加存储(Direct-Attached Storage, DAS)将存储系统通过缆线直接与服务器或工作站相连一般包括多个硬盘驱动器，与主机总线适配器通过电缆或光纤在存储设备和主机总线适配器之间不存在其他网络设备实现了计算机内存储到存储子系统的跨越网络附加存储网络附加存储(Network Attached Storage, NAS)文件级的计算机数据存储架构计算机连接到一个仅为其它设备提供基于文件级数据存储服务的网络NAS与DAS的区别DAS是一种对已有服务器的简单扩展，并没有真正实现网络互联。NAS则是将网络作为存储实体，更容易实现文件级别的共享。NAS性能上比DAS有所增强存储区域网络存储区域网络 (Storage Area Network, SAN)通过网络方式连接存储设备和应用服务器的存储架构由服务器、存储设备和SAN连接设备组成SAN的特点存储共享支持服务器从SAN直接启动三种网络存储结构的比较三种网络存储结构的比较DAS管理容易，结构简单；集中式体系结构，不能满足大规模数据访问的需求；存储资源利用率低，资源共享能力差，造成“信息孤岛”。NAS网络的存储实体，容易实现文件级别共享；性能严重依赖于网络流量，用户数过多，读写过频繁时性能受限。SAN存储管理简化，存储容量利用率提高；无直接文件级别的访问能力，但可在SAN基础上建立文件系统。本章内容11.1 物联网对海量信息存储的需求11.2 网络存储体系结构11.3 数据中心什么是数据中心？典型的数据中心有哪些？数据中心的研究热点是什么？什么是数据中心？维基百科：“数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备（例如通信和存储系统），还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置。”Google：“多功能的建筑物，能容纳多个服务器以及通信设备。这些设备被放置在一起是因为它们具有相同的对环境的要求以及物理安全上的需求，并且这样放置便于维护。”数据中心的起源与发展（Video）大型机微型机大规模数据中心(Mega Data Center)数据中心的起源与发展大规模数据中心已经得到推广数据中心标准数据中心建设者面对的难题如何规划一个新的数据中心？怎样对数据中心进行升级？数据中心的标准对相关经验进行了总结ANSI/TIA/EIA-942（简称TIA-942）：数据中心标准电信产业协会（TIA）提出美国国家标准学会（ANSI）批准数据中心标准：TIA-942选址：需要考虑多方面因素建设和运营成本应用需求政策优惠…布局：按功能区域划分功能区域组成数据中心标准：TIA-942（续）TIA-942还对缆线系统，可靠性分级，能源系统和降温系统等做了规定。缆线系统规格如何放置缆线能源系统外部电力供应电池组发电机降温系统降温设备架空地板冷通道与热通道典型数据中心：Google 数据中心简介全球共建有近40个大规模数据中心单个数据中心需要至少50兆瓦功率，约等于一个小型城市所有家庭的用电量独特的硬件设备：定制的以太网交换机、能源系统等自行研发的软件技术：Google File System、MapReduce、BigTable等数据中心的研究热点20