_海量信息存储资料讲解.ppt

服务器成本 服务器 网络设备 能源 服务器的实际利用效率较低 分配到各服务器的应用不能完全利用某些组件 对应用需求的预测比较难，无法做到按需分配 为了提高系统的可靠性，一般都留有冗余设备 提高服务器利用率的关键在于及时应对需求的动态变化 网络设备成本 服务器 网络设备 能源 主要来源 交换机、路由器、负载均衡设备 传统的数据中心使用树形结构，核心交换机和路由器构成流量瓶颈，且造价昂贵 研究热点：新的数据中心网络结构 以交换机为中心的多层树形结构：例如Fat-Tree 以服务器为中心的互联结构：例如DCell 能源成本 服务器 网络设备 能源 研究热点 降低服务器工作能耗 降低同等性能设备能耗 提高同等能耗设备性能 可调整负载的服务器 减少降温系统能耗 精细、精准的温度控制 集装箱式模块化数据中心 数据中心能耗构成 本章小结 内容回顾 本章介绍了三种基本的网络存储体系结构，并讨论了数据中心的基本概念，以Google数据中心和Hadoop为例，简要介绍了数据中心的相关技术，最后指出了数据中心的研究热点。 重点掌握 了解物联网对海量数据存储的迫切需求。 重点掌握三种基本的网络存储体系结构（DAS，NAS，SAN）的基本概念以及各自的优缺点。 本章小结 重点掌握（续） 了解数据中心的概念，以Google数据中心为例，了解GFS，MapReduce，BigTable等技术的基本概念和特点。了解Hadoop分布式计算开源框架的特点。 掌握保证性能前提下降低数据中心成本的方法（服务器成本，网络设备成本，能源成本）。 Thank you! 人有了知识，就会具备各种分析能力， 明辨是非的能力。 所以我们要勤恳读书，广泛阅读， 古人说“书中自有黄金屋。 ”通过阅读科技书籍，我们能丰富知识， 培养逻辑思维能力； 通过阅读文学作品，我们能提高文学鉴赏水平， 培养文学情趣； 通过阅读报刊，我们能增长见识，扩大自己的知识面。 有许多书籍还能培养我们的道德情操， 给我们巨大的精神力量， 鼓舞我们前进。 * 第11章 海量信息存储 内容提要 物联背景下如何适应海量信息存储的需求呢？随着物联网的发展，数据中心将成为解决海量数据存储的主要手段。 本章将介绍典型的网络存储体系结构以及数据中心的基本概念。 第10章介绍了数据库管理系统的基本概念 数据库模型的发展 关系数据库的基本概念 利用关系代数写查询表达式 物联网数据管理的特点 本章重点介绍三种基本的网络存储体系结构，并以Google数据中心为例，介绍大规模数据中心的相关技术，最后简要开源分布式计算框架Hadoop。 内容回顾 11.1 物联网对海量信息存储的需求 11.2 网络存储体系结构 11.3 数据中心 信息存储的发展历程如何？物联网对海量信息存储的需求促使了哪些技术的发展？ 本章内容 数据存储的发展历史 甲骨文→纸质书籍→数字化存储 物联网对海量信息存储的需求 全球信息总量迅猛增长 2007年产生的数据量为281EB （ 1EB=10亿GB ） 物联网中对象的数量将庞大到以百亿为单位 物联网中的对象积极参与业务流程的需求 高强度计算需求 数据的持续在线可获取特性 导致了网络化存储和大型数据中心的诞生 11.1 物联网对海量信息存储的需求 11.2 网络存储体系结构 11.3 数据中心 三种基本的网络存储体系结构：直接附加存储，网络附加存储，存储区域网络，各有什么特点？ 本章内容 直接附加存储 直接附加存储(Direct-Attached Storage, DAS) 将存储系统通过缆线直接与服务器或工作站相连 一般包括多个硬盘驱动器，与主机总线适配器通过电缆或光纤 在存储设备和主机总线适配器之间不存在其他网络设备 实现了计算机内存储到存储子系统的跨越 网络附加存储 网络附加存储(Network Attached Storage, NAS) 文件级的计算机数据存储架构 计算机连接到一个仅为其它设备提供基于文件级数据存储服务的网络 NAS与DAS的区别 DAS是一种对已有服务器的简单扩展，并没有真正实现网络互联。NAS则是将网络作为存储实体，更容易实现文件级别的共享。NAS性能上比DAS有所增强 存储区域网络 存储区域网络 (Storage Area Network, SAN) 通过网络方式连接存储设备和应用服务器的存储架构 由服务器、存储设备和SAN连接设备组成 SAN的特点 存储共享 支持服务器从SAN直接启动 三种网络存储结构的比较 三种网络存储结构的比较 DAS 管理容易，结构简单；集中式体系结构，不能满足大规模数据访问的需求；存储资源利用率低，资源共享能力差，造成“信息孤岛”。 NAS 网络的存储实体，容易实现文件级别共享；性能严重依赖于网络流量，用户数过多，读写过频繁时性