智能科学与技术导论 第8章 大数据及其应用.pptVIP

8.2大数据基础 8.2.3大数据存储1.大数据文件系统HDFSHDFS(HadoopDistributedFileSystem)被设计用来搭建大规模的分布式集群，提供海量数据的读写、存储功能。在Hadoop生态系统中，HDFS为管理大数据资源池和支撑相关大数据分析应用提供了一个具有高可靠性的工具。HDFS是对谷歌分布式文件系统GFS基本思想的开源实现，是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用，如图所示。8.2大数据基础 8.2.3大数据存储1.大数据文件系统HDFS1）HDFS使用主/从架构（Master/Slave）每个Hadoop集群包括一个NameNode和多个DataNode，NameNode用于管理文件系统运行，DataNode用于管理单个计算节点上的数据存储，应用程序通过Client与NameNode和DataNode进行交互。HDFS以数据块（Block）为存储单位（块大小默认为128M，数据块副本默认为3），并将它们分布到集群中的不同节点，从而支持高效的并行处理。2）HDFS具有高容错特性HDFS可以多次复制每个数据片段，并将副本分发给各个节点，将至少一个副本放在其它服务器机架上，这确保了崩溃节点上的数据的可恢复性，同时也确保了在恢复数据时可以继续进行数据处理。8.2大数据基础 8.2.3大数据存储2.NoSQL数据库HbaseNoSQL（NotOnlySQL）泛指非关系型的数据库，NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用的难题。NoSQL具有大数据量、易扩展、高性能、数据模型灵活、高可用等共同特征。开源的NoSQL数据库软件有：HBase、MongoDB、Membase等。下面以HBase为例进行说明。HBase由谷歌的一个分布式存储系统BigTable发展而来。HBase是一个基于HDFS开发的面向列（面向列族）的分布式数据库，它主要用于超大规模的数据集存储，从而可以实现对超大规模数据的实时随机访问。HBase自底向上进行构建，解决了原有关系统型数据库横向扩展难的问题，使用Hbase可以简单的通过增加节点来达到横向扩展，扩大存储规模，也就是在廉价普通的硬件构成的集群上管理超大规模（超过10亿行和数百万列）的数据表。8.2大数据基础 8.2.3大数据存储2.NoSQL数据库Hbase1）表。HBase的数据同样是用表来组织的，表由行和列组成，列分为若干个列族，行和列的坐标交叉决定了一个单元格。2）行。每个表由若干行组成，每个行有一个行键作为这一行的唯一标识。访问表中的行只有三种方式：通过单个行键进行查询、通过一个行键的区间来访问、全表扫描。3）列族。一个HBase表被分组成许多“列族”的集合，它是基本的访问控制单元。8.2大数据基础 8.2.3大数据存储2.NoSQL数据库Hbase4）列修饰符（列限定符）。列族里的数据通过列限定符（或列）来定位。5）单元格。在HBase表中，通过行、列族和列限定符确定一个“单元格”（cell），单元格中存储的数据没有数据类型，总被视为字节数组byte[]。6）时间戳。每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引。8.2大数据基础 8.2.3大数据存储3.云数据库云数据库是基于云计算技术发展的一种共享基础架构的方法，是部署和虚拟化在云计算环境中的数据库。云数据库具有高可扩展性、高可用性、采用多租形式和支持资源有效分发等特点。云数据库的特征包括：①动态可扩展；②高可用性；③较低的使用代价；④易用性；⑤高性能；⑥免维护；⑦安全。从数据模型的角度来说，云数据库并非一种全新的数据库技术，而只是以服务的方式提供数据库功能。云数据库所采用的数据模型可以是关系数据库所使用的关系模型，如阿里云关系型数据库RDS（RelationalDatabaseService）。也可以是非关系型数据库，如AmazonSimpleDB（云中的键值数据库）。同一个公司也可能提供采用不同数据模型的多种云数据库服务。8.2大数据基础 8.2.4大数据计算模式提及大数据计算，人们总是会想到MapReduce。实际上，MapReduce只是大数据计算模式的其中一种，大数据处理问题的复杂多样，单一模式是无法满足不同类型的计算需求的。除了MapReduce之外，还有迭代计算、图计算