Chapter7-厦门大学-林子雨-大数据导论（第2版）-第7章-数据存储与管理（2024年8月版本）.pptVIP

7.2.4数据湖“湖仓一体”架构具有以下特性：（1）事务支持：在企业中，数据往往要为业务系统提供并发的读取和写入。对事务的ACID支持，可确保数据并发访问的一致性、正确性，尤其是在SQL的访问模式下。（2）数据治理：湖仓一体可以支持各类数据模型的实现和转变，支持数据仓库模式架构，例如星型模型、雪花模型等。可以保证数据完整性，并且具有健全的治理和审计机制。（3）BI支持：湖仓一体支持直接在源数据上使用BI工具，这样可以加快分析效率，降低数据延时。另外相比于在数据湖和数据仓库中分别操作两个副本的方式，更具成本优势。（4）存算分离：存算分离的架构，也使得系统能够扩展到更大规模的并发能力和数据容量。（5）开放性：采用开放、标准化的存储格式（例如Parquet等），提供丰富的API支持，因此，各种工具和引擎（包括机器学习和Python、R等）可以高效地对数据进行直接访问。（6）支持多种数据类型（结构化、半结构化、非结构化）：湖仓一体可为许多应用程序提供数据的入库、转换、分析和访问。数据类型包括图像、视频、音频、半结构化数据和文本等。7.3大数据处理架构Hadoop7.3.1Hadoop特性7.3.2Hadoop生态系统7.3.1Hadoop特性Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性：高可靠性高效性高可扩展性高容错性成本低运行在Linux平台上支持多种编程语言7.3.2Hadoop生态系统经过多年的发展，Hadoop生态系统不断完善和成熟，目前已经包含了多个子项目。除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。7.4分布式文件系统HDFS7.4.1HDFS的设计目标7.4.2HDFS体系结构7.4.1HDFS的设计目标总体而言，HDFS要实现以下目标：●兼容廉价的硬件设备●流数据读写●大数据集●简单的文件模型●强大的跨平台兼容性HDFS特殊的设计，在实现上述优良特性的同时，也使得自身具有一些应用局限性，主要包括以下几个方面：●不适合低延迟数据访问●无法高效存储大量小文件●不支持多用户写入及任意修改文件7.4.2HDFS体系结构HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群包括一个名称节点（NameNode）和若干个数据节点（DataNode）（如图3-4所示）。名称节点作为中心服务器，负责管理文件系统的命名空间及客户端对文件的访问。集群中的数据节点一般是一个节点运行一个数据节点进程，负责处理文件系统客户端的读/写请求，在名称节点的统一调度下进行数据块的创建、删除和复制等操作。每个数据节点的数据实际上是保存在本地Linux文件系统中的图HDFS体系结构7.5NoSQL数据库7.5.1键值数据库7.5.2列族数据库7.5.3文档数据库7.5.4图数据库7.5NoSQL数据库NoSQL数据库虽然数量众多，但是，归结起来，典型的NoSQL数据库通常包括键值数据库、列族数据库、文档数据库和图形数据库7.5NoSQL数据库文档数据库图数据库7.5.1键值数据库相关产品Redis、Riak、SimpleDB、Chordless、Scalaris、Memcached数据模型键/值对键是一个字符串对象值可以是任意类型的数据，比如整型、字符型、数组、列表、集合等典型应用涉及频繁读写、拥有简单数据模型的应用内容缓存，比如会话、配置文件、参数、购物车等存储配置和用户数据信息的移动应用优点扩展性好，灵活性好，大量写操作时性能高缺点无法存储结构化信息，条件查询效率较低不适用情形不是通过键而是通过值来查：键值数据库根本没有通过值查询的途径需要存储数据之间的关系：在键值数据库中，不能通过两个或两个以上的键来关联数据需要事务的支持：在一些键值数据库中，产生故障时，不可以回滚使用者百度云数据库（Redis）、GitHub（Riak）、BestBuy（Riak）、Twitter（Redis和Memcached）、StackOverFlow（Redis）、Instagram（Redis）、Youtube（Memcached）、Wikipedia（Memcached）7.5.1键值数据库键值数据库成为理想的缓冲层解决方案Redis有时候会被人们称为