大数据介绍培训.pptxVIP

大 数 据 介 绍;“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。;;;数据抽取、转换、装载过程 ;大数据处理的基本流程;三、各处理流程相关技术简析;三、各处理流程相关技术简析;三、各处理流程相关技术简析;三、各处理流程相关技术简析;三、各处理流程相关技术简析;三、各处理流程相关技术简析;方案采用的Hadoop模块列表 HDFS，用于大规模数据存储 Yarn，系统资源管理 Hive，基于Mapreduce的SQL数据访问 Pig，脚本式数据处理 Storm，流式数据处理 Spark/Spark Streaming，内存计算框架 HBase，Key-Value数据存储 MapReduce，离线批处理计算框架 Kafka，消息队列式流失数据接入 HCatlog，元数据管理 Ambari，Hadoop平台监控、管理界面 ZooKeeper，保证系统无单点运行 Oozie，工作流式任务调度 ;揭开Hadoop神秘的面纱;HDFS原理简介－分布式文件系统;HBase原理简介－分布式数据库;;9.1.1.?NoSQL? HBase是一种 NoSQL 数据库. NoSQL是一个通用词表示数据库不是RDBMS ，后者支持 SQL 作为主要访问手段。HBase 是大型分布式数据库。 技术上来说, HBase 更像是数据存储(Data Store) 多于 数据库(Data Base)。因为缺少很多RDBMS特性, 如列类型，第二索引，触发器，高级查询语言等. 然而, HBase 有许多特征同时支持线性化和模块化扩充。 HBase 集群通过增加RegionServers进行扩充。 它可以放在普通的服务器中。例如，如果集群从10个扩充到20个RegionServer，存储空间和处理容量都同时翻倍。 RDBMS 也能很好扩充， 但仅对一个点 - 特别是对一个单独数据库服务器的大小 - 同时，为了更好的性能，需要特殊的硬件和存储设备。 HBase 特性： 强一致性读写: HBase 不是 最终一致性(eventually consistent) 数据存储. 这让它很适合高速计数聚合类任务。 自动分片(Automatic sharding): HBase 表通过region分布在集群中。数据增长时，region会自动分割并重新分布。 RegionServer 自动故障转移 Hadoop/HDFS 集成: HBase 支持本机外HDFS 作为它的分布式文件系统。 MapReduce: HBase 通过MapReduce支持大并发处理， HBase 可以同时做源和目标. Java 客户端 API: HBase 支持易于使用的 Java API 进行编程访问. Thrift/REST API: HBase 也支持Thrift 和 REST 作为非Java 前端. Block Cache 和 Bloom Filters: 对于大容量查询优化， HBase支持 Block Cache 和 Bloom Filters。 运维管理: HBase提供内置网页用于运维视角和JMX 度量. 9.1.2.?什么时候用 HBase? HBase不适合所有问题. 首先，确信有足够多数据，如果有上亿或上千亿行数据，HBase是很好的备选。 如果只有上千或上百万行，则用传统的RDBMS可能是更好的选择。因为所有数据可以在一两个节点保存，集群其他节点可能闲置。 其次，确信可以不依赖所有RDBMS的额外特性 (e.g., 列数据类型, 第二索引, 事物,高级查询语言等.) 一个建立在RDBMS上应用，如不能仅通过改变一个JDBC驱动移植到HBase。相对于移植， 需考虑从RDBMS 到 HBase是一次完全的重新设计。 第三， 确信你有足够硬件。甚至 HDFS 在小于5个数据节点时，干不好什么事情 (根据如 HDFS 块复制具有缺省值 3), 还要加上一个 NameNode. HBase 能在单独的笔记本上运行良好。但这应仅当成开发配置。 9.1.3.? HBase 和 Hadoop/HDFS 的区别? HDFS?是分布式文件系统，适合保存大文件。官方宣称它并非普通用途文件系统，不提供文件的个别记录的快速查询。 另一方面，HBase基于HDFS且提供大表的记录快速查找(和更新)。这有时可能引起概念混乱。 HBase 内部将数据放到索引好的 存储文件(StoreFiles) ，以便高速查询。存储文件位于 HDFS中。参考Chapter?5,?数据模型?和该章其他内容获取更多HBase如何归档的信息。 ;MapReduce原理简介－分布式计算架构;二、、分布式并行