大数据课程复习题.pdfVIP

大数据课程复习题 1. 大数据的定义 大数据，指的是所涉及的资料量规模巨大到无法通过目前的主流软件工具，在合理 时间内达到撷 （xie2 ）取、管理、处理、并整理成为帮助企业经营决策更积极目的的资 讯。 2. 大数据的三个特点 3Vs ： -Volume （大量）数据量大，从TB 级别跃升到PB 级别 -Variety （多样）数据类型繁多 ·非结构化：文本、图形、声音等 ·半结构化：日志 ·结构化数据：行列规整的表单数据 ·多结构化数据：以上三种类型混合的数据 -Velocity （高速）数据的时效性，数据仅在一个短暂的时间范围有价值。 3. Hadoop 项目起始于2002 年，创始人是 Doug Cutting 4. Hadoop 的两个核心组成部分 -分布式文件系统——HDFS （Nutch Distributed File System ） ·数据被分割成小块存于上千的节点上 -分布式数据处理架构——MapReduce ·MapReduce 在数据节点上处理，降低I/O 成本 ·MapReduce 只是一个软件架构，充分灵活，是开发者易于实现多种多样的应用程序。 5. Hadoop 的优点 -高可靠性 ·Hadoop 按位存储和处理数据的能力值得人们信赖。 -高扩展性 ·Hadoop 是在可用的计算机集簇间分配数据并完成计算业务的，这些集簇可以方便地 扩展到数以千计的节点中。 -高效性 ·Hadoop 能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速 度非常快。 -高容错性 Hadoop 能够自动的保存数据的多个副本，并且能够自动将失败的任务重新分配。 -低成本 ·与一体机、商用数据仓库等相比，Hadoop 是开源的，项目的软件成本因此会大大降 低。 6. Hadoop 生态系统构成 项目名称 说明 Ambari 整合的Hadoop 集群管理工具，包括安装、监控和维护 Flume 分布式日志收集系统 HBase 分布式、面向列的开源数据库，适用于非结构大数据存储 HCatalog 用于管理Hadoop 产生的数据的表存储管理系统 Hive 基于HDFS 的数据仓库工具可以将结构化的文件映射为一张数据库表， 提供类SQL 语言Hive QL Hue Hadoop 图形界面管理工具，可以浏览文件及发出Hive/Pig 指令 Pig 用于大数据分析工具，包含一个能产生MapReduce 程序的编译器及查 询语言Pig Latin Sqoop 用于Hadoop 系统与传统数据库间进行数据交换的工具 ZooKeeper 是一个分布式应用程序协调服务器 Mahout 数据挖掘算法库 7. Hadoop 的三种运行模式 -独立（本地/单机）运行模式：无需任何守护进程，所有的程序都运行在同一个JVM 上 执行。在独立模式下调试MR 程序非常高效方便。所以一般该模式主要是在学习或者开 发阶段调试使用。 -伪分布式模式：Hadoop 守护进程运行在本地机器上，模拟一个小规模的集群，换句话 说，可以配置一台机器的Hadoop 集群,伪分布式是完全分布式的一个特例。 -完全分布式模式：Hadoop 守护进程运行在一个集群上。 注意：所谓分布式要启动守护进程 ，即：使用分布式 hadoop 时，要先启动一些准备 程序进程，然后才能使用比如start-dfs.sh start-yarn.sh 。而本地模式不需要启动这些守 护进程 8. Hadoop 集群的构成，主从节点内部各自运行的主要进程，及其作用 构成：Hadoop 系统由两个核心子系统和多个扩展子系统组成。 主要进程： NameNode、S