大数据知识点总结.pdfVIP

大数据知识点总结 1、Hadoop 是 一 个 由 Apache 基 金 会 所 开 发 的 分 布 式 系 统 基 础 架 构 。 用 户 可 以 在 不 了解 分 布 式 底 层 细 节 的 情 况 下 ，开 发 分 布 式 程 序 。 充 分 利 用 集 群 的 威 力 进 行 高 速 运 算 和 存 储 。 2 、 Hadoop 实 现 了 一 个 分 布 式 文 件 系 统 硬 件 上 ； 而 且 它 提 供 高 吞 吐 量 ，它 在 HDFS 内 部 提 供 元 数 据 服 务 ；DataNode ，它 为 HDFS 提 供 存 储 块 。 由 于 仅 存 在 一 个 NameNode， 因 此 这 是 HDFS 的 一 个 缺 点 Sqoop ：在 HADOOP与 传 统 的 数 据 库 间 进 行 数 据 的 传 递 。 Sqoop 是 一 个 Hadoop 和 关 系 型 数 据 库 之 间 的 数 据 转 移 工 具 。 可 将 关 系 型 数 据 库 中 的 数 据 导 入 到 Hadoop 的 HDFS 中 ，也 可 将 HDFS 中 的 数 据 导 进 到 关 系 型 数 据 库 中 。 10 、 Hadoop1.x 与 Hadoop2.x 的 区 别 ： Hadoop2.x 中有 两 个 重 要 的 变 更 ： 2 、 Data Discovery 来 创 建 和 访 问 表 单 。 j 、支 持 协 同 开 发 ， Zeppelin 的 notebook ，可 以被 多 人 同 时 使 用 ，任 何 一 个 人 的 改 动 都 会 被 实 时 的 同 步 到 其 他 协 作 者 的 页 面 上 。 k 、Zeppelin notebook 上 产 生 的 图表 ，可 以被 独 立 发 布 ， 通 过 iframe ， 可 以 嵌 入 到 别 的 网 页 上 。 l 、 100%开 源 的 Apache 项 目。 15 、 Ambari 是 一 个 开 源 的 分 布 式 Hadoop 集 群 安 装 ， 部 署 ， 监 控 和 管 理 的 平 台 。 16 、Ambari 主 要 由三 个 部 分 组 成 ， Ambari Server ， Ambari Web 和 Ambari Agent 。 Ambari Server ： AmbariServer 是 整 个 Ambari 的 统 一 入 口 ， 只 能 运 行 在 集 群 中 的 一 台 机 器 上 。 负 责 管 理 所 有 的 Ambari Agent 。 Ambari Web： AmbariWeb 和 Ambari Server 运 行 在 同一 台 机 器 上 ，作 为 Ambari Server 的 一 部 分 功 能 存 在 ， 提 供 Web 和 RestAPI 的 方 式 访 问 AmbariServer 。 AmbariAgent ：AmbariAgent 需 要 在 集 群 中 的每 个 节 点 上 都 运 行 一 个 ， 负 责 监 控 宿 主 机 器 的 状 态 信 息 ， 执 行 从 Ambari Server 上 发 送 过 来 的操 作 指 令 。 17 、 Spark 是 UCBerkeleyAMPlab 所 开 源 的 类 HadoopMapReduce 的 通 用 的 并 行 计 算 框 架 ， Spark 基 于 mapreduce 算 法 实 现 的 分 布 式 计 算 ， 拥 有 HadoopMapReduce 所 具 有 的 优 点 ；但 不 同 于 MapReduce 的 是 Job