hadoop入门视频教程有什么.pdf

千锋 大数据 视频教程 /video hadoop 入门视频教程有什么 Hadoop 是一个由 Apache 基金会所开发的分布式系统集成架构，用户可 以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进 行高速运算与存储，具有可靠、高效、可伸缩的特点。今天千锋教育为大家带来 Hadoop 基本内容教程。 Hadoop 的核心是YARN,HDFS,Mapreduce,。 1.HDFS ： 源自谷歌的 GFS 论文，发表于 2013 年 10 月，HDFS 是 GFS 的克隆版， HDFS 是 Hadoop 体系中数据存储管理的基础，它是一个高度容错的系统，能 检测和应对硬件故障。 HDFS 简化了文件一致性模型，通过流式数据访问，提供高吞吐量应用程序 数据访问功能，适合带有大型数据集的应用程序，它提供了一次写入多次读取的 机制，数据以块的形式，同时分布在集群不同物理机器。 2.Mapreduce ： 源自于谷歌的 MapReduce 论文，用以进行大数据量的计算，它屏蔽了分布 做真实的自己-用良心做教育 千锋 大数据 视频教程 /video 式计算框架细节，将计算抽象成 map 和 reduce 两部分。 3.HBASE （分布式列存数据库）： 源自谷歌的 Bigtable 论文，是一个建立在 HDFS 之上，面向列的针对结构 化的数据可伸缩，高可靠，高性能分布式和面向列的动态模式数据库。 4.zookeeper 解决分布式环境下数据管理问题，统一命名，状态同步，集群管理，配置同 步等。 5.HIVE ： 由 Facebook 开源，定义了一种类似 sql 查询语言，将 SQL 转化为 mapreduce 任务在 Hadoop 上面执行。 6.flume ： 日志收集工具 7.yarn 分布式资源管理器 ： 是下一代 mapreduce ，主要解决原始的Hadoop 扩展性较差，不支持多种 计算框架而提出的。 8.spark ： spark 提供了一个更快更通用的数据处理平台，和 Hadoop 相比，spark 可 以让你的程序在内存中运行 9.kafka ： 分布式消息队列，主要用于处理活跃的流式数据 10.Hadoop 伪分布式部署 ： 目前而言，不收费的Hadoop 版本主要有三个，都是国外厂商，分别是。 做真实的自己-用良心做教育 千锋 大数据 视频教程 /video 1、Apache 原始版本 2、CDH 版本，对于国内用户而言，绝大多数选择该版本 3、HDP 版本 做真实的自己-用良心做教育