大数据技术简介.pptxVIP

技术创新，变革未来大数据技术简介

内容Hadoop的起源与发展Hadoop是什么主流大数据技术Hadoop应用现状Hadoop伪分布式环境搭建

Hadoop的起源与发展Hadoop的思想之源——Google面对的数据存储和计算难题大量的网页怎么存储搜索算法GoogleGFSMapReduceBigTable

Hadoop的起源与发展DougCutting

Hadoop是什么Hadoop是一个开源框架，可编写和运行分布式应用处理大规模数据Hadoop框架的核心是HDFS、MapReduce、YarnHDFS是分布式文件系统，提供海量数据的存储MapReduce是分布式数据处理模型，提供数据计算Yarn是资源管理和调度工具

主流大数据技术

主流大数据技术Hadoop已经成长为一个庞大的生态体系只要和海量数据相关的领域，有Hadoop身影MapReduce是把一个大数据集上的任务分解，并在并行的多个节点中处理Hive在Hadoop中扮演数据仓库的角色，Hive使用类SQL语法进行数据操作HBase是面向列的数据库，运行在HDFS之上，HBase以BigTable为蓝本，可以快速在数十亿行数据中随机存取数据

主流大数据技术Storm是流式计算Spark是内存计算、流式计算、图计算Sqoop是从关系数据库导入数据到Hadoop，并可直接导入到HDFS或HiveFl