大数据技术基础方式.pptVIP

第2章 大数据技术基础 2.1 基础架构支持 2.1.1 Hadoop 2.1.2 Hbase 2.1.3 MapReduce 2.1.4 Hive 2.1.5 Pig 2.1.6 R语言 2.2 云计算 2.2.1 云计算的特点 2.2.2 云计算与大数据 2.3 数据采集 2.3.1 数据采集的意义 2.3.2 数据采集的方法 2.4 数据存储 2.4.1 数据存储的概念 2.4.2 数据存储方式 2.4.3 常见数据源类型 实验1 识大数据分析工具“魔镜” 本章内容 目前，建立在大数据基础之上的大分析系统有两个探索方向。 方向之一是：互联网企业直接在Hadoop基础之上，借助于云计算模式，通过加强开源数据库系统Hive/Hbase等工具能力，逐步提升大分析所需的分析能力。 方向之二是：传统的数据仓库处理厂家引入Hadoop云计算的技术，扩展原有的信息处理能力，融合传统数据仓库能力和Hadoop云计算能力，在应用层支撑更丰富的大分析能力。不管怎样，进行大数据的大分析，需要一定的架构支撑和技术支持。 2.1 基础架构支持 2.1.1 Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个