Hadoop技术应用分享交流要点.pptxVIP

Hadoop技术应用分享交流 1 赵 峰 第一章 大数据的基本概念和特点 第二章 Hadoop基础 第三章 Hadoop生态圈 第四章 Hadoop版本 第五章 Hadoop管理 第六章 项目应用分享 第七章 行业应用与案例 大数据 大数据定义“4个V”——Volume(大量)、Velocity(高速)、Variety(多样)、Veracity(精确)提高对数据的“加工能力”，通过“加工”实现数据的“增值” 大数据的发展源于物联网技术的应用，并用于支撑智慧城市的发展 大数据是一场全民革命，从总统选举、明星代言。 Hadoop是当前最广为人知的大数据技术实施方案 大数据和云计算的关系 商业模式驱动 应用需求驱动 云计算改变了IT,而大数据则改变了业务 云计算是大数据的IT基础，大数据须有云计算作为基础架构，才能高效运行 通过大数据的业务需求，为云计算的落地找到了实际应用 大数据 云计算 第一章 大数据的基本概念和特点 第二章 Hadoop基础 第三章 Hadoop生态圈 第四章 Hadoop版本 第五章 Hadoop管理 第六章 项目应用分享 第七章 行业应用与案例 Hadoop概述 Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。 用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。 它主要有以下几个优点： 高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。 高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。 高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。 高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。 低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。 Hadoop思想之源：Google 2003-2004年，Google公开了部分GFS和Mapreduce思想的细节，以此为基础Doug Cutting等人用了2年业余时间实现了DFS和Mapreduce机制。 Hadoop的分布式文件系统（HDFS）和Hadoop MapReduce完全是谷歌文件系统（GFS）和谷歌MapReduce（GMR）的开源实现 Hadoop基本处理思想 分而治之 让普通、廉价的服务器组成一个稳定的强大的集群 第一章 大数据的基本概念和特点 第二章 Hadoop基础 第三章 Hadoop生态圈 第四章 Hadoop版本 第五章 Hadoop管理 第六章 项目应用分享 第七章 行业应用与案例 Hadoop生态圈发展路线 Hadoop生态圈 HDFS（分布式文件系统） 源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版。 是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。 Client：切分文件；访问HDFS；与NameNode交互，获取文件位置信息；与DataNode交互，读取和写入数据。 NameNode：Master节点，在hadoop1.X中只有一个，管理HDFS的名称空间和数据块映射信息，配置副本策略，处理客户端请求。 DataNode：Slave节点，存储实际的数据，汇报存储信息给NameNode。 HDFS Shell hdfs dfs -ls /user/boco/bao/hb/pay/reasonoutput hdfs dfs -put new.dat /user/boco/stat/gn_imei_stat/ hdfs dfs -rmr /user/boco/stat/gn_imei_stat/ hdfs dfs -get /user/boco/test-out/part-r-00000.gz hdfs dfs -du -s -h /user/boco/cache/wy/ltemro/xml/* hdfs dfs -cat /user/boco/bao/hb/part-r-4259-aec7-1c11eda588b1 MapReduce（分布式计算框架） 源自于google的MapReduce论文，发表于2004年12月，Hadoop MapReduce是google MapReduce 克隆版。 MapReduce是一种计算模型，用以进行大数据量的计算。其中Map对数据集上的独立元素进行指定的操作，生成键-值对形式中间结果。Reduce则对