Hadop - 介绍.pptxVIP

引言 古代，人们用牛来拉重物。当一头牛拉不动一根圆木时，他们不曾想过培育更大更壮的牛。同样，我们也不需要尝试开发超级计算机，而应试着结合使用更多的计算机系统。 -----格蕾·霍珀 Hadoop—介绍 大数据技术需要解决的难题 什么是Hadoop及其由来 Hadoop生态坏境介绍 Hadoop YARN基本构架 Hadoop的实际应用 不同Hadoop版本间的比较 一、大数据技术需要解决的难题 海量数据如何存储？ 海量数据如何处理？ 1. 海量数据如何存储？ 海量数据的存储问题也不是今天才有的，很早以前就出现了，一些行业或者部门因为历史的积累，数据量也达到了一定的级别，当一台电脑无法存储这么庞大的数据时，采用的解决方案是使用NFS(网络文件系统)将数据分开存储 D:\software E:\aa\bb F:\dd\cc E:\images Software Tools Film Music I.local\public I.local\public Software Tools Film Music NFS系统构架 缺点：海量数据分析方面不能够充分利用多台计算机同时进行分析 2. 海量数据如何计算？ 对日志中的每一个用户的流量进行汇总就和，如下图所示： 一个实际的需求场景