课程一：运用Hadoop分布式架构补充传统架构(IOE)迎战大数据.pptxVIP

运用Hadoop分布式架构补充传统架构(IOE)迎战大数据童小军2022年3月提纲Hadoop补充传统架构应对大数据Hadoop云计算架构解析Hadoop 应用案例和云平台EasyHadoop,RedHadoop介绍 Hadoop是什么?RedHadoop海量数据处理操作系统更多Flume大规模搜索(Nutch)挖掘算法(Mahout)搜索(Solr)Sqoop数据仓库(Hive)数据库(Hbase)批处理(Pig)分布式锁(Zoomkeeper)BSP模型(Hama)存储+计算(HDFS+MapReduce)处理框架-分布式OS-生态系统Hadoop在云计算的位置私有云混合云公有云按提供的服务类型按云服务的对象面向外部用户需求，通过开放网络提供云计算服务IDC，GoogleApp，Saleforce在线CRM分布存储分布计算SAASPAASIAASIAAS大型企业按照云计算的架构搭建平台，面向企业内部需求提供云计算服务企业内部数据中心等Infrastructure as a Service以服务的形式提供虚拟硬件资源，如虚拟主机/存储/网络等资源。用户无需购买服务器、网络设备、存储设备，只需通过互联网租赁即可搭建自己的应用系统典型应用：Amazon Web Service (AWS)Platform as a Service提供应用服务引擎，如互联网应用编程接口/运行平台等。用户基于该应用服务引擎，可以构建该类应用。典型应用：Google AppEngine, F, Microsoft Azure服务平台Software as a Service用户通过Internet (如浏览器)来使用软件。用户不必购买软件，只需按需租用软件典型应用：Google Doc, S, Oracle CRM OnDemand, Office Live Workspace兼顾以上两种情况的云计算服务Amazon Web Server等既为企业内部又为外部用户提供云计算服务 3200台主机云计算核心技术有两极 传统架构(IOE)和云计算(虚拟化)的主要瓶颈OracleVPSVPSVPSVPSVPSVPS服务器服务器服务器IBM计算瓶颈数据移动带宽瓶颈存储阵列EMC存储磁盘IO瓶颈 传统架构(IOE)和云计算(虚拟化)的主要瓶颈计算能力和机器数量成正比IO能力和机器数量成非正比OracleVPSVPSVPSVPSVPSVPS服务器服务器服务器IBM计算瓶颈cpucpucpu数据移动带宽瓶颈存储阵列EMC存储磁盘IO瓶颈基于共享存储和高性能计算的架构。服务器服务器服务器服务器服务器服务器cpucpucpucpucpucpu存储存储存储存储存储存储 传统架构(IOE)和云计算(虚拟化)的主要瓶颈交换机计算能力和机器数量成正比IO能力和机器数量成正比Reduce计算瓶颈MAP数据移动带宽瓶颈磁盘IO瓶颈HDFS移动计算而非移动数据,化整为零(128m),分片处理；本地化计算,并行IO,降低网络通信 Hadoop补充IOE存储架构应对大数据使用Hadoop补充传统架构(IOE)HbaseHive Hadoop处于群雄逐鹿的春秋战国时代亚马逊,百度云,腾讯云,移动打云 -云服务天云系(天云趋势,天云科技),友友,云创存储 -解决方案IBM,HP,Dell,浪潮,曙光,云创存储 -一体机Apache,Cloudera,MapR,HotonWorks,Intel - 发行版本为何Intel会大力扶植Hadoop? 服务硬件体系的混战(X86-Power)(PC Server - 小型机)提纲Hadoop补充传统架构应对大数据Hadoop云计算架构解析Hadoop 应用案例和云平台EasyHadoop,RedHadoop介绍Google云计算平台体系结构：2021~2022年在多篇学术论文公开后端系统：Google数据分析平台Hadoop 是 Google 三架马车的基础Google 集群管理系统数据仓库(Hive)数据库(Hbase)批处理(Pig)分布式锁(Zoomkeeper)BSP模型(Hama)存储+计算(HDFS+MapReduce)Hadoop HDFS ? Google GFS分布式文件系统HDFS2的模块NameNode 计算DataNode 存储Map任务从DFS/HugeTable等中读数据分片Hadoop MapReduce ? Google MapReduce面向大规模数据处理的并行编程系统Map任务在本地写中间结果Reduce 任务读Map输出的中间结果Reduce 任务在DFS/HugeTable写输出数据MapReduce的目标自动并行化：开发者不必关心底层并行处理系统的系统自动可靠性处理：开发者不必关心设备、网络的临时/永久的故障