云计算与Hadoop介绍.pptVIP

2012/09/16 提纲 什么是云计算？ 什么是Hadoop？ Hadoop的基本组成 什么是云计算？（1/5） 当前软件的获取-使用的主要方式 离线方式： 购买---安装---本地运行使用 在线方式： 寻找---下载---安装---本地运行使用 什么是云计算？（2/5） 云计算环境下的软件获取-使用方式 在线寻找---在线运行---在线使用---在线付费 WebQQ 360在线杀毒 什么是云计算？（3/5） 云计算的定义 云计算是一种基于互联网的服务交付和使用模式，是指通过网络以按需、易扩展的方式获得所需服务。 核心思想：将大量用网络连接起来的计算资源统一管理和调度，构成一个资源池向用户提供按需服务。 为什么称为“云”计算： 以云可大可小、可以飘来飘去的这些特点来形容云计算中服务能力和信息资源的伸缩性和后台服务设施的位置透明性。 什么是云计算？（4/5） 云计算的应用模式 什么是云计算？（5/5） 云计算的优势 降低成本，提高效能 提供可靠、安全的数据存储 降低对用户端设备配置要求 轻松实现不同设备间的数据与应用共享 什么是Hadoop? hadoop 什么是Hadoop? Hadoop是一个开源的、可以编写和运行分布式应用来处理大规模数据的框架（平台）。 主要特点： 用户可以在不了解分布式底层细节的情况下，开发分布式程序 充分利用集群的威力高速运算和存储 Hadoop的基本组成 HDFS(Hadoop Distributed File System): 分布式文件系统，实现分布式存储 MapReduce：分布式程序框架，实现分布式计算 Hadoop的基本理念 输入的大规模数据 分布式计算代码 第一步：分布式存储，分配数据到各个节点 HDFS 第二步：分布式计算，分配代码到各个节点 MapReduce 基本理念： 代码向数据迁移 HDFS架构（主从架构） NameNode DataNode DataNode DataNode 客户端 Secondary NameNode 查询数据，获取数据位置 读写数据 TCP/IP TCP/IP TCP/IP TCP/IP MapReduce程序框架 Map函数:键/值对映射 k1, v1 ? k2,v2 E.g., k1, v1 : 1,“abcd”, 2,“cde”, 3,“acd”,….. k2,v2: ‘a’, 2, ‘b’,1, ‘c’,3,…… Reduce函数:规约 k2, list(v2) ? k3,v3 E.g., k2, list(v2) : ‘a’, list(1,2,3) k3,v3: ‘a’, 6 MapReduce程序处理流程 MapReduce程序框架的架构 （主从架构） JobTracker 客户端 TaskTracker TaskTracker TaskTracker map Reduce map Reduce map Reduce TCP/IP TCP/IP TCP/IP Hadoop集群典型架构 NameNode JobTracker DataNode Secondary NameNode TaskTracker DataNode TaskTracker DataNode TaskTracker TCP/IP TCP/IP TCP/IP TCP/IP 小结 云计算是一种新的计算模式 云计算就是要通过网络将IT基础设施集中调动和管理，以向用户提供按需服务 Hadoop是搭建云计算环境的一种分布式框架 Hadoop包括HDFS和MapReduce两个主要组件，前者实现分布式存储，后者实现分布式计算 参考资料 《hadoop实战》 / /wiki/Hadoop 谢谢大家！ 搜索引擎索引 Hadoop的应用: * * * 1.云计算提供了最可靠、最安全的数据存储中心，用户不用再担心数据丢失、病毒入侵等麻烦。 　　很多人觉得数据只有保存在自己看得见、摸得着的电脑里才最安全，其实不然。你的电脑可能会因为自己不小心而被损坏，或者被病毒攻击，导致硬盘上的数据无法恢复，而有机会接触你的电脑的不法之徒则可能利用各种机会窃取你的数据。 　　反之，当你的文档保存在类似 Google Docs 的网络服务上，当你把自己的照片上传到类似 Google Picasa Web 的网络相册里，你就再也不用担心数据的丢失或损坏。因为在“云”的另一端，有全世界最专业的团队来帮你管理信息，有全世界最先进的数据中心来帮你保