云计算概念及关键技术.docxVIP

精品文档 精品文档 PAGE PAGE4 精品文档 PAGE 云计算的观点及关键技术 、云计算的观点 1.1观点 云计算是一种通过互联网接见、可定制的 IT资源共享池，并按照使用量付费的 模式,这些资源包括网络，服务器，存储、应用、服务等。广泛意义上 来说，云计算是指服务的交托和使用模式，即通过网络以按需，易扩展的方式获 取所需的资源，这种服务能够是 IT的基础设施（硬件、软件、平台）， 也能够是其他服务，云计算的中心理念就是按需服务，就像人使用水、电、天然气等资源同样。 1.2关键技术 云计算的关键技术有：虚构化、散布式文件系统、散布式数据库、资源管理技术、能耗管理技术。 虚构化：虚构化是实现云计算重要的技术设施，是在通过物理主机中同时运行多个虚构机实现虚构化，在这个虚构化平台上，实现对多个虚构机操作系统的监督和多个虚构 机对物理资源的共享； 散布式文件系统：指在文件系统基础上发展而来的云存储散布式 系统，可用于大规模的集群，主要特点： 1、高可靠性：云存储系统支持多个节点间保存多个数据副本的功能，以提供数 据的可靠性；‘’ 2、高接见性：根据数据的重要性和接见频次将数据分级多副本存储、热点数据 并行读写，提高接见； 3、在线迁移、复制：存储节点支持在线迁移，复制、扩容不影响上层应用； 4、自动负载平衡：能够根据目前系统的负荷，将原有节点上的数据迁移到新增 的节点上，特有的分片存储，以快为最小单位来存储，存储和查问时所有的存储 节点并行计算； 5、元数据和数据分别：采用元数据和数据分别的存储方式设计散布式文件系统。 散布式数据库:能实现动向负载平衡、故障节点自动接收、具有高可靠性，高可 用性、高可扩展性； 资源管理技术: 云系统为开发商和用户提供了简单通用的接口， 使得开发商将注意力更多低集合 在软件本身，而无需考虑到底层架构，云系统一句用户的资源获取恳求， 动向分 配计算资源； 能耗管理技术: 云计算基础设施中包括数以万计的计算机， 怎样有效低整合资源、降低运行成本， 节俭运行计算机所需的能源成为一个关注的问题 二、hadoop 生态 在云计算这一块，hadoop算做的比较不错，hadoop平台的基本框图和生态系统如下所示： 说明： 1、MapReduce  ：是一个并行化计算框架，提供了  map  和  reduce  两阶段的并 行办理模型和过程，mapreduce以键值对的数据输入方式来办理数据，并能自动达成数据的划分和调动管理； 2、散布式文件系统(HDFS):鉴于物理上散布在各个数据存储节点的本地Linux系统的文件系统，为上次提供一个逻辑上成为整体的大规模数据存储系统； 3、散布式数据库管理系统（HBASE）:战胜了难以管理构造化/半构造化海量数据的缺点，提供了一个大规模散布式的，成立在HDFS之上的散布式数据库管理系统，Hbase提供了鉴于行，列和时间戳的三维数据管理模型； 4、公共服务模块（Common）：为hadoop提供支撑服务和常用的工具类库以及api编程接口，服务包括：抽象文件系统fileSystem、远程过程调用（RPC）,系统配置工具以及序列化体制； 5、数据序列化(Avro)：用于将数据构造和数据对象转变成数据存储和网络传输的格式； 6、散布式协调服务（Zookeeper）：主要用户提供散布式应用经常需要的系统可靠性维护，数据状态同步、统一命名服务，散布式应用配置等管理功能； 7、散布式数据仓库办理工具（Hive）：用于管理存在HDFS和hbase中的构造化/半构造化的数据。 8、数据流办理工具(Pig)：用来办理大规模数据集平台，程序员能够使用它将复杂的数据剖析任务实现为pig操作上的数据流脚本，这些脚本最终执行时将被系统自动转为mapreduce任务链，在hadoop上执行； 9、键值对数据库（Cassandro）：是一个键值对数据库； 10、关系数据互换工具（Sqoop）:能够将一个关系型数据库中的数据批量导入hadoop的HDFS,HBASE、Hive中，也能够反过来将数据导入关系型数据中。 11、日志数据收集工具（Flume）：它将数据从生产、传输、办理、输出的过程抽象为数据流，并允许在数据源中定义数据发送方，进而支持鉴于各样不同传输协议的数据，同时也支持对数据的过滤，格转等能力。