云计算原理与实践02分布式计算.pptx

;云计算原理与实践;《云计算原理与实践》课程总览;Outline;2.1 分布式计算概述 ;2.1.1 基本概念;中科院的定义;分布式计算比起其他算法具有以下几个优点。 ? 稀有资源可以共享； ? 通过分布式计算可以在多台计算机上平衡计算负载； ? 可以把程序放在最适合运行它的计算机上。;2.1.2 分布式计算的原理;分布式计算一般分为以下几步： 1．设计分布式计算模型 首先要规定分布式系统的计算模型。计算模型决定了系统中各个组件应该如何运行，组件之间应该如何进行消息通信，组件和节点应该??何管理等。 2．分布式任务分配 分布式算法不同于普通算法。普通算法通常是按部就班，一步接一步完成任务。而分布式计算中计算任务是分摊到各个节点上的。该算法着重解决的是能否分配任务，或如何分配任务的问题。 3．编写并执行分布式程序 使用特定的分布式计算框架与计算模型，将分布式算法转化为实现，并尽量保证整个集群的高效运行，难点： （1）计算任务的划分 （2）多节点之间的通信方式 ;2.2 分布式计算的理论基础;2.2.1 ACID原则;2.2.1 ACID原则;2.2.1 ACID原则;2.2.1 ACID原则;2.2.1 ACID原则;2.2.2 CAP理论;一致性; 可用性; 分区容错性 ;2．CAP理论的阐述与证明;图2.3 分布式系统正常运转的流程;图2.4 断开N1和N2之间的网络;3．CAP权衡;2.2.3 BASE理论;1．基本可用;2．软状态;3．最终一致性;2.2.4 最终一致性;2.2.4 最终一致性;2.2.5 一致性散列;2．容错性和扩展性;2．容错性和扩展性;2．容错性和扩展性;2.3 分布式系统概述;2.3.1 分布式系统的基础知识 ;2.3.2 分布式系统的特性 ;2.3.3 分布式存储系统实例：Apache Hadoop ;图2.13 Hadoop的核心组成;1．关于Apache Hadoop;2．HDFS分布式文件系统;2．HDFS分布式文件系统;2．HDFS分布式文件系统;2．HDFS分布式文件系统;2．HDFS分布式文件系统;3．Apache Hadoop特性;2.4 分布式系统的进阶;2.4.1 分布式存储系统;1．结构化存储;2．非结构化存储;3．半结构化存储;4．In-memory存储;5．NewSQL;2.4.2 分布式计算系统;1．传统基于消息的系统;2．MapReduce家族系统;3．图计算系统;4．基于状态的系统;5．实时流处理系统;2.4.3 分布式资源管理系统;资源统一管理和调度平台具有以下特点： 1．支持多种计算框架 2．扩展性 3．容错性 4．高资源利用率 5．细粒度的资源分配 ;2.5 典型的分布式系统;2.5.1 网格系统;1. 网格的概念;2. 网格的组成;3．Globus工具包;2.5.2 P2P系统;P2P系统性质;P2P系统特点;对等网络应用;2.5.3 透明计算;图2.20 透明计算模式;透明计算核心技术;透明计算核心技术;2.5.4 区块链系统;区块链的核心特征;区块链模式;区块链体系架构;区块链应用;分布式计算概述 分布式计算的理论基础 分布式系统概述 分布式系统的进阶 典型的分布式系统;课内复习;课外思考;动手实践1;动手实践2;Thanks!