架构6月14日9：00-12：00-陈昕-分布式系统基础.pptx

分布式系统基础分布式系统的基本原理什么是分布式系统？为什么要使用分布式系统？分布式系统的困难什么是分布式系统？分布式系统是一组计算机，通过计算机网络相互连接传递消息与通信后，并协调它们的行为而形成的系统。一组计算机通过网络传递消息协调计算机的行为为什么要使用分布式系统？理想世界假设拥有无限的计算和存储能力……现实世界存储与计算能力受硬件限制升级硬件？成本-收益曲线硬件极限为什么要使用分布式系统？分布式系统可以使用桌面级的硬件达到近乎无限的存储与计算能力。可扩展性分布式系统的困难设计的困难保证一致处理失效理论结果FLP 不可能性CAP 定理分布式系统的困难一致性问题一致性：每个正确的过程应该在相同的值上达成一致。完整性：每个正确的过程最多只能决定一个值。如果它决定了某个值的话，这个值一定是被某个过程提出的。终止性：所有的过程最终会做出一个决定。有效性：如果所有正确的过程提出了相同的值V，那么所有的正确过程都会决定值V。分布式系统的困难FLP不可能性 （Fischer, Lynch Patterson）假设网络是可靠的节点只会因崩溃而失效异步模型（消息延时可能无限）结论即使消息不会被丢失、只会因为节点崩溃（停止执行）而失败仍然不存在一个可以解决一致性问题的（确定性）算法。分布式系统的困难FLP不可能性也就是说在一个最小化的系统模型里面，也不能够在不允许无限等待的情况下解决一致性问题。设计权衡安全性（Safety）/ 终结性（Liveness）一致性（Consensus）分布式系统的困难CAP 不可能同时达到一致性（Consistency）所有节点在同一时刻看到的是同样的数据。可靠性（Availability）节点的失效不影响活着的节点继续处理请求。分区容忍性（Partition Tolerance）由于网络或节点的失效，丢失了消息，但仍然不影响系统继续处理请求。分布式系统的困难CAP2PCPaxosXGossip分布式系统的困难Partition ToleranceCAP 权衡AvailabilityConsistency?分布式系统的困难使用的困难系统接口RESTSDKRaw Library系统预期同步/异步一致性 （强/弱/最终）故障恢复机制分布式系统的困难场景及标准化场景多样如DynamoDB, BigTable, GFS等场景迥异标准化并没有形成业界统一的分布式系统标准事实标准： AWS, Windows Azure, Google API, 阿里云常见分布式系统场景云服务器分布式负载均衡分布式关系型数据库键值存储系统分布式文件系统分布式离线数据处理系统流式计算系统云服务器云服务器场景是一种可扩展的虚拟计算环境，以虚拟机的形式抽象计算能力，为用户提供服务。计算能力可扩展垂直扩展（增配减配）横向扩展（增减虚拟机）云服务器云服务器常见产品Amazon Elastic Compute Cloud (EC2)Windows Azure Virtual Machine阿里云 云服务器腾讯云 云服务器青云 计算……分布式负载均衡负载均衡场景用在为云服务器实例分配入口流量。云服务器实例失效的容错计算能力的弹性伸缩分布式负载均衡分布式负载均衡常见产品Amazon Elastic Load Balancing阿里云 负载均衡服务 (SLB)腾讯云 负载均衡……分布式关系型数据库允许在云的环境下建立、操作、扩展关系型数据库实例。传统关系数据库的云上解决方案。MySQLMicrosoft SQL ServerOracle分布式关系型数据库常见产品Amazon Relational Database Service(RDS)Windows Azure SQL/MySQL Database阿里云 云数据库(RDS)腾讯云 云数据库青云 关系型数据库(RDB) 键值存储系统非结构化存储系统互联网级的存储服务，存储非结构化的任意数据量的数据。扩展及故障恢复对用户完全透明。NoSQL存储结构化、非关系型的数据存储。单元数据量受限，整体数据极易扩展。表的形式进行存取。键值存储系统-非结构化常见产品Amazon Simple Storage Service(S3)Windows Azure Storage Service阿里云 开放存储服务(OSS)七牛云存储……键值存储系统-NoSQL常见产品及系统Amazon DynamoDBAmazon SimpleDBWindows Azure Table Service阿里云 开放结构化数据服务(OTS)Google BigTableHadoop HBaseMongoDBCassandra……分布式文件系统可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。文件系统接口离线的大文件场景分布式文