天呐云计算技巧.ppt

* * * * * 那到底什么是云计算呢？ 云计算长定义 云计算短定义 云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。 云计算是通过网络按需提供可动态伸缩的廉价计算服务。 将软件作为服务 SaaS（Software as a Service） 将平台作为服务 PaaS（Platform as a Service） 将基础设施作为服务 IaaS（Infrastructure as a Service） 针对性更强，它将某些特定应用软件功能封装成服务 如：Salesforce online CRM 对资源的抽象层次更进一步，提供用户应用程序运行环境 如：Google App Engine Microsoft Windows Azure 将硬件设备等基础资源封装成服务供用户使用 如：Amazon EC2/S3 云计算按服务类型大致分为三类： 专用 通用 * 云计算的7个特点 超大规模 虚 拟 化 高可靠性 通 用 性 高可伸缩性 按需服务 极其廉价 * 潜在的危险性 云计算服务除了提供计算服务外，还必然提供了存储服务。但是云计算服务当前垄断在私人机构（企业）手中，而他们仅仅能够提供商业信用。对于政府机构、商业机构（特别像银行这样持有敏感数据的商业机构）对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用私人机构提供的云计算服务，无论其技术优势有多强，都不可避免地让这些私人机构以“数据（信息）”的重要性挟制整个社会。对于信息社会而言，“信息”是至关重要的。另一方面，云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的，但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险，是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时，不得不考虑的一个重要的前提。 其实我也不懂 全球最大搜索引擎、Google Maps、Google Earth、Gmail、YouTube等。这些应用的共性在于数据量巨大，且要面向全球用户提供实时服务。 2.1 Google文件系统GFS 2.1.1 系统架构 2.1.2 容错机制 2.1.3 系统管理技术 GFS的系统架构 应用程序 GFS客户端 (文件名，Chunk索引) (Chunk句柄 Chunk位置) GFS主服务器 文件命名空间 /foo/bar Chunk2ef0 向数据块服务器发出指令 数据块服务器状态 GFS数据块服务器 Linux文件系统 GFS数据块服务器 Linux文件系统 … … (Chunk句柄，字节范围) Chunk数据 … 标注： 数据信息 控制信息 * 2.1 Google文件系统GFS GFS将整个系统节点分为三类角色 Client （客户端） Master （主服务器） Chunk Server （数据块服务器） Client是GFS提供给应用程序的访问接口，以库文件的形式提供 Master是GFS的管理节点，负责整个文件系统的管理 Chunk Server负责具体的存储工作 系统节点 GFS * 2.1 Google文件系统GFS GFS的实现机制 客户端首先访问Master节点，获取交互的Chunk Server信息，然后访问这些Chunk Server，完成数据存取工作。这种设计方法实现了控制流和数据流的分离。 Client与Master之间只有控制流，而无数据流，极大地降低了Master的负载。 Client与Chunk Server之间直接传输数据流，同时由于文件被分成多个Chunk进行分布式存储，Client可以同时访问多个Chunk Server，从而使得整个系统的I/O高度并行，系统整体性能得到提高。 * 2.1 Google文件系统GFS GFS的特点 1 采用中心服务器模式 可以方便地增加Chunk Server Master掌握系统内所有Chunk Server的情况，方便进行负载均衡 不存在元数据的一致性问题 * 2.1 Google文件系统GFS GFS的特点 2 不缓存数据 文件操作大部分是流式读写，不存在大量重复读写，使用Cache对性能提高不大 Chunk Server上数据存取使用本地文件系统从可行性看，Cache与实际数据的一致性维护也极其复杂 * 2.1 Google文件系统GFS GFS的特点 3 在用户态下实现 利用POSIX编程接口存取数据降低了实现难度，提高通用性 POSIX接口提供功能更丰富 用户态下有多种调试工具 Master和Chunk Server都以进程方式运行，单个进程不影响整个操作系统 GFS和操作系统运行在不同的空间，两者耦合性降低 * 2.1 Google文件系统G