分布式存储课件.ppt

专业教学资源库设施农业与装备《设施农业与装备专业教学资源库》《畜禽智能化养殖专业教学资源库》单击此处编辑母版标题样式《畜禽智能化养殖专业教学资源库》单击此处编辑母版标题样式《畜禽智能化养殖专业教学资源库》单击此处编辑母版标题样式《畜禽智能化养殖专业教学资源库》《畜禽智能化养殖专业教学资源库》单击此处编辑母版标题样式《畜禽智能化养殖专业教学资源库》单击此处编辑母版标题样式《畜禽智能化养殖专业教学资源库》单击此处编辑母版标题样式《畜禽智能化养殖专业教学资源库》单击此处编辑母版标题样式《设施农业与装备专业教学资源库》《设施农业与装备专业教学资源库》1234分布式的基本概念分布式存储分类分布式存储的发展历史存储系统的关键性能目录基本概念分布式存储系统：是将为数众多的普通计算机或服务器通过网络进行连接，同时对外提供一个整体的存储服务。基本概念传统的网络存储系统采用集中式存储服务器来存储所有数据。存储服务器已成为制约系统性能的瓶颈和可靠性、安全性的焦点，已不能满足大规模存储应用的需要。分布式存储系统包括以下几个特性：高性能可扩展低成本易用性分布式存储分类分布式存储面临的应用场景和数据需求都比较复杂，根据数据类型，可以将其分为非结构化数据、结构化数据、半结构化数据三类。根据功能可以将分布式存储系统分为四类：分布式文件系统分布式键值（Key-Value）系统分布式表系统分布式数据库图5.2分布式文件系统的发展分布式存储的发展历史1．20世纪80年代的代表：AFS、NFS、Coda（1）AFS：1983年CMU和IBM共同合作开发了Andrew文件系统（AndrewFileSystem，AFS）（2）NFS：1985年，Sun公司基于UDP开发了网络共享文件系统（NetworkFileSystem,NFS）（3）Coda：1987年，CMU在基于AFS的基础上开发了Coda文件系统分布式存储的发展历史2．20世纪末的代表：（1）SAN（StorageAreaNetwork）（2）NAS（NetworkAttachedStorage）（3）GPFS（GeneralParallelFileSystem）（4）GFS（GoogleFileSystem）（5）HDFS（HadoopDistributedFileSystem）分布式存储的发展历史3．21世纪的代表：Cassandra、HBase、MongoDB、DynamoDB（1）Cassandra：是一套开源分布式NoSQL数据库系统，最初由Facebook开发，用于储存收件箱等简单格式数据，集GoogleBigTable的数据模型与AmazonDynamo的完全分布式的架构于一身。（2）HBase：列存储数据库，擅长以列为单位读取数据，面向列存储的数据库具有高扩展性，即使数据大量增加也不会降低相应的处理速度，特别是写入速度。分布式存储的发展历史（3）MongoDB：文档型数据库同键值（Key-Value）型的数据库类似，是键值型数据库的升级版，允许嵌套键值，Value值是结构化数据，数据库可以理解Value的内容，提供复杂的查询，类似于RDBMS的查询条件。（4）DynamoDB：Amazon公司的一个分布式存储引擎，是一个经典的分布式Key-Value存储系统，具备去中心化、高可用性、高扩展性的特点。分布式存储的发展历史分布式存储系统的关键性能1．性能分析性能分析是用来判断设计方案是否存在瓶颈点，权衡多种设计方案的一种手段，也可作为后续性能优化的依据。设计之初首先分析整体架构，接着重点分析可能成为瓶颈的单机模块。系统中的资源（CPU、内存、磁盘、网络）是有限的，性能分析就是需要找出可能出现的资源瓶颈。分布式存储系统的关键概念2．数据分布分布式系统能够将数据分布到多个节点，并在多个节点之间实现负载均衡。将数据分散到多台机器后，需要尽量保证多台机器之间的负载是比较均衡的。分布式存储系统需要能够自动识别负载高的节点，当某台机器的负载较高时，将它服务的部分数据迁移到其他机器，实现自动负载均衡。分布式存储系统的关键概念3．复制为了保证分布式存储系统的高可靠和高可用，数据在系统中一般存储多个副本。当某个副本所在的存储节点出现故障时，分布式存储系统能够自动将服务切换到其他的副本，从而实现自动容错。分布式存储系统通过复制协议将数据同步到多个存储节点，并确保多个副本之间的数据一致性。分布式存储系统的关键概念4．容错分布式存储系统首先需要能够检测到机