培训讲义-Part3-分布式云存储技术-授课详细版及打印版.pptx

云存储关键技术及服务;WWW.COMPANYSITE.COM | INFO@COMPANYSITE.COM | +12 34 567 890 | LONG STREET 12345, CITY, COUNTRY;什么是云存储？ 云存储分层体系架构 ;存储空间： 同步和备份 存储服务：邮箱、相册、Doc …;Portable KaraOK iLive;;同步;;;云存储定义： Data Storage as a Service:“delivery over a network of appropriately configured virtual storage and related data services, based on a request for a given service level.” 数据存储即服务，基于请求某种给定的服务等级，通过网络(向客户端)正确交付配置好的虚拟存储及数据服务。简言之，云存储是简单地按需交付虚拟存储服务。 主要应用场景 共享存储资源整合 分布式云存储;云存储为用户提供不同层次及类型数据访问接口 块存储接口： support interfaces like FC, iSCSI, FCOE, LUNs 文件系统接口 support interfaces like POSIX，CIFS, NFS, WebDAV 数据库接口 support interfaces like JDBC, ODBC, XML 对象存储接口support interfaces like CRUD operations via HTTP;云存储总体上可分为三类： 面向公众服务的云存储服务体系 面向云数据中心的存储基础设施构建技术 大数据分析服务;;;15;企业级云存储服务——包括企业云存储基础设施服务和企业云存储应用服务;;WWW.COMPANYSITE.COM | INFO@COMPANYSITE.COM | +12 34 567 890 | LONG STREET 12345, CITY, COUNTRY;海量数据带来的技术难点在那里？;从技术角度理解的分布式云存储;分布式云存储指通过集群计算、高速网格、分布式文件系统等技术，将网络中大量各种不同类型的存储设备通过中间件软件、应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个以数据存储和管理为核心的云计算系统 分布式云存储通常具备以下特性： 海量存储空间（PB级）；海量并发，支持多用户、多业务并发访问 高扩展性，最高支持上万个存储节点 高性能，单台存储节点吞吐可以达到200MB/s- 300MB/s,且线性扩展 高可靠，支持节点级、磁盘级两级数据冗余 ;;关键技术:Scale-out分布式技术;关键技术：节点间ErasureCode;关键技术：节点间多副本保存;关键技术：重复数据删除;关键技术-存储分级和数据生命周期;关键技术-云存储安全设计;CAP;CAP原则取舍;一致性;??同程度的一致性处理方式;BASE和其他一致性变体;NoSQL是一种怎样的技术？ 与SQL技术的区别 是数据库技术么？ NoSQL在文件系统之上构建么？还是也可用于构建文件系统？;WWW.COMPANYSITE.COM | INFO@COMPANYSITE.COM | +12 34 567 890 | LONG STREET 12345, CITY, COUNTRY;1、 Google GFS分布式文件系统的实现 2、淘宝TFS分布式文件系统 3、Kinetic：希捷分布式对象存储平台解析 ?;文件存储，Google Distributed File System 并行数据处理MapReduce 分布式锁Chubby 结构化数据表BigTable;什么是文件系统？ FAT, FAT32, NTFS, EXT, …… 用于持久地存储数据的系统 通常覆盖在底层的物理存储介质上 硬盘、CD、磁带等 数据组织的基本单元：文件 具有文件名（1.txt） 通常支持层次化嵌套（目录结构）;文件路径 文件与目录的结合，用于定位文件 绝对路径，/home/aaron/foo.txt 相对路径，docs/someFile.doc 规范路径 定位文件的最短绝对路径 /home/aaron/foo.txt, /home/../home/aaron/./foo.txt 所有规范路径的集合构成了文件系统的目录结构 ;文件系统的存储内容 主要内容：用户的实际数据 元数据：驱动器元数据与文件元数据;文件分块存储;文件系统设计的考虑因素 最小存储单元 较小可减少浪费空间