清华大学-郑纬民-一种云存储方案.pptVIP

提纲 云存储概念 云存储的特征和应用现状 云存储现状 云存储计算挑战 我们的解决方案 分布式文件系统Carrier 分布式文件管理系统Corsair 从架构上来说，我们使用了一种松耦合的体系结构：系统中包含多个元数据服务器，多个块数据服务器，多个监管者和多个客服端，在元数据服务器中，我们使用了分布式数据库Mnesia(音同‘lisa’)来实现元数据的可扩展。我们系统的特点主要体现在能够支持多样化的文件负载（大文件、小文件都支持，尤其对小文件做了一些优化）、高可扩展和容错。在接口方面，我们提供RPC、Shell、API几种接口。 * * * 要点：与Carrier之间实现固定的接口，提供对于标准FTP的接口。 系统基于SOA架构，提供多种Web Service服务，包含书签服务、目录服务、搜索服务、传输服务等等。 * 这是我们系统的界面。左边包括我们电脑的本地硬盘，我们系统提供的40T的全局共享空间，以及2G的个人空间和100G的社区空间，右边上面是我们的浏览框，右边下面是我们的任务框。同时我们提供一个简单的搜索引擎支持用户对于公用资源的搜索。 * 我们在Corsair的门户网站上发布了一个调查，目前有236人投票，结果显示，60%以上的用户的传输性能都在5MBps以上，非常快。 * 这是我们实际部署之后的一些统计数据…… * 一种云存储方案 郑纬民 清华大学计算机系 背景 云存储专注于向用户提供以互联网为基础，几乎可以无限扩展的高可靠在线存储服务，很好的满足了新兴Web2.0应用的存储需求。 用户无需考虑存储容量的大小、数据存储的位置、以及数据的可用性、可靠性和安全性等繁琐的技术细节，用户只需要按需付费就可以从云存储服务提供商那里获得近乎无限大的存储空间和可靠的服务质量，从而完全专注于自身应用与业务的发展。 云存储的基本特征和应用领域 云计算工业界发展现状 * 存储 数据库 虚拟化 并行计算 设计云存储系统面临的技术挑战 * 数据中心 数据中心 我们的解决方案 （1）存储：分布式文件系统Carrier （2）共享：虚拟文件管理系统Corsair * 数据中心 数据中心 云计算平台 分布式文件系统Carrier（存储） 云存储平台 GUI （Corsair） fuse API Web 流媒体 搜索引擎 …… 容灾业务 分布式文件系统Carrier * Carrier 分布式文件系统 * Carrier Folder Cloud Storage Apps Corsair Entertainment Personal Apps Carrier功能 将地理位置分布且异构的存储节点虚拟化为一个集中的存储系统，存储节点可以热插拔。 文件被组织成一个传统的目录树，文件被按32M大小进行分块存储。 系统自动保证负载均衡、故障恢复、副本恢复和垃圾回收。 提供RPC、API和Shell访问接口。 对于用户的读写操作实现自动负载均衡。 * Carrier架构 松耦合的体系结构 多个元数据服务器Metadata Server 多个块数据服务器DataServer 多个Supervisor负责系统监控与故障恢复、副本管理、垃圾回收等事务 特色：支持多样化的文件负载（大文件、小文件都支持）、高可扩展和容错 接口: RPC、Shell、API * Clients Metadata Servers Data Servers Supervisors C1 C2 C3 C4 分布式数据库Mnesia 与相关系统比较 Google File System， S3 不开源 Hadoop 为MapReduce计算量身定做，适合并行处理，不适合数据共享 不适合处理多样化负载，譬如大量的小文件 功能和性能不够完善： 访问权限控制 读写锁 小文件操作异常 并发操作 自主拥有－－性能分析、比较和优化 * 虚拟文件管理系统 Corsair * Corsair功能 统一视图 集成本地资源和网络资源的 统一文件管理视图 数据传输 并行文件传输、断点续传、 三方传输、流量控制 资源检索 提供对Corsair存储空间的 资源搜索功能 为个人用户提供 私人存储服务 为社区用户提供 共享存储服务 为全部用户提供 公共存储服务 Corsair系统架构 分布式异构存储资源层 适配层 FTP接口 Carrier接口 …… 虚拟目录服务 书签管理服务 搜索服务 用户管理服务 数据传输服务 社区管理服务 服务层 应用层 GUI Shell API Web Portal * Corsair 的特性 快速共享 简单的申请操作和审批就可以拥有100 GB的社区空间 移动U盘 简单的申请操作就可以拥有2GB的个人空间 “硬盘扩容” 每个用户都可以拥有40TB的网络共享资源