基于云存储的网盘系统架构及业界典型网盘产品调研分析..docx

基于云存储的网盘系统架构及业界典型网盘产品调研分析姓名：XXX学号：1、背景云存储是在云计算(cloud?computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。网盘，又称网络U盘、网络硬盘，是由网络公司推出的在线存储服务。向用户提供文件的存储、访问、备份、共享等文件管理等功能。用户不需要随身携带，更不怕丢失。可以把网盘看成一个放在网络上的硬盘或U盘，不管你是在家中、单位或其它任何地方，只要你连接到因特网，你就可以管理、编辑网盘里的文件，做到随时随地读取及使用，存储等服务。2、云存储技术的基础架构2.1云存储系统的结构云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。云存储系统的结构模型由四层组成，分别是：存储层、基础管理层、应用接口层和访问层。存储层：是云存储最基础的部分。云存储中的存储设备往往数量庞大且分布地域很广，彼此之间通过广域网、互联网或者光纤通道网络连接在一起。存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。基础管理层：是云存储最核心的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。应用接口层：是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。访问层：任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。2.2网盘系统结构中云存储技术 在通常情况下，可以将基于云存储实现网络硬盘的关键技术分为二个方向。 可以说，云存储技术的核心就是分布式文件系统，利用分布式文件系统可以集群文件系统，并且保证其是安全和可靠的，还可以大规模地扩展支持系统。目前，有很多文件系统都被用户广泛应用，比如 Sun公司的Lustre等等。不同的分布式文件系统有着不同的特点，有些分布式文件系统不是通用的，只有在处理超大数据集的应用程序时，才适用HDFS。相对来讲，较为优秀的分布式文件系统有 MooseFS，它是著名的开源分布式文件系统，可以通用，并且在使用的时候，也不需要对上层应用进行修改。相对于其他的分布式文件系统来讲，这种系统有着很多优点，比如因为并没有在同一个数据节点内存储文件，那么就不会担心数据被泄露；可以在线对它的容量进行扩展，体系架构也有着十分强的伸缩性；部署也比较简单；体系架构和文件对象高可用，没有单点故障存在于所有组件中，还可以对任意文件的杂余程度进行设置；WebGU监控接口可以提供给用户；随机读与写的效率也可以得到有效的提高；并且海量小文件的读写效率也可以得到有效提高。图2.2一个分布式服务器集群架构方案以MooseFS作为分布式集群的基础结构，可以分为三个部分，分别是主控节点、存储节点、元数据目志服务器。主控节点主要是管理用户业务控制流以及各个数据存储节点，文件的读写调度、空间回收以及恢复和各个节点之间的拷贝功能也需要主控节点来负责。存储节点主要负责用户之间的数据流，主控节点对其进行调度，将必要的存储空间提供给客户，并且客户也可以在此基础上进行数据的传输。元数据日志服务器主要是对主控节点的日志文件进行备份，这样如果主控节点出现了故障，那么就可以将其工作接替过来，尽量减少损失和影响。用户在对网盘空间进行访问时，首先对主控节点发送请求，主控节点对一个存储节点服务器进行指定，来与用户交互数据，指定的标准是存储节点的负载情况，业