中期报告-陈寿刚-S0821217-第1.0版.docVIP

北京航空航天大学软件学院 硕士论文中期检查报告 论文名称：海量小文件的分布式存储设计与实现 姓 名：陈寿刚 学 号：GS0821217 专 业：IT项目管理与产业信息化 企业指导教师：刘凯英 企业导师单位：天航奥杰信息科技 北京 有限公司 开题时间： 2011年9月 2012年 9 月 目 录 1. 课题简介 3 1.1课题背景 3 1.2主要研究内容和目标 4 2. 论文工作进展情况 5 2.1开题报告预计的工作计划 5 2.2实际进展情况 6 3. 论文工作成果介绍 7 3.1工作模式及流程的确定 7 3.2海量小文件的分布式存储需求分析 9 3.3现有主流分布式文件系统 10 3.4系统总统解决方案架构 12 3.5平滑扩容 14 3.6存储机制 15 3.7容错机制 17 3.8元数据存储引擎及分布式缓存系统选型及相关模块设计 18 3.9主要操作的流程设计 19 3.10典型应用案例设计 21 4. 关键问题的解决情况 21 5. 创新性的方法、技术、成果 24 6. 论文后期工作及进度安排 25 6.1后期需要完成的工作及进度安排 25 7. 尚存的问题及措施 26 7.1论文后期工作存在的困难和问题 26 7.2准备采取的措施 27 7.3如期完成全部论文工作的可能性 27 8. 参考文献 28 1. 课题简介 1.1课题背景 进几年来，Web2.0网站的流行，电子商务的流行，智能手持设备的流行，海量的人参与网上内容的建设，分享。网站数据内容以几何级数增长，尤其是那些小文件，几K～几百K不等，数量巨多，传统的文件系统处理起来很是吃力，很多网站在运营的过程中都遇到了这样的问题：磁盘IO过高；备份困难；单点问题，容量和读写无法水平扩展，随时存在故障的可能，在传统模式下，很难给用户提供优质的不间断的网络服务。 国内某大型Web2.0社区型网站，注册用户数1500万以上，活跃用户数在200万左右。由于Web2.0的特性，网站有大量的创作型用户，平均每天上传的图片数量在10万张以上，图片的浏览量平均每天2千万次以上。由于图片有不同规格的多个个缩微图，图片的文件数量大约是上传数量的5倍以上。 面对如此海量的信息，网站在文件存储方面遇到大量的问题，比如大量的磁盘IO，单个目录文件数量的限制，文件的管理维护高成本 。其中最大的问题是不能动态添加服务器，并且加一台服务器需要很长时间，并且在添加服务器的过程中会中断在线服务。按照目前的存储架构，网站已经很难继续快速发展下去。 网站领导意识到的重要性和必要性，下决心从根本上改变目前的状况，积极推进工作。 单个文件规模90%分布在10K-300K之间； 文件数量在1亿以上，并且还在持续不断增加； 对文件大量的操作是读操作，其次是删除操作，对文件的修改操作极少； 需要支持高并发的读写操作； 需要能动态增加存储单位，而不用中断在线服务。 通过上面的分析，网站需要构建一套海量的小文件分布式云存储系统，小文件指的是小于1兆字节的文件，海量指的是数量大于1亿，分布式存储系统指的是分布在多台服务器上进行存储，并提供统一的、高效的、快速的基于TCP/IP网络访问文件的方式。并对外提供基于REST架构的Web Service，把系统的一些存储文件和访问文件功能，加上第三方的用户系统和权限控制系统，可以达到对外运营的条件。 本文提出一种基于微软.NET平台的轻量级的、具有很好扩展性的、可运行在廉价硬件平台上的、支持大规模并发访问的、具有一定容错性的分布式文件存储系统的解决方案。 1.2主要研究内容和目标 本论文将对如下几个方面进行研究： 1、海量小文件分布式存储的需求分析：通过考察目前海量小文件分布式存储的国内外现状，寻找海量小文件分布式存储的典型特点，比如读写比例，流式传输比例，行业平均单服务器的TFS（TPS：表示每秒钟输出到物理磁盘的传输次数）等，为设计阶段的设计优化提供足够的数据支持，进一步明确的功能性和非功能性需求。 Hadoop，对比这3个主流分布式存储引擎的特点。 3、设计海量小文件分布式存储的总体架构：根据需求分析，明确系统的设计思想，对系统的功能进行整体设计和描述，建立相应的数据库模型，并对内部接口和外部接口进行总体规划与设计。 5、常用文件操作，包括文件读，文件写，文件删除，文件元数据读取流程设计及优化。 6、服务器负载检测及客户端负载均衡算法。 7、NoSQL服务器的选型及极限测试。对主流的NoSQL服务器Cassandra、 Tair、 CouchDB及MongoDB进行单服务器的极限性能测试，然后从性能，扩展性，易用性等方面对本系统的元数据存储引擎NoSQL进行选型。选型完成后，将进一步对NoSQL的部署架构进行设计。 8、缓存服务器的选型，缓存服务器将在