海量图片文件存储关键技术研究-计算机应用技术专业论文.docxVIP

万方数据 万方数据 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行研究工作所 取得的研究成果。除文中已经注明引用的内容外，本学位论文的研究成果不包 含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所 涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本 学位论文原创性声明的法律责任由本人承担。 学位论文作者签名： 洪宇洋 2015 年 05 月 28 日 非公开学位论文标注说明 (本页表中填写内容须打印) 根据南开大学有关规定，非公开学位论文须经指导教师同意、作者本人申 请和相关部门批准方能标注。未经批准的均为公开学位论文，公开学位论文本 说明为空白。 论文题目 申请密级 □限制(≤2 年) □秘密(≤10 年) □机密(≤20 年) 保密期限 20 年 月 日至 20 年 月 日 审批表编号 批准日期 20 年 月 日 南开大学学位评定委员会办公室盖章(有效) 注：限制★2 年(可少于 2 年);秘密★10 年(可少于 10 年);机密★20 年(可少于 20 年) 摘要 摘 要 随着中国互联网产业的发展，出现了大量的像淘宝、京东这样拥有海量图 片的网站，并且图片的数量还在以指数级别的规模增长。当用户在访问这些网 站时，页面中图片流量能占到页面总流量的 80%左右。由于图片存储在物理硬 盘上，访问图片需要进行多次 I/O 操作。因此，当并发用户数量达到百万级别时， I/O 操作会成为系统性能的瓶颈。又由于操作系统目录中文件数量有限制，因此， 随着图片文件数量的增加，如何有效的存储和检索海量图片成为业界的一个难 题。 本文重点研究如何有效的存储和检索海量图片，根据分布式存储的思想设 计了分布式图片存储系统，该系统由客户端、中央控制节点和数据存储节点三 个部分组成，构建在普通廉价的机器上，具有高可用、访问透明和服务可扩展 的特性，为用户提供高可用的存储访问服务。 本文从三个方面研究了分布式图片存储系统的性能及优化问题。第一，针 对当今主流的分布式文件系统未对海量小文件存储进行优化的问题，提出了小 文件合并存储的思想，提高了小文件存储和检索性能。第二，针对图片存储存 在热点文件和数据节点负载不均衡的问题，提出了文件块迁移策略，提高了文 件块的迁移效率。第三，针对本系统采用中央控制节点的架构存在中心节点的 问题，研究了分布式缓存一致性哈希算法的查询性能，提出了哈希空间均分的 策略，提高了一致性哈希算法虚拟节点的查询效率。 关键词：存储系统；分布式缓存；文件块迁移；一致性哈希 I Abst Abstract Abstract With the development of Chinas Internet industry, there has been Web site like Taobao, Jingdong which have massive picture files, and the number of the picture is also growing at an index level of scale. When users access the network station, the picture on the page flow can be accounted for to the total flow of the page 80% or so. Because the pictures stored on a physical hard disk, access your pictures need multiple I/O operations. Therefore, when the number of concurrent users up to millions, I/O operations can become a performance bottleneck. At the same time, due to the limited number of operating system files in the directory, therefore, with the increased number of picture files, how to effectively store and retrieve huge amounts of pictures became a problem. This paper focuses on how to effectively store and retrieve huge amounts of pictures. Based on distributed st