分布式图像管理系统的设计与实现-软件工程专业论文.docx

分布式图像管理系统的设计与实现 分布式图像管理系统的设计与实现 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意 识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 分布式图像管理系统的设计与实现 分布式图像管理系统的设计与实现 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存和汇编本学位论文。 保密□，在 年解密后适用本授权书。 本学位论文属于 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名 日期： 年 月 日 日期： 年 月 日 分布式图像管理系统的设计与实现 摘 要 数码相机、摄像机、智能拍照手机的普及产生了海量的数码照片文件和视频文件。 通常这些文件都被分散存储在用户的多台电脑、数码相机、手机、甚至社交网络里。 面对分散存储的大量图像文件，个人用户需要专门的软件来管理这些图像文件，而不 是简单地将图像文件集中到一台电脑上使用文件夹来组织它们。 传统的图像文件管理系统通过将分散存储在多台设备上的图像文件复制到一台装有 图像管理软件的设备上或者上传至 Web，然后进行集中的照片管理。但是将分散存储 的图像文件集中管理的模式会带来一些问题，包括网络带宽的浪费，存在单一失效 点，无法离线访问，系统的可伸缩性弱等。为了解决这些问题，本文设计了一个新型 分布式图像管理系统，使得用户可以高效、便利地对分散存储在各种设备上的图像文 件进行管理。该系统包括用户接口管理器、虚拟图像库管理器，元数据同步管理器， 图像分享管理器，消息总线，工作流引擎组件，图像文件存储管理器，图像文件解析 器插件，RDF 数据库访问插件等。 本文设计并实现的系统具有以下的特点和优势： ? 高可用性：通过将构成虚拟图像库的元数据在同一个用户的各个节点间复制使 得用户可以在任一节点上访问虚拟图像库，即使节点处于离线状态。并且由于 采用的是乐观复制技术，部分节点处于离线或网络分区状态不会阻碍其他节点 之间的复制。 ? 性能：首先，以对等体系结构组织用户节点使得图像文件分布存储在每个节点 上，从而将对单一节点的图像文件访问请求的负载分布到多个用户节点上。其 次，在对等体系结构中，节点间的文件请求仅当用户所请求的图像文件不在本 地节点时才发生，这从源头上减少了文件请求的次数。再次，通过 P2P 的方式 完成对存储在远端节点上文件的请求后，文件将被缓存在本地节点以此减轻重 复请求所带来的成本。最后，由于同一用户的每个节点上都通过乐观复制方式 持有描述该用户虚拟图像库的元数据，这也在提高可用性的同时改善了对元数 据访问的性能。 ? 可伸缩性：首先，用消息路由器组件和网关组件将本地节点上的内存消息队列 I 分布式图像管理系统的设计与实现 分布式图像管理系统的设计与实现 II II 网络和节点间 XMPP 网络粘合在一起构成消息总线，这保证了底层系统通信基 础设施具有 XMPP 即时通信网络所提供的地域可伸缩性。其次，各个用户节点 间以对等的方式协作，这样使得系统可以具有很好的规模可伸缩性。 ? 易用性：描述图像库的元数据在同一用户的不同节点间的同步是由部署在各个 节点上同步管理器组件使用乐观复制的方式协作完成的，整个过程对于最终用 户或客户应用程序是透明的。另外，节点间的 P2P 文件传输和缓存对于用户和 客户应用程序同样是透明的。 ? 可修改性：系统通过使用配置文件来定制系统行为。并使用依赖注入的方式实 现插件的加载，提高系统的可修改性。另外对于一些容易变化的业务，系统采 用 BPEL 来定义业务流程。良好的可修改性保证系统可以部署在不同计算能力 的平台上。 通过基于本文设计的系统平台所开发的一个客户应用程序验证了本系统的主要功 能，并对一些关键系统服务进行了性能测试。 关键词 分布式系统，乐观复制，消息总线，XMPP，RDF PAGE PAGE IV DESIGN AND IMPLEMENTATION OF A DISTRIBUTED IMAGE FILE MANAGEMENT SYSTEM ABSTRACT The popularity of digital cameras, camcorder, and smart camera phon