题目用户可定制的元数据冗余副本管理机制研究与实现.docVIP

题 目： 专 业： 研究方向： 你的题目包含两个工作点：一个是元数据冗余副本。一个是副本管理。 通过看你的文档，我觉得要做的是一个这样的东西：使用hadoop来搭建分布式架构。通过自己改进来实现namenode和secondnamenode的信息交互。通过创建一种新的副本管理制度（用户定制）来进行副本管理（针对副本管理的需求，采用以蚂蚁算法为基础的DRS - ACO[30]副本创建策略。）。 第一部分是来实现元数据冗余，采用hadoop来搭建一个分布式的架构。通过对hadoop上的namenode 及secondnamenode的转换关系做一些突破，在现有的转换机制的基础上做一些改进及优化，使得可以缩短单点瓶颈出现问题时修复的时间以及别的一些问题。 第二部分是通过蚂蚁算法为基础的DRS - ACO[30]副本创建策略（不用这种方法也行）来进行用户定制的副本管理，这部分可以再hadoop架构之上进行开发。即在hadoop的支持下进行开发。通过java语言书写hadoop应用程序，来实现对副本管理进行创新。 整个系统大体分这两部分，一部分就是hadoop的性能二次开发，一部分是hadoop的应用开发。基本上切合题目的两个问题，并且也算是有两个创新点。 强调了几点： 元数据是连接用户定制部分和主节点备份的纽带，关键点。元数据是呈现给用户的信息（性质，属性）。因此元数据处理那块要体现出连接用户定制和主节点备份，就是使我们研究的两部分连接起来，我们最后做出来的整个系统是一个完整的功能模块。 论文中要解释什么是元数据冗余？（我也迫切想知道，论文题目中有元数据冗余，我怕到时答辩老师问！） 元数据冗余部分在hadoop基础上进行改进和优化，就是说要有自己的工作！ 我们所做出的用户定制的副本管理与现有的那些副本管理相比较的优势与改进。我们在哪些方面做了改进，这个要明确的说出来！要把我们的工作量表达出来！（这个我觉得在答辩时要说的，算法方面的改进之类的，你做的你肯定了解，做了哪些改进都要说出来！） 用户定制应该是 ：用户需求--(映射到副本--(副本管理 也就是说用户定制是在什么情况下用户才定制的，即我们做出的系统面向用户时，肯定不是写的副本怎样怎样用户定制，而是用户基于实际需求而做出定制需求，从而映射到我们的副本管理上。这个就要有客户端，面向用户的工作了！（老师说这部分就不是hadoop做的了，是我们自己做出来！我感觉是要做出个界面，这块老师说可以不是那么的完善，只要把主要的用户定制选择体现了就行。） 大体是这么个意思吧，你先看下。有什么问题及时交流。 这是个毕业设计项目，先看要求，诚心找高手来完成，确定能做的可以加我QQ 258213149，注明 分布式项目，非诚勿扰 就两个方面来开题： 1． 基于用户定制的副本创建管理策略： 目前副本的放置策论基本都是由服务端（云端）负责控制，往往不能完全符合用户的需求，我想可以给用户提供一些方案（用户定制）来选择（价格最低廉、访问最快、能够快速访问等等一些策略……），比如 a) 用户只想把文件存储做副本，而对于是否能够快速访问不关心，则可以选择廉价的存储。 b) 用户想要一定区域内的用户能够快速访问，而其他区域能否访问不关心，则可以给他另一种收费方案等等。 c) 用户有新的需求，需要改变策略等等 2． 系统的可靠性方面（主节点的备份） 目前数据空间只有一个主节点，如何设计一个好的方案提高主节点的可靠性，我想可以制定一套策略来备份主节点。 比如：设计一个从节点，当主节点挂掉的时候，从节点能够接替它（涉及到元数据同步之类的事情）。 综合起来以上两点开题 论文的研究内容及拟采取的技术方案 研究目标 主要研究内容 目前的副本管理方案，用户不必关系副本的管理策略，但同时为了满足所有用户而制定的策略并不能达到最高效的管理方案，同时对资源也没有进行充分的利用。 1.2.1 系统 针对系统的功能需求，其功能模块如下图所示 系统功能结构图 客户端主要分为两部分：控制命令模块和数据传输模块。控制命令模块负责与服务节点进行命令交互。数据传输模块则负责与数据节点进行具体的数据传输。提供Java调用和telnet两种交互方式。 服务接口我们制定了相应的协议规范。解析用户的输入，每条命令首先判断用户权限，然后调用相应的目录服务调度服务和副本服务等。并返回相应信息。。比如STOR（存储）服务首先判断用户是否有写权限，如果有则调用调度服务申请相应节点的有效空间，并调用副本服务确定要复制的副本数目。然后调用目录服务将文件的更改写到元数据中。 目录服务（元数据服务），对文件的元数据进行维护。整个数据空间只有一个实例进行元数据的读写。我们将每个文件的信息存储到数据