大学毕业设计---基于hadoop的分布式存储平台的搭建与验证.doc

毕业设计（论文） 中文题目:基于hadoop的分布式存储平台的搭建与验证 英文题目: Setuping and verification distributed storage platform based on hadoop 毕业设计（论文）原创性声明和使用授权说明 原创性声明 本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。 作 者 签 名：日　 期：指导教师签名：日　　期：使用授权说明 本人完全了解大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。 作者签名：日　 期：学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名：日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 涉密论文按学校规定处理。 作者签名：日期： 年 月 日 导师签名：日期： 年 月 日 任务书 题 目：基于hadoop的分布式文件系统的实现与验证适合专业：信息安全指导教师（签名）：提交日期： 2013 年 3 月 8 日 学院： 计算机与信息技术学院专业： 信息安全学生姓名：学号：毕业设计（论文）基本内容和要求： 本项目的目的是要在单独的一台计算机上实现Hadoop多节点分布式计算系统。 基本原理及基本要求如下： 实现一个NameNode NameNode 是一个通常在 HDFS 实例中的单独机器上运行的软件它负责管理文件系统名称空间和控制外部客户机的访问。NameNode 决定是否将文件映射到 DataNode 上的复制块上。 实际的 I/O?事务并没有经过 NameNode，只有表示 DataNode 和块的文件映射的元数据经过 NameNode。当外部客户机发送请求要求创建文件时，NameNode 会以块标识和该块的第一个副本的 DataNode IP 地址作为响应。这个 NameNode 还会通知其他将要接收该块的副本的 DataNode。 DataNode 也是一个通常在 HDFS 实例中的单独机器上运行的软件。Hadoop 集群包含一个 NameNode 和大量 DataNode。DataNode 通常以机架的形式组织，机架通过一个交换机将所有系统连接起来。Hadoop 的一个假设是：机架内部节点之间的传输速度快于机架间节点的传输速度。 DataNode 响应来自 HDFS 客户机的读写请求。它们还响应来自 NameNode 的创建、删除和复制块的命令。NameNode 依赖来自每个 DataNode 的定期心跳（heartbeat）消息。每条消息都包含一个块报告，NameNode 可以根据这个报告验证块映射和其他文件系统元数据。如果 DataNode 不能发送心跳消息，NameNode 将采取修复措施，重新复制在该节点上丢失的块。 1、 在虚拟机上安装多个linux系统。并将其中之一拟作为namenode，其余系统拟作为datanode2、 在上述所有系统中安装ssh，以确保不同节点之间可以实现无密钥安全通信。3、 在上述系统中安装hadoop，以确保各个系统都可作为hadoop系统的其中一个节点。 毕业设计（论文）重点研究的问题： 基于windows环境，完成虚拟机上一个linux系统下hadoop的实现。 基于系统克隆技术实现hadoop节点的复制。 在上述基础上实现节点间无密钥安全通信。 基于上述系统上运行wordcount以验证基于hadoop的分布式文件系统的有效性。 分析handoop 现有的安全机制可