基于Hadoop的云笔记的研究与设计.docVIP

基于Hadoop的云笔记的研究与设计 摘要：本文从云计算与hadoop进行技术分析，利用Hadoop的集群特点进行集群的架构。通过用户的需求分析对系统登陆、笔记本、回收站、收藏夹等模块进行设计。借助HBase非关系型数据库进行数据库设计。内容主要包括：以用户的需求为出发点进行系统的模块设计。对HBase非关系型数据库进行设计。最后利用Spring框架、MVC模式对系统进行WEB开发。 关键词：Hadoop 集群架构 HBase Spring框架 MVC模式 中图分类号：TP333 文献标识码：A 文章编号：1007-9416（2015）03-0173-01 1 引言 本文以Hadoop技术为技术背景，在搭建好集群的前提下，进行系统设计。最后利用Spring框架、MVC模式对系统进行WEB开发。 2 Hadoop下的云笔记研究 2.1 云计算 云计算的基本原理是，通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。 2.2 Hadoop Hadoop是云计算技术的具体实现框架。由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中，HDFS 和MapReduce 是两个最基础、最重要的成员。Hadoop主要的一些特点：良好的扩容能力 、成本低、高效、可靠性高。 2.3 Hadoop平台的研究 HDFS是一个高度容错的分布式文件系统，适合部署在廉价的机器上。HDFS能够提供高吞吐量的数据访问，支持大文件存储，非常适合大规模数据集上的应用。HDFS是Hadoop云计算的基础。HDFS采用master/slave架构。一个HDFS集群是有一个Namenode（master）和一定数目的Datanode（slave）组成。 hadoop 的集群是基于 master/slave 模式，namenode 和 jobtracker 属于 master，datanode 和tasktracker 属于 slave，master 只有一个，而 slave 有多个SecondaryNameNode 内存需求和 NameNode 在一个数量级上，所以通常 secondaryNameNode（运行在单独的物理机器上）和 NameNode 运行在不同的机器上。 2.4 云笔记的WEB研究 云笔记的WEB系统主要使用的框架是Spring框架。Spring主要功能便是使用Spring框架管理程序中的组件对象以及对象之间关系。利用MVC三层架构模式来构建起WEB的三层模式 3 Hadoop下的云笔记设计 3.1 云笔记系统框架设计 系统框架由Client，HBase数据库，WEB服务器，HDFS集群组成。借助B/S架构及Hadoop技术将数据存储在分布式文件系统上。数据表采用HBase以Mapper方式存储，WEB服务器使用Tomcat7.0。 云笔记平台使用Ubuntu11.10、JDK1.7.0、Hadoop1.0.4进行搭建。Hadoop平台的运行模式为分布式模式。Hadoop集群由1个master，4个slave 构成。由局域网将各节点进行互联。整个平台在安装好jdk、hadoop还需配置系统环境在/etc/profile。再配置hadoop-env.sh、hdfs-site.xml以及 core-site.xml、mapred-site.xml 四个 XML文件。再进行SSH无密码验证配置。在MyEclipse上安装hadoop插件，配置相应的core-site.xml与hdfs-site.xml配置文件。 3.2 云笔记系统功能模块设计 整个云笔记是以学习者用户为出发点进行相关模块设计。系统模块主要分为登陆、注册模块，全部笔记本、回收站、收藏、笔记等模块。全部笔记本模块列出用户的所有笔记本，当用户对笔记进行删除时，笔记会被转到回收站。笔记可以被用户分享以使其他用户查阅，并对感兴趣的笔记进行收藏。用户还可以对笔记进行编辑。 3.3 云笔记数据库设计 本平台所采用的数据库是HBase。建立的数据库为cloudnote。依据云笔记的各个模块进行表的设计。主要的表cn_user、cn_notebook_type、cn_notebook、cn_note、cn_share等五个表。分别管理用户个人信息、存储笔记本类型数据、存储笔记本数据、存储分享笔记数据。 在非关系型数据库HBase中进行数据的增删改查。借助数据访问接口，来对数据库的并发访问。在视图层中经由WEB服务器将数据进行前端显示。 为适应云笔记平的数据访问，HBase需重新定义增删改查类。这些类都是定义在了各个数据访问层中的。查找的结果返回的都是