网络工程专业毕业论文(设计).docVIP

毕业论文(设计) 题 目 学生姓名 学 号 院 系 计算机与软件 专 业 指导教师 二Ｏ一年五月日 本人郑重声明： 1、持以“求实、创新”的科学精神从事研究工作。 2、本论文是我个人在导师指导下进行的研究工作和取得的研究成果。 3、本论文中除引文外，所有实验、数据和有关材料均是真实的。 4、本论文中除引文和致谢的内容外，没有抄袭其他人或其他机构已经发表或撰写过的研究成果。 5、其他同志对本研究所做的贡献均已在论文中作了声明并表示了谢意。 作者签名： 日 期： 目 录 1引言 1 1.1研究背景 1 1.2研究现状 2 1.3研究意义 3 2相关工具 3 2.1 VMware Workstation 8 3 2.2 Hadoop 5 2.3 Hive 6 2.4 Eclipse 7 3 MeteCloud 架构分析 7 3.1 MeteCloud的架构 7 3.2 MeteCloud平台存储体系结构中的Hive 7 3.3 AvartarNode机制 8 4 Hive结构分析 10 4.1 Hive与Hadoop的关系 10 4.2 Hive的数据存储 12 4.3 Hive的实现过程 14 4.4 Hive与数据库的比较 15 5气象数据处理 15 5.1气象数据集介绍 15 5.2处理数据存储的多维分析模块 16 5.3数据的直存与转存实现 17 5.4对数据的其他直接操作 18 6数据仓库的实现与测试 18 6.1数据仓库工具配置 18 6.1.1配置 Hive 18 6.1.2基于Eclipse搭建Hive开发平台 20 6.2测试结果 23 6.2.1 Hive CLI处理气象数据 23 6.2.2基于Eclipse平台处理气象数据 27 8 小结 29 致谢 29 参考文献 30  MeteCloud平台下基于Hive的气象数据仓库构建的研究 南京信息工程大学计算机与软件系，南京 摘要： 关键字：云平台；气象数据；气象业务数据包括气象台站的各类要素资料，如降水量、气温、相对湿度、日照时数等云图、各时次格点场、雷达以及其它图像数据等[1]。 雷达、卫星云图以及相关预报产品数据，每天能达到20GB左右，主要是图片数据和气象专用格式的格点数据。由此可以看出，气象业务数据不仅种类繁多，数据信息量十分庞大，而且用户服务响应时效和对资源分配结构的合理程度要求也非常高[2]。[1]。这对云计算的商业价值给予了巨大的肯定。同时学术界也纷纷对云计算进行深层次研究，不可回避的是，云计算将给依托信息处理交换的各行各业带来巨大变革，同样将对气象领域产生重大而深远的影响。 1.2研究现状 （1）气象数据存储技术系统现状 目前国内外许多气象部门都是采用文件系统作为气象资料存储方式，不同科学数据采用不同格式，同时有相应存储管理系统用来完成数据的读写和检索。我国气象数据存储依旧是以观测点和气象资料接收设备终端为主，所应用的存储系统还是具有商业化性质的Oracle、Sybase和Informix等的数据库系统。但是，这些系统目前还不能够很适应气象资料书目的庞大和其类型的复杂性。于是便想可以把庞大的气象资料用文件形式来存储。美国的AWIP的格点数就是采用NetCDF的格式存储的，而云图和雷达数据是直接存储为原始数据文件；我国气象部门使用的MICAPS是采用了类似的存储方式[2]。以文件形式的气象资料可以采用先进的文件压缩技术进行压缩，这样可以大大节省磁盘的空间。 国内的气象存储一般都采用单一的数据库存储或者简单的文件库，但是每个气象部门的气象资料都是有所不同的，事实上每个气象部门都会设立不同的气象存储系统。现在已经提出采用数据库与文件库结合的方式，这样小数据采用关系数据库存储，大的文件数据采用文件库存储并且辅以数据库进行索引管理。近几年来，公共需求的不断增长，气象数据也是在不断增长，气象行业不断地需要买进昂贵的网络设备，而云计算存储可以提供无限的廉价存储和计算能力，利用云计算存储模式，数据存储在云端，再由专业的服务商提供维护，把分布在大量分布式计算机上的存储内存集中在一起成为一个虚拟的资源池，并通过网络为用户提供使用存储服务，这样气象科技人员只要用廉价的终端设备连接到云存储上面，就可以分享到所需要的数据资料了。云计算可以存储大量的气象信息数