毕业论文MeteCloud平台下基于Hive的气象数据仓库构建的研究.pptVIP

先删除原有的表，以防表内本身存在其他文件数据，而导致之后输入的数据有错误或者输出原有文件内容，输入语句为：drop table metadata; //删除原有表 * 去除PPT模板上的--无忧PPT整理发布的文字 首先打开PPT模板，选择视图，然后选择幻灯片母版 然后再在幻灯片母版视图中点击“无忧PPT整理发布”的文字文本框，删除，保存即可 更多PPT模板资源，请访问无忧PPT网站-- 使用时删除本备注即可 展示您的作品,PPT模板作品投稿绿色通道 :chinappt2011@ 将此幻灯片插入到演示文稿中 将此模板作为演示文稿（.ppt 文件）保存到计算机上。 打开将包含该图像幻灯片的演示文稿。 在“幻灯片”选项卡上，将插入点置于将位于该图像幻灯片之前的幻灯片之后。（确保不要选择幻灯片。插入点应位于幻灯片之间。） 在“插入”菜单上，单击“幻灯片（从文件）”。 在“幻灯片搜索器”对话框中，单击“搜索演示文稿”选项卡。 单击“浏览”，找到并选择包含该图像幻灯片的演示文稿，然后单击“打开”。 在“幻灯片（从文件）”对话框中，选择该图像幻灯片。 选中“保留源格式”复选框。如果不选中此复选框，复制的幻灯片将继承在演示文稿中位于它之前的幻灯片的设计。 单击“插入”。 单击“关闭”。 PPT模板来源于互联网,版权归原作者所有,如有问题请与站长联系 * MeteCloud平台下基于Hive的气象数据仓库构建的研究 指导老师： 学号： 专业： 答辩人： 目 录 研究背景现状 MeteCloud架构 Hive结构分析 气象日值数据处理 实现过程 测试结果 研究背景现状 气象行业需求：气象行业是一个资源极其丰富、数据极其庞大的行业。随 着气象事业现代化水平不断提高，特别是现代气象业务体系不断地发展和完善 ，气象业务、科研和管理活动中累积和收集了大量的气象信资源。于是气象存 储成为了气象行业的核心需求，这使得建立一个可进行数据抽取，转化，加载 ，共享大量数据的气象信息数据库变得非常有必要而且意义重大。 云计算云存储的出现：云计算是一种近几年提出的计算模式，是分布式计 算、并行计算和网格计算的发展。云存储是与云计算同时兴起的概念，云计 算存储可以提供无限的廉价存储和计算能力，利用云计算存储模式，数据存储 在云端，再由专业的服务商提供维护，把分布在大量分布式计算机上的存储内 存集中在一起成为一个虚拟的资源池，并通过网络为用户提供使用存储服务， 这样气象科技人员只要用廉价的终端设备连接到云存储上面，就可以分享到所 需要的数据资料了。 Hive的使用现状：Hadoop是当下流行的分布式计算开源框架，其正被 Yahoo，Facebook等公司广泛使用。在Facebook公司，Hive的仓库包含了超过 700TB的数据量和成千上万的数据表，这些数据被广泛用于每月超过200的用 户的报告和AD-hoc分析中。 MeteCloud架构 应用层： 主要包括气象服务、气象 数据存储分析、气象数据 转存和集群管理。本文研 究Hive 对气象数据进行的 处理，及其中气象日值数 据的转存实现。 用户层：指在MeteCloud平台搭建完成后，各个气象部门的用户都可以访问使用。用户层中的各个气象部门不仅可以利用这个平台中的平台层进行应用开发，还可以直接使用应用层进行数据存储和分析。 硬件层： 主要由各气象局提供的存 储和计算服务的服务器、 高性能计算机和光纤组成 。硬件层只有数据中心的 管理者才可以对其进行管 理，其他普通用户基本是 涉及不到的。 平台层： 主要由HDFS、 MapReduce、Hive、 HBase、Zookeerer和 AvartarNode机制组成。 AvatarNode机制框架图 Hive与Hadoop之间的架 构图，Hadoop包括 HDFS和MapReduce MeteCloud架构 平台层： 主要由HDFS、 MapReduce、Hive、 HBase、Zookeerer和 AvartarNode机制组成。 用户接口主要有三个：CLI、 Client和WUI。其中最常用的 为CLI，CLI启动的时候，会同 时启动一个Hive副本。Client 是Hive的客户端，用户连接至 Hive Server。在启动Client模 式的时候，需要指出Hive Server所在的节点，并且在该 节点上启动Hive Server。 WUI是通过浏览器访问Hive的 。 Hive结构分析 云数据存储方面：Hive将元数 据存储在数据库中，如mysql 、derby。Hive中的元数据包 括表名，表的列和分区及其属 性，表的属性（是否是外部表 等），表的数据所在目录等数 据。 编译器