云计算中的数据管理关键技术及其应用1.pdfVIP

业界前瞻 · 云计算中的数据管理关键技术及其应用 郗俊强 (中国联合网络通信有限公司呼伦贝尔市分公司，内蒙古 海拉尔 021000) 摘 要：随着北部湾海洋生态资源的开发和利用，海量海洋科学数据飞速涌现出来，利用海量数据存储平台合理管理和存储这些科学数据 显得极为重要。本文提出了一种基于云计算技术进行管理和存储海量海洋科学数据方法，构建了海量海洋科学数据存储云计算平台解决方 案，采用Linux集群技术，设计开发一个基于Hadoop的海量数据存储平台。 关键词：海量数据存储；海洋科学数据；Hadoop；云计算 Cloudcom putingin datam anagem entandapplication ofkeytechnologies xiJunQiang Abstract：With thedevelopmentandutilizationofBeiBuBayMarineecologicalresources，massmarinescience data rapidly emerge in large numbers and it is very important to use a mass data storage platform to manage and store these science data reasonable． Thispaper putsforward the management and storage themassmarine science data methods based on the cloud computing technology, builds the massmarine science data storage platform solutions， designs and develops a mass data storage platform based on Hadoop by using Linux cluster technology． Keywords：massdatastorage；marinesciencedata：Hadoop；cloudcomputing 随着 北《部湾经济区发展规划》颁布实施，以北部湾经济 键之一。因此构建一个北部湾海洋科学数据存储平台是目前充 区海洋为研究样本的系列重大基础研究专项和重大科学研究 分发挥各重大基础科学研究项目研究效益的现实途径，也是北 项目正在逐一展开，届时将产生海量的海洋科学数据，这些数 部湾经济区可持续发展的必然要求。 据具有海量、复杂、多样、异构、动态变化等特性。而且目前各 1平台总体设计 项目的海洋科学数据均缺乏统一的采集和存储的标准和规范， 1．1平台总体框架结构 形成 “数据孤岛”。如何存储和管理海量的海洋科学数据，使这 (1)结合海量数据异构性、分布性、多样性等特点，从系统 些这些数据得到高效的利用，成为进行海洋科学研究项目的关 编程实现角度考虑，本系统采用Mvc三层架构设计，使结构更 害 户 加清晰，系统易于扩 展。 罕 显示层 ：为用户 提供方便、易用和友 好界面，普通用户可 以通过页面浏览和查