基于Hadoop的数据云存储研究与应用.pdfVIP

基于Hadoop的数据云存储研究与应用 裴云。陈敏，邢益良 (海南软件职业技术学院软件工程系，海南琼海5714001) 摘要：随着教学平台数据的爆炸式增长，传统的教学平台在海量信息处理方面带来了较大的压力，对数据的存 储、检索等关键技术提出了更高要求。在研究分析云计算领域的基础上，提出了利用Hadoop云计算框架解决教学 平台中海量数据存储、检索的问题，优化了平台的数据存储和检索功能，并对平台做了系统的测试和验证。 关键词：Had00p框架；云计算；HBase数据库；HDFs系统；性能优化；架构 l概述 一个数据处理架构方案，用于大数据集(大于lrrB)的并行运 教学资源主要包括了教学视频、教学项目、教学案例、 算f“。 教材、文献、软件开发工具等资源，实验实训成果主要包括 3云平台优化与设计实例 学生提交的实验实训软件制品．在教学平台使用的过程中， 3．1云平台系统框架优化 资源大量累积，形成爆炸式增长，对平台访问速度造成严重 教学平台的存储优化是基于云计算设计的，结合云计算 影响，对平台访问的压力也越来越大，要解决的最大的问题 框架Hadoop的大数据存储能力，针对高校教学平台中存在的 就是数据的存储问题。我国云计算在教育领域的发展晚于国 数据库不统一、成果或教学资源格式不统一、平台应用开发 外，随着云计算在教育领域的发展日趋成熟，我国高校率先 技术不统一等问题，优化与设计基于Hadoop的教学平台，平 在教学与管理系统中实践了由简单计算机辅助教学向复杂的 台技术采用JavaEE技术，具有较高文件存储功能，在文件资 云计算辅助教学的转变。利用HD聆存储教学资源文件，用 源爆炸式增长的同时，可以不断优化资源。 HBase存储文件位置信息，用HDFs来存储资源信息，可以优 化数据的存储．大幅度提高平台访问效率。 2云计算与计算框架Hadoop 云计算是一种计算模式，它以服务的方式通过Intemet提 供资源．这种方式具备动态可伸缩性，能将网络中各种不同 类型的资源集中在云平台上协同工作，是一种对外提供访问 业务和存储功能的服务方式…。云计算为用户提供了按需付费 的方式，用户不需负担大型服务器平台搭建、管理维护的费 用，按业务发展的需求负担云提供商相应的费用。 云计算有软件即服务(saas)、平台即服务(Paas)和基 图1平台框架图 础架构即服务(1aaS)3大服务模式Ⅲ。软件即服务模式，指的 是软件即服务供应商需要承担所有的软、硬件设施及运行和 平台的框架图如图1所示。整个系统采用的是JavaEE的 维护的工作供用户和企业使用。企业不需要承担任何软硬件 开发框架ssH2实现的Mvc架构，数据分层处理。数据持久 及运营维护的成本。平台即服务模式，指的是服务商提供研 发的平台，用户可以操纵部分主机，操作其应用系统。基础 储的空间地址，所有文件与资源都存储在文件系统上。优化 架构即服务模式，指的是提供云计算服务，服务供应商可根 据用户购买的情况分配应用权限，用户可以使用操作系统、 结构化数据库，其特点是可存放数据量大的表或修改较为频 存储空间、应用软件和网络组件等。 繁的表，教学平台中用户提交的成果或教学资源都存储在 Hadoop是Apache基金组织下的开源云计算框架…。Hadoop 以为HBase数据库中数据量大的表建立索引。两种数据库的 包括了HDFs分布式文件系统、HBase分布式数据库、M印Re— duce计算框架等内容。HDFS分布式文件系统具有高容错性、 大数据集、硬件故障常态化、流式数据访问、移动计算经济 作者简介：裴云(1983一)，男，讲师，硕士，研究方向：计 等特点。HBase是一种分布式数据库，他的实现依托于算机软件、计算机应用；陈敏，讲师，硕士；邢益良，讲师，