Hadoop框架核心技术在高校大数据教学系统中的应用分析.docx

??

?

??

Hadoop框架核心技术在高校大数据教学系统中的应用分析

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

孙荣明

摘要：在大数据时代，数据集或数据处理能力是市场与企业对人才的一大关键要求。在高校大数据专业教学中，数据的安全与运算能力开始备受重视。而大数据教学系统的有序运转经常受各种因素影响，尤其是硬件故障与不足等。但是，Hadoop框架核心技术具有其自身的独特优势，即可靠性、拓展性、容错性、有效性都非常高，主要是通过大型的分布式集群，建立并布置数据储存与分析系统，这是最佳的数据解决方案，能够实现高效管理。本文主要对Hadoop框架核心技术在高校大数据教学系统中的应用进行了深入探究。

关键词：Hadoop框架核心技术；高校；大数据教学系统；应用

中图分类号：TP311文献标识码：A文章编号：1009-3044（2018）25-0129-02

1大数据Hadoop两大核心技术

Hadoop框架核心技术实际上主要包括HDFS与MapReduce。其中，HDFS是数据存储文件系统，是大数据的重要基础。而MapReduce直接为大数据提供了一定的数据调度与管理算法。HDFS属于Hadoop的文件格式系统。在单机版的系统内，数据主要在物理硬盘上进行储存[本文来自于WWW.zz-news.cOM]，而文件系统将硬盘划分为多个存储盘，即呈现为C盘和D盘等等。但是，在Hadoop系统中，数据的存储位置在集群不同的物理主机上，所呈现的是网络路径形式。用户只需要网络路径，便能够进行数据储存，而HDFS则需要格式化数据物理硬盘，并将数据分配到物理主机上加以储存、管理即可。MapReduce属于Hadoop系统数据调度、传输、硬件资源管理算法，其主要利用分离治理的理念，将大型任务划分成小任务，再把小任务分配到集群结点上，在结点完成任务，汇总整理中间结果，以完成最终结果。总之，就是分解任务，汇总结果，以此促使Hadoop系统运行效率与水平得以明显提升。

2Hadoop框架核心技术在高校大数据教学系统中的应用分析

2.1Hadoop教学系统的应用现状

S高校Hadoop大数据教学系统是学校[本文来自于www.zz-N]相关部门统一进行招标购置，在实训中心进行布置，并由其进行统一管理与维护的。既有Hadoop系统单独布置在物理计算机上，导致硬件的利用率相对较低，而且学生规模不断扩大，需求也随之明显增加，根本无法确保正常教学工作的开展。由于大数据相关专业招生数量在逐渐增加，高校根据相关需求，安置了大数据教学平台。而S院校采购了Hadoop大数据教学系统云中实验室，通过发挥服务器虚拟化技术的优势，在服务器上模拟学生机教学环境Linux系统。这样一来，不仅促使服务器硬件的利用率得到了明显提高，还进一步缩减了管理人员的工作量，从而保障了教学系统的正常运行。

2.2在教学系统中的详细应用

S院校在浪潮服务器与宝德服务器上，安装了Ubuntu，并构建了云中实验室系统，主要划分为两部分，即Web教师端与学生端。学生利用Web学生端，构建多项系统，在系统上创建并布置Hadoop，以此開展HDFS与MapReduce等各项试验。学生利用云中实验室系统的Web学生端，还可以实现与教师之间的实时互动交流，教师则可以以Web教师端为载体，查看并评估学生的实验情况，及时给予一定的有效指导建议。

2.3应用效果分析

经过多次测试应用可知，Hadoop服务器集群的高效利用性技术，在很大程度上能够满足大数据教学系统正常有序运行的多元化要求。而适当增加云中实验室的投入力度，直接提高了物理服务器的有效利用率和水平。通过利用高校利用性功能，大数据教学系统服务器中断不会产生较大的代价，可以进一步满足大部分教学系统运行的需求，从而为建立高校大数据教学系统奠定了坚实的基础。

3基于Hadoop框架核心技术的高校大数据分析教学设计

3.1明确目标

目前，我国各行各业都为大数据专业技术人才提供了一系列发挥自我才能的平台，而大数据专业的岗位需求主要可以划分为三大类。其一，系统研发工程师，主要任务是构建数据业务模型，分布式云存储，数据库架构，数据平台的优化升级等等；其二，大数据分析师，主要承担的工作是在海量数据中，寻找数据信息之间的潜在联系，将大数据中所潜藏的利益开发出来，以便于进行产品研发；其三，应用开发工程师，主要负责通过非结构化数据研发以大数据技术为基础的应用程序和行业应对策略，从而为企业带来良好的综合效益。课程主要是从系统框架构建、应用研发、数据分析三个角度，进一步培养出同时具备理论基础知识与实践经验的复合型人才。在教学过程中，还需要培养学生的实践创新意识与能力，以此指导学生根据自身职业规划，在通识整体的基础上，选择特定领域深层探究