面向教育大数据的多维数据分析系统的研究与实现-软件工程专业毕业论文.docxVIP

Research Research and Implementation of Multi—dimensional Data Analysis System for Education Big Data by DAI Yuanyuan B．E．(Hunan University)2013 A thesis submitted in partial satisfaction of the requirements for the degree of Master of Engineering ln Software Engineering in the Graduate schooI of Hunan University Supervisor Professor Qin Zheng May，2016 万方数据 湖南大学 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均己在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名：雹黜氪目 日期：加“年 石月 ／日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 1、保密口，在 年解密后适用本授权书。 2、不保密彤 (请在以上相应方框内打“√”) 作者签名：镦1身圜 日期： 加『6年 6月 ／曰 导师签名 日期：抛6年 历月 7日 万方数据 面向教育大数据的多维数据分析系统的研究与实现摘 面向教育大数据的多维数据分析系统的研究与实现 摘 要 随着大数据时代的到来，大数据的巨大规模和复杂结构给传统的多维数据分 析系统带来了直接的挑战，特别是在教育管理领域，不断增长的业务数据使传统 的校情分析系统面临很大的压力，比如数据高速抽取和写入时性能不足，在大数 据规模下的查询效率低下，以及无法提供对非结构化数据的支持等。这使得本来 就复杂的校情分析和评估过程遇到了很多困难，传统的数据采集、管理和分析技 术不再适应教育大数据分析提出的高效性和可扩展性的需求。为解决上述问题， 本文基于大数据技术设计并实现了一个面向教育大数据的多维数据分析系统，该 系统具有高性能、高可扩展性、界面友好的特点。 本文首先对大数据相关技术进行学习和研究，根据HBase数据库基于列存储 的特点设计了多维数据模型，实现了将事实表按维度存储于HBase数据库中，提 高了多维数据模型的可扩展性，并使之能够支持非结构化数据。同时，将HBase 和Hive进行整合，采用Hive提供的基于MapReduce计算框架的HiveQL查询语 句提高数据抽取、转化和加载的效率。 然后基于大数据的处理流程，设计了面向教育大数据的多维数据分析系统， 由云化数据支撑模块、智能业务分析模块、信息展现模块以及系统管理模块组成， 采用Hive实现统计分析、相关分析的功能，通过Mahout实现聚类、分类等数据 挖掘功能；系统还具有校情一、二、三级指标的评估功能。 最后给出了系统环境的搭建过程和系统关键功能的实现原理，并通过对比实 验分析证明了本文实现的系统在大数据环境下拥有满足实际需要的高效性和良好 的可扩展性。 关键词：教育大数据；多维数据分析；HBase；Hive；指标评估 lI 万方数据 硕士学位论文Abstract 硕士学位论文 Abstract With the advent of the era of big data，the data of the large scale and complex structure has brought some directly challenges to the traditional multi—dimensional data analysis system．Especially in the field of education management，growing business data make traditional school situation analysis system under a lot of pressure， such as inadequate performance of high speed data extraction and write，low query efficien