一种轻量级大数据分析探究系统的实现.pdfVIP

第 24 卷 第 8 期 电子设计工程 2016 年 4 月 Vol.24 No.8 Electronic Design Engineering Apr. 2016 一种轻量级大数据分析系统的实现 周小娟 (西安外事学院 计算机中心 ， 陕西 西安 710077 ) 摘要 : 为了让更多的非计算机专业研究者能够简捷方便的使用大数据技术在各自所在领域进行数据分析和预测 ，本 文研究并实现了一种轻量级的大数据分析系统 ，该系统通过抽象各种大数据技术的概念 ，屏蔽了大 数据技术 的 复 杂 性 ，通过友好易用的用户交互界面 ，使得各个行业的非计算机专业的研究人员能够快速掌握该系统 ，并进行各种数据 分析和预测活动 。 关键词 : 大数据 ; 轻量级 ; 数据分析 ; 预测 ; 分布式文件系统 ; 数据仓库 中图分类号 : 文献标识码 : 文章编号 ( ) TN-9 A : 1674-6236 2016 08-0040-04 Implementation of lightweight big data analysis system ZHOU Xiao-juan ( , , , ) Computer Center Xi an International University Xi an 710077 China Abstract: In order to enable more and more non-computer professional researchers to use the advantage of big data technology in their own fields conveniently for data analysis and prediction ， this article researches and implements a kind of light-weight big data analysis system which abstracts the concepts of big data technology ， shields the complexity of big data and makes researchers in different fields can quickly learn to use it for different data analysis and prediction activities. Key words: big data ; light weight ; data analysis ; prediction ; distributed file system ; data warehouse 数据无所不在 ,每分钟每个行业都会有大规模的数据被 1 大数据相关技术简介 生 成 ,这 些 数 据可 能 是 银 行 系 统 的交 易 数 据 ,也 可 能 是 生 物 研究中记录基因特征的数据 ,还可能是视频网站 刚 刚上 传 的 在本系统的实现过程中 ,使用到了 两 种最 流 行的大数据 视频数据 。 分析这些大规模的数据 ,从中提取 出 有价值 的信