基于云计算的大数据分析相关问题探讨.pdfVIP

第 30 卷 第 1 期 齐 鲁 师 范 学 院 学 报 Vol. 30 No. 1 Journal of ilu Normal University 2015 年 2 月 Q Feb. 2015 基于云计算的大数据分析相关问题探讨 郭思亮 1 1 2 宋廷山 刁艳华 （1. 齐鲁师范学院 经济与管理学院，山东 济南 250202 ；2. 山东协和学院 经管学院，山东 济南 250109 ） 摘要 ：文章以云计算与大数据分析的结合这一热点问题为研究背景，首先分析了大数据背景下数据存储 特点和面临的相关问题，进而介绍了大数据分析以及面临的挑战。在此基础上对基于云计算的大数据分析关 键技术以及目前的解决方案进行了探讨，最后给出了大数据分析的发展趋势及特点。 关键词：云计算；大数据；大数据分析 中图分类号：TP3 文献标识码：A 文章编号：2095 - 4735（2015）01 - 0134 - 06 一、引言 分析判断导出的信息是否可信。另外，大数据还 近年来，数据量正以爆发式的速度在不断增 要考虑存储和处理这些海量数据的成本。云计算 长。这些数据中绝大部分来源于互联网，还有一 的出现为这一问题的解决提供了较为可行的解决 些是从其它渠道产生，如传感器、气象数据、交 方案，因为它提供了一个同时满足成本效益和快 通信息等。大数据面临很大的发展机遇，但也面 速可量测的方案，为处理大数据提供了一个很好 临诸多不可忽视的挑战。大数据是一种大型的数 的思路。但是，利用云计算进行大数据分析也同 据集，如何存储这些数据集要明显区别于传统的 样面临着像“如何分配这些数据密集型任务的云 数据库，是一个值得研究的课题。这不仅是因为 架构和云技术”等问题。 它的绝对数据量之大，还因为它类型的多样性。 本文将对云计算在大数据分析中的应用趋势 它既有结构化数据，又有大量半结构化和非结构 及相关问题进行研究，在对大数据相关问题进行 化数据。对于快速增长的数据集来说，有必要去 阐述的基础上，对大数据分析及其面临的挑战进 分析那些由于时间敏感性得到最大价值的数据。 行分析，进而探讨大数据分析与云计算的结合问 此外，因为大数据中包含了大量无效甚至错误的 题，并给出现有的基于云计算的大数据分析解决 数据，因此，还需要考虑数据的有效性，即通过 方案及面临的困难，对基于云计算的大数据分析 收稿日期：2014-10-20 基金项目：全国统计科学研究计划重点项目“基于 HADOOP 云计算平台的分布式海量数据的统计分析研究”（编号：2012LZ05）， 山东省人文社会科学课题（编号：14-ZZ-WH04）的阶段性研究成果。 作者简介：郭思亮（1981—），男，山东东平人，讲师；宋廷山（1962—），男，山东海洋人，教授；刁艳华（1983—），女，山东安丘人， 讲师。 齐鲁师范学院学报 135 总第167期 · · 提供一些启