大数据背景下的数据分析.docVIP

大数据背景下的数据分析 朱敏 云南省工会共青团妇联干部学校 X 关注成功！ 加关注后您将方便地在 我的关注中得到本文献的被引频次变化的通知！ 新浪微博 腾讯微博 人人网 开心网 豆瓣网 网易微博 摘????要： 在大数据时代, 需要充分挖掘数据的隐藏价值, 对数据加强分析。为了完整正确地反映客观情况, 就必须在实事求是的原则下, 经过对大量的统计资料和数据进行加工制作和分析研究, 才能做出科学判断, 并编写成数据分析报告。 关键词： 大数据; 数据分析; 数据创新; 大数据开启了一次重大的时代转型, 现代信息系统让大数据成为可能。一个大规模生产、分享和应用数据的时代正在开启, 大数据将最终标志着“信息社会”名副其实, 庞大的人群和应用市场, 复杂性高、充满变化, 使中国成为世界上最复杂的大数据国家, 解决这种由大规模数据引发的问题, 探索以大数据为基础的解决方案, 是中国产业升级、效率提高的重要手段。 大数据的核心就是挖掘出庞大的数据库独有的价值。大数据的科学价值和社会价值正在体现在这里, 一方面, 对大数据的掌握程度可以转化为经济价值的来源;另一方面, 大数据已经撼动了世界的方方面面, 从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域。数据分析可以帮助制定聪明的决策——它是把数据转化为信息的过程, 分析信息以得到见解, 并制定可以影响商业绩效的策略和行动计划。在大数据时代, 需要充分挖掘数据的隐藏价值, 对数据加强分析。 一、思维转变 如何准确分析大量数据对我们来说是一种挑战, 之前因为受存储、记录和分析工具的限制, 我们是收集少量数据进行分析。在数字化时代, 数据处理变得更加容易快捷, 我们能够在瞬间处理成千上万的数据。然而大数据背景下的数据分析需要思维进行转变。首先, 分析与某件事物相关联的所有数据, 而不是依靠分析少量的、随机的数据样本, 总结为要全体不要抽样;第二, 接受数据的纷繁复杂, 不再追求数据的精确性, 总结为要效率不要绝对精准;第三, 从思维上进行转变, 不再探求难以琢磨的因果关系, 转向关注事物间的关系, 总结为要相关不要因果。 二、大数据分析理念及方法 1、数据分析要引入统计学思想。 大数据背景下, 传统的抽样分析已经不适应大数据分析, 如果在大数据时代进行抽样分析就像在汽车时代骑马一样, 实际情况是“样本=总体”, 通过对数据网络之间的联系进行分析。随着数据挖掘技术的发展, 数据的获取自然会越来越容易, 但统计学作为从数据中读取信息的科学, 应该永远和获取数据的学问相伴相生。大数据的数据量巨大, 不能代表我们能观测到总体。有时候, 总体是可测的, 但更多时候, 总体从理论上是无法观测的。所以应该引入统计学思想, 帮我们从数据里还原出背后的真实。 2、大数据挖掘。 数据挖掘又叫数据库知识的发现, 它是一个从数据库中发现并提取隐含的、未知的有用数据。数据挖掘包括数据准备、数据挖掘以及结果解释和评价三个阶段。在数掘的整个处理过程中, 数据挖掘的分析方法是整个过程中最关键环节。伴随大数据管理和检索技术研究的进步, 数据挖掘技术将迎来巨大的发展机遇, 数据挖掘技术的应用也将更加广泛, 数据挖掘的工具也将更加强大。 3、数据分析流程。 因为大数据涉及区域广, 在行业与地域间纵横交错, 颠覆了传统的线性数据收集模式, 形成了非线性的决策基础, 这种决策方式要求我们通过对数据进行收集, 将各行业各区域所收集的基本信息转化为数据, 将数据有进行初步整合分类与深层技术处理。在大数据时代, 可以将大数据分析流程简析为数据采集、数据预处理、数据存储、数据分析、结果展现。 4、数据分析方法概要。 首先, 数据分两种, 维度和度量, 分析就是维度和度量的组合。度量是具体的计算用的量化数值, 而维度是描述事物的各种属性信息。我们在做数据分析时, 归根结底就是在不停的做各种维度和度量的组合, 从数据类型上看, 度量都是数值, 但是数值不一定是度量。需要注意的是, 维度和度量可以转换, 维度可以衍生出新的维度和度量, 度量也可以衍生出新的维度和度量。第二, 做判断用对比。对比的参照物不同, 得到的判断也就不同。为了避免片面、不客观, 应该尽量多用综合对比。第三, 找原因用细分。先判断数据好不好, 再分析原因是什么, 数据分析的环节链条基本就算完整了。 三、数据创新 1、数据重组再利用。 随着大数据的出现, 数据的总和比部分更有价值, 当我们将多个数据集的总和重组在一起时, 重组总和本身的价值也比单个总和更大。 2、可扩展数据。 促成数据再利用的最便捷方法就是设计好它的可扩展性。收集多个数据流或每个数据流中更多数据点的额外成本往往不高, 所以尽量收集更多的数据并考虑其二次潜在用途, 让它具体可扩展