浅析大数据战略在财政管理中的作用.docVIP

. . . . PAGE 整理 一、大数据定义 分析师早起定义的大数据：资料量（Volume）、资料传输速度（Velocity）、资料类型（Variety）。在此基础上衍生出真实性（Veracity）等V系列。 大数据并不是崭新的概念，几十年前科学家就在处理每秒上PB的巨量资料。近几年才出来“大数据”概念，是因为现今要处理的资料量更庞大、资料产生跟处理速度更惊人、资料来源更多样，于是处理、储存大量资料的新技术跟工具快速发展，新技术诞生后，开发者跟使用者需要一个更专业的名词来与之前的科技做出区别，于是‘大数据’诞生了。因此，大数据不只是指资料，也指这些用来分析，处理巨量资料的新兴科技。 过去的资料大部分是人工手工记录下来交易资料，现在则是机器替我们记录下来的交易资料，除此外还有人们跟事物、企业间的互动资料，最终都是通过机器自动生成、累积下来的观察资料。 大数据是由交易、互动、观察资料所组成的资料型态。 大数据定义为：以前因为科技所限而忽略的资料。即暗数据。 也有人认为大数据只是商业智慧和商业分析演化后的新字眼。 大数据是在多样的或者大量的数据中，迅速获取信息的能力。必须在尽可能短的时间内发掘出价值。大数据的核心能力是发现规律和预测未来。 大数据是任何超过了一台计算机处理能力的数据量。 搜集行为数据，进一步挖掘分析，就可以发现大量隐藏在大量细节背后的规律，依据规律，预测未来。 利用大数据技术（搜集和分析数据的技术），能够广泛采集各种各样的数据类型，进行统计分析，从而预测未来。 大数据分析工具（开发预测模型和规范模型），用于分析数据。 大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。 随着业务的不断扩张和历史数据的不断增加，数据量的增长是持续的 数据量大，TB，PB，乃至EB等数据量的数据需要分析处理。2. 要求快速响应，市场变化快，要求能及时快速的响应变化，那对数据的分析也要快速，在性能上有更高要求，所以数据量显得对速度要求有些“大”。3. 数据多样性：不同的数据源，非结构化数据越来越多，需要进行清洗，整理，筛选等操作，变为结构数据。4. 价值密度低，由于数据采集的不及时，数据样本不全面，数据可能不连续等等，数据可能会失真，但当数据量达到一定规模，可以通过更多的数据达到更真实全面的反馈。 大数据是指需要通过快速获取、处理、分析以从中提取价值的海量、多样化的交易数据、交互数据与传感数据。集成共享、交叉复用、智力资源知识服务能力。 数据量大，目前一般认为PB级以上数据看成是大数据。 种类多，包括文档、视频、图片、音频、数据库数据等。 速度快，数据生产速度很快，要求数据处理和I/O速度很快 真实性，数据是完整的和可信任，并能自信的用它来做出关键的决定的能力的组织。 大数据所涉及的技术：分布式文件系统、大规模并行处理数据库、分布式数据库、 可扩展的存储系统，数据挖掘电网，云计算 平台，互联网。 可视化分析、数据挖掘算法、预测性分析、语义引擎、数据质量和数据管理。 大数据的真正意义并不在于大宽带和大存储，而在于对容量大且种类繁多的数据进行分析并从中萃取大价值。 需要新型的处理方式去促成更强的决策能力，洞察力于优化处理。 大数据是互联网发展到现今阶段的一种表象或特征而已，没有必要深化它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。 不能用大数据去改进一个业务，应该是用大数据做一件以前做不了的事情。 如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的加工能力，通过加工实现数据的增值。 大数据：理论，大数据特征、大数据价值、大数据现在和未来、大数据隐私 技术，云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 实践，实践是大数据的最终价值体现。分别有互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面展现的美好景象及即将实现的蓝图。 大数据=海量数据+分析软件+挖掘过程 软件是大数据的驱动力、引擎，软件改变世界。 大数据的特性：数据量巨大、实时性要求高、主要用于预测、更关注价值型。 大数据是如何产生的：移动互联网、社交网络、电子商务等几大拓展了互联网的边界和应用范围。 大数据获取来源：企业内部数据，内部数据是我们所能获取的最成熟、最易于理解的数据，这些数据是通过多年的企业资源规划、主数据管理、商业智能应用和其它吸相关工作收集整理而来，并经过了整合和标准化。利用分析技术解