大数据的定义、发展现状趋势和关键技术.docxVIP

大数据的定义、发展现状趋势和关键技术

一、大数据的定义作用

“大数据”是指其大小超出了典型数据库软件的采集、储存、管理和分析等能力的数据集。该定义有两方面内涵：一是符合大数据标准的数据集大小是变化的，会随着时间推移、技术进步而增长；二是不同部门符合大数据标准的数据集大小会存在差别。目前，大数据的一般范围是从几个TB到数个PB（数千TB）。

大数据可以发挥重要的经济作用，不但有利于私人商业活动，也有利于国民经济和公民。数据可以为世界经济创造重要价值，提高企业和公共部门的生产率和竞争力，并为消费者创造大量的经济剩余。例如，如果能够富有创造性而有效地利用大数据来提高效率和质量，预计美国医疗行业每年通过数据获得的潜在价值可超过3000亿美元，能够使得美国医疗卫生支出降低超过8%；充分利用大数据的零售商有可能将其经营利润提高60%以上；通过利用大数据实现政府行政管理方面的运作效率提高，估计欧洲发达经济体可以节省开支超过1000亿欧元（这其中尚不包括可以用来减少欺诈、错误以及税差的影响作用）。

二、大数据的发展趋势

当前大数据规模以及其存储容量正在迅速增长，大数据已经渗透到各个行业和业务职能领域，成为重要的生产因素，大数据的演进将与生产力的提高有着直接的关系。

数据量呈现指数级增长。不同机构的研究成果都表明，未来数年全球数据总量将会呈现指数性增长。

不同行业的大数据强度和内容各有不同。各个行业都呈现大数据增长的现象，但不同行业数据存储量有所不同，数据产生和存储的类型在不同行业之间也有所区别。证券、投资服务以及银行等金融服务领域拥有最高的平均数字化数据存储量，通信和媒体公司、公共事业公司以及政府等企业和组织也有规模显著的数字化数据存储。这些数据强度高的行业更加具有通过大数据来创造价值的潜力。

现有趋势将继续推动数据增长。在各部门和地区之间，企业正在加快收集数据的步伐，推动了传统的事务数据库的增长；医疗卫生等面向消费者的行业中，多媒体的广泛使用刺激了大数据的持续扩张；社交媒体的广泛普及以及物联网中应用的不断创新都进一步推动了大数据不断增长……这些相互交叉的动力刺激了数据的增长，并将继续推动数据池的迅速扩张。

大数据是继传统IT之后下一个提高生产率的技术前沿。只要具有适当的政策推动，大数据的使用将成为未来提高竞争力、生产力、创新能力以及创造消费者盈余的关键要素。医疗卫生行业，能够利用大数据避免过度治疗、减少错误治疗和重复治疗，从而降低系统成本、提高工作效率，改进和提升治疗质量；公共管理领域，能够利用大数据有效推动税收工作开展，提高教育部门和就业部门的服务效率；零售业领域，通过在供应链和业务方面使用大数据，能够改善和提高整个行业的效率；市场和营销领域，能够利用大数据帮助消费者在更合理的价格范围内找到更合适的产品以满足自身的需求，提高附加值。如今，数据已经成为可以与物质资产和人力资本相提并论的重要的生产要素。伴随着多媒体、社会媒体以及物联网的发展，企业将收集更多的信息，从而带来数据呈现指数级的增长。大数据在同时为商业和消费者创造价值方面具有巨大的发展潜力。

三、大数据的关键技术

从大数据中挖掘更多的价值，需要运用灵活的、多学科的方法。目前，源于统计学、计算机科学、应用数学和经济学等领域的技术已经开发并应用于整合、处理、分析和形象化大数据。一些面向规模较小、种类较少的数据开发的技术，也被成功应用于更多元的大规模的数据集。依靠分析大数据来预测在线业务的企业已经并持续自主开发相关技术和工具。随着大数据的不断发展，新的方法和工具正不断被开发。

（一）可用于大数据分析的关键技术

可用于大数据分析的关键技术源于统计学和计算机科学等多个学科，其中关于分析新数据集方法的研究仍在继续。需要注意的是，A/B测试、回归分析等技术也可应用于小数据集分析。

可用于大数据分析的关键技术主要包括A/B测试、关联规则挖掘、分类、数据聚类、众包、数据融合和集成、数据挖掘、集成学习、遗传算法、机器学习、自然语言处理、神经网络、神经分析、优化、模式识别、预测模型、回归、情绪分析、信号处理、空间分析、统计、监督式学习、无监督式学习、模拟、时间序列分析、时间序列预测模型、可视化技术等（见表1）。

表1.可用于大数据分析的关键技术

名称

定义

示例

备注

A/B测试

也称为分离测试或水

桶测试。通过对比测

试群体，确定哪种方

案能提高目标变量的

技术。

确定何种的标题、布

局、图像或颜色可以提

高电子商务网站的转

化率。

大数据可以使大量的

测试被执行和分析,

保证这个群体有足够

的规模来检测控制组

和治疗组之间有意义

的区别。

关联规则

挖掘

发现大数据仓库中变

量之间的关系的一组

技术。这些技术包含

多种算法来生成