大数据特征和相关技术分析与趋势研究.docVIP

大数据特征和相关技术分析与趋势研究 　　摘 要 随着互联网技术的发展，大数据的分析处理已成为当前信息技术领域研究的热点之一。分析大数据的特征和本质，并重点介绍大数据分析的相关技术和大数据未来发展需要解决的难题。 　　关键词 大数据；人工智能；数据仓库 　　中图分类号：TP393 文献标识码：A 　　文章编号：1671-489X（2015）12-0010-03 　　1 绪论 　　李克强总理在2014年国务院会议上曾指出：“积极支持云计算、物联网与移动互联网络的发展，催生基于云计算的在线研发设计、教育医疗、智能制造等新业态。在疾病防治、灾害预防、社会保障、电子政务等领域开展大数据应用示范。”大数据汹涌来袭，同互联网的出现一样，绝不仅仅是信息技术领域的革命，还是启动透明政府、创造无限商机、加快企业创新、引领社会变革的利器[1]。互联网、SNS和传感器技术的发展使得每一个网民成为大数据的贡献者，当然也是大数据的消费者和受益者。随着人们对数据重视程度的提升和收集数据意识的增强，大数据正在不断改变人们的工作、生活和思维方式。 　　2 什么是大数据 　　数据指客观事物的符号表示，包括文字、声音、图形图像等多种表现形式。信息是把数据放置到一定的情境中，对数字的解释。与信息不同，数据是信息的数字化记录，是信息的载体，是与语义不可分隔的。大数据（Big Data）， 　　指的是数据规模巨大到无法通过传统工具，在合理的时间内达到收集、存储、管理、处理、维护并整理成为服务于企业和社会的更积极的信息[1]。 　　从大数据的定义可以看出，之所以称为大数据，其一是数据量大到一定程度。但是，具体多大的数据才能称之为“大”，业界也没有统一的标准。当前，数据正在呈指数级增长趋势，十年之前TB甚至GB级别的数据可能是大数据，现在达到PB级别的数据才能称为大数据，再过一段时间，也许ZB级别的数据方能称为大数据。其二是数据价值大。大数据之“大”更多的意义在于人类可以“分析和使用”的数据在大量增加，通过对这些数据本身及它们内在联系的整合和分析，人类可以发现新的知识，创造新的价值，带来“大知识”“大智慧”，更好地服务全社会，推动智慧地球朝着更文明的方向发展。 　　大数据技术是指从各种各样类型的海量数据中，快速获得有价值信息的技术。整个过程包括大数据采集、大数据预处理、大数据存储与管理、大数据分析及挖掘、大数据展现和应用。其中大数据的存储与管理、大数据的分析与挖掘是整个过程的核心。 　　3 大数据的特征和本质 　　与小数据相比，大数据有4V特征，即：Volume、Ve-locity、Variety、Value。 　　Volume 数据量巨大，表现为存储量和计算量巨大。目前达到PB级容量的大数据出现在众多领域，据麦肯锡估计，全球企业2010年硬盘上存储了超过7 EB的新数据，消费者在PC等设备上存储的新数据超过了6 EB（相当于美国国会图书馆中存储数据的4000多倍[1]）。我国建成的四大超级计算机中心，不仅存储容量达到PB级，其浮点计算能力也达到亿万亿次每秒。 　　Velocity 高速，表现为大数据量的增长速度日新月异；大数据的存储、传输、更新、处理等技术发展突飞猛进。据Facebook统计，每秒有4.1万张照片上传，2011年以发图1400亿张成为世界上最大的照片库。 　　Variety 多样性，表现为：数据来源增多；数据类型繁多；数据表现形式不断扩展。从数据来源上看，传统数据以交易事务型数据为主，而互联网和物联网的发展，则带来了微博、社交网络、传感器等多种数据来源；从数据类型上看，传统数据以结构化数据为主，互联网数据以半结构化和非结构化数据为主，大数据的数据类型是几种类型的复杂组合，其中半结构化和非结构化数据占80%左右；从数据的表现形式上看，从传统的声音、文字、图片不断扩展到网络日志、系统日志、视频、地图等形式。 　　Value 价值，表现为数据价值大和价值密度低。从数据价值上看，小数据的价值适用于小众群体和对小范围地区更有实用意义，大数据的价值不仅具有普及性、普遍性和说服力，而且更有个性化，能说明任何实体之间的相关性；从价值密度上看，大数据的价值密度低，假如同种类型的数据的潜在价值是固定的，数据量越大，价值密度必然越小。以机房网络监控日志为例，要查看的仅仅是报警和错误日志。 　　大数据的核心和本质是预测，通过分析方法和工具探索隐藏在数据表面背后的本质和规律，从而使企业在未来的商业活动中更具有主动性，政府制定社会治理决策更准确、更有针对性，个人在未来的生活和学习活动中更能找到适合自己的方式方法。这一过程又称“知识发现”。著名的“啤酒与尿布”理论，沃尔玛超市利用大数据发现了这一规律并应用到商业活动中，从而使自身的利润获得质的飞跃；