大数据的前世今生——大数据特征与发展历程.docxVIP

PAGE 1 PAGE 1 大数据的前世今生——大数据特征与发展历程 　　2011年12月，工信部发布的物联网十二五规划上，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。  　　2012年1月份，瑞士达沃斯召开的世界经济论坛上，大数据是主题之一，会上发布的报告《大数据，大影响》(BigData,BigImpact)宣称，数据已经成为一种新的经济资产类别，就像货币或黄金一样。  　　2012年3月，美国奥巴马政府在白宫网站发布了《大数据研究和发展倡议》，这一倡议标志着大数据已经成为重要的时代特征。2012年3月22日，奥巴马政府宣布2亿美元投资大数据领域，是大数据技术从商业行为上升到国家科技战略的分水岭，在次日的电话会议中，政府对数据的定义“将来的新石油”，大数据技术领域的竞争，事关国家安全和将来。并表示，国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用的能力；国家数字主权体现对数据的占有和掌握。数字主权将是继边防、海防、空防之后，另一个大国博弈的空间。  　　2012年4月，美国软件公司Splunk于19日在纳斯达克成功上市，成为第一家上市的大数据处理公司。鉴于美国经济持续低靡、股市持续震荡的大背景，Splunk首日的突出交易表现尤其令人们印象深刻，首日即暴涨了一倍多。Splunk是一家领先的供应大数据监测和分析服务的软件供应商，成立于2003年。Splunk成功上市促进了资本市场对大数据的关注，同时也促使IT厂商加快大数据布局。  　　2012年7月，联合国在纽约发布了一份关于大数据政务的白皮书，总结了各国政府如何利用大数据更好地服务和保护人民。这份白皮书举例说明在一个数据生态系统中，个人、公共部门和私人部门各自的角色、动机和需求：例如通过对价格关注和更好服务的渴望，个人供应数据和众包信息，并对隐私和退出权力提出需求；公共部门出于改善服务，提升效益的目的，供应了诸如统计数据、设备信息，健康指标，及税务和消费信息等，并对隐私和退出权力提出需求；私人部门出于提升客户认知和预估趋势目的，供应汇总数据、消费和使用信息，并对敏感数据全部权和商业模式更加关注。白皮书还指出，人们如今可以使用的极大丰富的数据资源，包括旧数据和新数据，来对社会人口进行前所未有的实时分析。联合国还以爱尔兰和美国的社交网络活跃度增长可以作为失业率上升的早期征兆为例，表明政府假如能合理分析所把握的数据资源，将能“与数俱进”，快速应变。  　　2012年7月，为挖掘大数据的价值，阿里巴巴集团在管理层设立“首席数据官”一职，负责全面推进“数据共享平台”战略，并推出大型的数据共享平台——“聚石塔”，为天猫、淘宝平台上的电商及电商服务商等供应数据云服务。随后，阿里巴巴董事局主席马云在2012年网商大会上发表演讲，称从2013年1月1日起将转型重塑平台、金融和数据三大业务。马云强调：“假如我们有一个数据预报台，就像为企业装上了一个GPS和雷达，你们出海将会更有把握。”因此，阿里巴巴集团期望通过共享和挖掘海量数据，为国家和中小企业供应价值。此举是国内企业最早把大数据提升到企业管理层高度的一次重大里程碑。阿里巴巴也是最早提出通过数据进行企业数据化运营的企业。  　　2014年4月，世界经济论坛以“大数据的回报与风险”主题发布了《全球信息技术报告（第13版）》。报告认为，在将来几年中针对各种信息通信技术的政策甚至会显得更加重要。在接下来将对数据保密和网络管制等议题绽开积极争论。全球大数据产业的日趋活跃，技术演进和应用创新的加速发展，使各国政府渐渐熟悉到大数据在推动经济发展、改善公共服务，增进人民福祉，乃至保障国家安全方面的重大意义。  　　2014年5月，美国白宫发布了2014年全球“大数据”白皮书的研究报告《大数据：抓住机遇、守护价值》。报告鼓舞使用数据以推动社会进步，特殊是在市场与现有的机构并未以其他方式来支持这种进步的领域；同时，也需要相应的框架、结构与研究，来帮助保护美国人对于保护个人隐私、确保公正或是防止卑视的坚决信仰。  　　大数据相关技术的发展  　　大数据技术是一种新一代技术和构架，它以成本较低、以快速的采集、处理和分析技术，从各种超大规模的数据中提取价值。大数据技术不断涌现和发展，让我们处理海量数据更加简单、更加廉价和快速，成为利用数据的好助手，甚至可以转变很多行业的商业模式，大数据技术的发展可以分为六大方向：  　　（1）在大数据采集与预处理方向。这方向最常见的问题是数据的多源和多样性，导致数据的质量存在差异，严重影响到数据的可用性。针对这些问题，目前许多公