2013年第14期（总第226期）.docVIP

2013年第14期(总第226期) 辽宁省财政科学研究所 辽 宁 省 财 政 学 会 2013年8月15日 本期主题：大数据时代 [按]随着互联网、物联网、云计算等技术的快速发展，以及智能终端、网络社会、数字地球等信息体的普及和建设，全球数据量出现爆炸式增长，仅在2011年就达到1.8万亿GB。IDC预计，到2020年全球数据量将增加50倍。毋庸置疑，大数据时代已经到来。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。2012年3月，美国政府宣布正式启动“大数据计划”，将投入超过2亿美元推动大数据提取、存储、分析、共享、可视化等领域的研究。同样麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、竞争、生产力提高的前沿。发达国家纷纷将开发、利用大数据作为夺取新一轮竞争制高点的重要抓手。在国内，百度已经致力于开发自己的大数据处理和存储系统；腾讯也提出目前如何整合这些数据成为未来的关键任务。在大数据时代，云计算为海量的、多样化的数据提供了存储和运算平台，数据挖掘和人工智能从冗杂的大数据中剥丝抽茧，识别出有价值的信息并进行分析处理，为政府、企业决策提供了参考。大数据的发展会进一步扩大信息的开放和利用程度，但也会导致隐私数据或敏感信息的泄露事件时有发生。本期将和大家一起探讨面对大数据时代的新特点，我们如何更好地管理和利用大数据。 大数据时代的来临 美国社会思想家托夫勒在《第三次浪潮》中提出，“如果说IBM的主机拉开了信息化革命的大幕，那么大数据才是第三次浪潮的华彩乐章。”大数据以其广泛的潜在应用需求和可以展望的巨大经济社会效益，正成为继云计算、物联网之后信息技术领域的又一热点，并将在社会经济各领域产生深刻影响。麦肯锡在2011年6月发布的研究报告中，最早提出大数据时代已经到来。报告指出，当前大数据规模以及存储容量正在迅速增长，已经渗透到各个行业和领域，成为可以与物质资产和人力资本相提并论的重要生产要素。大数据是继传统IT之后下一个提高生产率的技术前沿。只要具有适当的政策推动，大数据的使用将成为未来提高竞争力、生产力、创新能力以及创造消费者盈余的关键要素，成为领军企业与其他企业之间最大的显著差别。那些没有引入新的分析技术和新的数据类型的企业，不太可能成为其行业的领军者。 互联网特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示，1998年全球网民平均每月使用流量是1MB(兆字节)，2000年是10MB，2003年是100MB，2008年是1GB(1GB等于1024MB)，2014年将是10GB。全网流量累计达到1EB(即10亿GB或1000PB)的时间在2001年是一年，在2004年是一个月，在2007年是一周，而2013年仅需一天，即一天产生的信息量可刻满1.88亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB(1TB等于1000GB)，存储量40PB(1PB等于1000TB)。百度公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。 信息爆炸不自今日起，但近年来人们更加感受到大数据的来势迅猛。一方面，网民数量不断增加，另一方面，以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网，人均0.1个；2013年全球将有500亿个设备联网，人均70个。随着宽带化的发展，人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%，即信息总量每两年就可以翻番，这一趋势还将持续。目前，单一数据集容量超过几十TB甚至数PB已不罕见，其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。 数据规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。首先，大数据反映舆情和民意。网民在网上产生的海量数据，记录着他们的思想、行为乃至情感，这是信息时代现实社会与网络空间深度融合的产物，蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计，2012年底我国网民数为5.64亿，手机网民为4.2亿，通过分析相关数据，可以了解大众需求、诉求和意见。其次，企业和政府的信息系统每天源源不断产生大量数据。根据赛门铁克公司的调研报告，全球企业的信息存储总量已达2.2ZB(1ZB等于1000EB)，年增67%。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元，收集环境和社会管理所需的信息。2011年，英国《自然》杂志曾出版专刊指出，倘若能够更有效地组织和使用大数据，人类将得到更多的机会发