大数据时代的机遇与挑战_邬贺铨.pdfVIP

科技与教育 大数据时代的机遇与挑战 ■ 邬贺铨 大数据泛指巨量的数据集，因可从中挖掘 月产生的数据量将达几十PB 。医院也是数据产 出有价值的信息而受到重视。《华尔街日报》将 生集中的地方。现在，一个病人的CT 影像数据量 大数据时代、智能化生产和无线网络革命称为 达几十GB ，而全国每年门诊人数以数十亿计，并 引领未来繁荣的三大技术变革。麦肯锡公司的 且他们的信息需要长时间保存。总之，大数据存 报告指出数据是一种生产资料，大数据是下一 在于各行各业，一个大数据时代正在到来。 个创新、竞争、生产力提高的前沿。世界经济论 信息爆炸不自今日起，但近年来人们更加 坛的报告认定大数据为新财富，价值堪比石 感受到大数据的来势迅猛。一方面，网民数量 油。因此，发达国家纷纷将开发利用大数据作 不断增加，另一方面，以物联网和家电为代表的 为夺取新一轮竞争制高点的重要抓手。 联网设备数量增长更快。2007 年全球有5 亿个 设备联网，人均0 .1 个；2013 年全球将有500 亿 大数据时代的来临 个设备联网，人均70 个。随着宽带化的发展， 互联网特别是移动互联网的发展，加快了 人均网络接入带宽和流量也迅速提升。全球新 信息化向社会经济各方面、大众日常生活的渗 产生数据年增40% ，即信息总量每两年就可以 透。有资料显示，1998 年全球网民平均每月使用 翻番，这一趋势还将持续。目前，单一数据集容 流量是1MB （兆字节），2000 年是10MB ，2003 年 量超过几十TB 甚至数PB 已不罕见，其规模大 是 100MB ，2008 年是 1GB （1GB 等于 1024MB ）， 到无法在容许的时间内用常规软件工具对其内 2014 年将是 10GB 。全网流量累计达到 1EB （即 容进行抓取、管理和处理。 10亿GB 或1000PB ）的时间在2001 年是一年，在 数据规模越大，处理的难度也越大，但对其 2004 年是一个月，在2007 年是一周，而2013 年 进行挖掘可能得到的价值更大，这就是大数据 仅需一天，即一天产生的信息量可刻满1.88 亿 热的原因。首先，大数据反映舆情和民意。网 张DVD 光盘。我国网民数居世界之首，每天产生 民在网上产生的海量数据，记录着他们的思想、 的数据量也位于世界前列。淘宝网站每天有超 行为乃至情感，这是信息时代现实社会与网络 过数千万笔交易，单日数据产生量超过50TB 空间深度融合的产物，蕴含着丰富的内涵和很 （1TB 等于 1000GB ），存储量 40PB( 1PB 等于 多规律性信息。根据中国互联网络信息中心统 1000TB) 。百度公司目前数据总量接近1000PB ， 计，2012 年底我国网民数为5.64 亿，手机网民 存储网页数量接近1万亿页，每天大约要处理60 为4 .2 亿，通过分析相关数据，可以了解大众需 亿次搜索请求，几十PB 数据。一个8Mbps （兆比 求、诉求和意见。其次，企业和政府的信息系统 特每秒）的摄像头一小时能产生3.6GB 数据，一 每天源源不断产生大量数据。根据赛门铁克公 个城市若安装几十万个交通和安防摄像头，每 司的调研报告，全球企业的信息存储总量已达