大数据研究未来科技和经济社会发展的重大战略领域.PDFVIP

战略与决策研究 Strategy Policy Decision Research 大数据研究：未来科技及经济 社会发展的重大战略领域 ——大数据的研究现状与科学思考* 文/李国杰 程学旗 中国科学院计算技术研究所 北京 100190 【摘 要】近来，大数据引起了产业界、科技界和政府部门的高度关注。本文简要 阐述了大数据的研究现状与重大意义，探讨了大数据的科学问题，介绍了大数据 应用与研究所面临的问题与挑战。最后，对大数据发展战略提出了几点建议。 【关键词】大数据，数据科学，数据工程，第四范式 DOI 10.3969/j.issn. 1000-3045.2012.06.001 近年来，大数据引起了产业界、科技界 脑科学等）的研究产生了越来越多的数据。 和政府部门的高度关注。2012 年3 月22 例如，用电子显微镜重建大脑中的突触网 日，奥巴马宣布美国政府投资2 亿美元启动 络，1 立方毫米大脑的图像数据就超过 “大数据研究和发展计划（Big Data Re- 1PB 。但近年来大数据的飙升主要还是来 search and Development Initiative）”。这是 自日常生活，特别是互联网公司的服务。据 继1993年美国宣布“信息高速公路”计划后 著名咨询公司IDC 的统计，2011 年全球被创 的又一次重大科技发展部署。美国政府认 建和复制的数据总量为1.8ZB （10 的21 次 为，大数据是“未来的新石油”，并将对大数 方），其中75%来自于个人（主要是图片、视 据的研究上升为国家意志，这对未来的科技 频和音乐），远远超过人类有史以来所有印 [11] 与经济发展必将带来深远影响。 刷材料的数据总量（200PB ） 。Google 公 司通过大规模集群和MapReduce 软件，每 1 何谓大数据 个月处理的数据量超过400PB ；百度每天大 人、机、物三元世界的高度融合引发了 约要处理几十PB 数据；Facebook 注册用户 数据规模的爆炸式增长和数据模式的高度 超过10亿，每月上传的照片超过10亿张，每 复杂化，世界已进入了网络化的大数据 天生成300TB 以上的日志数据；淘宝网会员 [1,16] （Big Data ）时代 。以数据为中心的传统 超过3.7 亿，在线商品超过8.8 亿，每天交易 学科（如基因组学、蛋白组学，天体物理学和 数千万笔，产生约20TB 数据。传感网和物 * 修改稿收到日期：20 12年11 月12 日 联网的蓬勃发展是大数据的又一推动力，各 院刊 647 究 个城市的视频监控每时每刻都在采集巨量的流媒 IBM、Oracle、Microsoft 、Google、Amazon 、 研h c 策 r 体数据。工业设备的监控也是大数据的重要来 Facebook 等跨国巨头是发展大数据处理技术的主 a e 决 s 源。例如，劳斯莱斯公司对全世界数以万计的飞 要推动者。自2005 年以来，IBM 投资160亿美元 与 e R 略 n 机引擎进行实时监控，每年传送PB 数量级的数 进行了30 次与大数据有关的收购，促使其业绩稳 o i 战s i c 据。