国内​大​数​据​技​术​与​产​业​发​展​白​皮​书​.pdf

中国大数据技术与产业发展白皮书 （2013 ） 序 言 近两年来，大数据浪潮以排山倒海之势席卷全球，既提供巨大的机遇，也带 来一系列的挑战。为了推动大数据科学技术和产业的良性发展，中国计算机学会 于2012 年6 月成立了“大数据专家委员会”，其宗旨是探讨大数据的核心科学与 技术问题，推动大数据学科方向的建设与发展；构建面向大数据产学研用的学术 交流、技术合作与数据共享平台，并对相关政府部门提供战略性的意见与建议。 在中国计算机学会大数据专家委员会精心组织下，花了大半年时间撰写了这本 《中国大数据技术与产业发展白皮书（2013 年）》。 中国计算机学会大数据专家委员会的110 位专家（不包括最近正在遴选的第 三批专家委员）来自大学、科研单位、企业和政府部门，从事的专业涵盖计算机 系统、通信、数据库和数据挖掘、大数据应用等各个不同的领域，白皮书的编写 集中了各个领域众多专家的知识和智慧，一定程度上反映了我国大数据学术界和 产业界的共识。 组织撰写《中国大数据技术与产业发展白皮书》的目的在于为业界梳理大数 据应用现状及发展趋势，为政府制定推动大数据产业发展的政策提供建议；同时， 探讨大数据研究面临的科学问题和技术挑战，为研究机构和研究人员提供参考指 南。白皮书包括六部分内容，第一章介绍大数据的发展背景，第二章阐述大数据 典型应用领域的现状，第三章阐述大数据技术体系的发展现状，第四章讨论大数 据IT 产业链与生态环境，第五章分析了大数据人才资源情况，第六章探讨大数 据的发展趋势并提出相关建议。 大数据成为热点以后，众说纷纭。推动者认为是“上帝给中国崛起准备的礼 物” ；泼冷水者认为是又一场“泡沫” 。实际上所谓大数据主要是干三件事：一件 是提高“数据意识”，用已经掌握的技术大力推动数据产业，这方面主要是企业界 要做的事。在企业看来，不管是大数据还是小数据，只要能给企业带来价值，就 是好数据。对于数据意识薄弱的发展中国家，经过大数据浪潮的洗礼，提高对数 据资源的掌控能力，无疑是一件好事。第二件事是解决现有计算机系统和软件不 能对付急剧增长、种类繁多的数据（尤其是网络数据）这一挑战问题，研究各种 采集、整理、存储、处理和呈现大数据的变革性技术。各国专家对大数据的定义 大都是着眼于这一挑战，这主要是科技界（包括大企业的研发机构）要做的事。 介于这两者之间的第三件事是，推广近几年开始应用的不同于传统事务处理、传 统数据库和小样本建模分析技术的大数据处理新方法，如深度学习、MapReduce 、 1 中国大数据技术与产业发展白皮书 （2013 ） Hadoop 软件和数据中心的分布式服务器集群等技术。这是从传统的数据处理转 向大数据处理的过渡阶段。 本白皮书洋洋洒洒8 万字，其中分量最重的是第二章和第三章。第二章介绍 大数据的典型应用，对应上述第一件事和第三件事。我国的大数据应用刚刚开始， 有些应用的数据规模可能还不够大，采用的方法也许不够新，但新兴产业是“用” 出来的，只有广泛应用才能发现技术差距和需要突破的技术壁垒。发现典型的大 数据应用案例，宣传推广应用大数据技术的经验是本白皮书的主要动机，今后我 们会更加关注应用案例的分析介绍。 第三章分析大数据技术体系的现状，对应上述第二件事。专家委员中多数是 科研工作者，最熟悉的是本领域科学技术研究的进展，最擅长的是探讨技术发展 趋势，分析科学研究和技术开发中面临的问题与挑战。本白皮书的主要价值可能 体现在对大数据技术的分析方面。为了反映专家们的群体倾向，专家委每年做一 次大数据技术发展趋势的年度预测，通过投票方式将最受关注的科学、技术、产 业、应用、政策等相关变化趋势挑选出来。这部分内容反映在第六章6.2.2 节“大 数据的技术发展趋势” 中，希望能对读者有所启迪。在其他几章，企业界和政府 部门的专家也表达了一些真知灼见，如第四章提出的大数据产业链全景图、国内 外大数据产业发展呈现的四个趋势、大数据产业发展的主要瓶颈等都有独到的观 点。第五章把大数据人才资源问题独立出来专门分析，是因为这是一个十分重要 而紧迫的大问题，需要各方面高度重视。 由于时间和篇幅有限，白皮书只选择的部分发展较好的典型应用领域进行介 绍，还有很多领域的大数