第二章 大数据白皮书.PDFVIP

大 数 据 白 皮 书 （2014年） 工业和信息化部电信研究院 2014年5月 版权声明 本白皮书版权属于工业和信息化部电信研究院，并受法律保 护。转载、摘编或利用其它方式使用本白皮书文字或者观点的， 应注明“来源：工业和信息化部电信研究院”。违反上述声明者， 本院将追究其相关法律责任。 前 言 当前，全球大数据产业日趋活跃，技术演进和应用创新加速发展， 各国政府也逐渐认识到大数据在推动经济发展、改善公共服务，乃至 保障国家安全方面的重大意义，纷纷积极出手推动。在全球大数据蓬 勃发展的大背景下，我国也面临难得的发展机遇。如何抓住机遇，将 我国拥有的数据资源转化为经济发展动力，是摆在政府和产业界面前 的紧迫课题。 本白皮书首先追溯了大数据的起源，从新资源、新工具和新理念 等角度探讨了大数据的概念；然后对大数据关键技术、应用、产业和 政策环境等核心要素进行了分析，梳理提出了大数据技术体系和创新 特点，简要描述了大数据应用及产业生态发展状况，分析了各国大数 据政策实践及我国大数据发展的政策环境；最后针对我国大数据发展 存在的问题，提出推动大数据应用、促进前沿技术创新与扩散、开放 政府和公共数据资源、保护数据安全与个人隐私等方面的策略建议。 目 录 一、大数据概念探讨 1 二、大数据关键技术 2 (一) 大数据对传统数据处理技术体系提出挑战2 (二) 大数据存储、计算和分析技术是关键4 (三) 大数据技术创新呈现“原创-开源-产品化”的阶梯格局 9 三、大数据应用发展 11 (一) 互联网行业是大数据应用的领跑者 11 (二) 大数据应用加速向传统领域拓展 12 (三) 大数据应用呈现初级发展阶段特征 13 四、大数据产业生态 16 (一) 传统 IT厂商加快向大数据解决方案提供商转型 16 (二) 云服务商成为大数据处理服务提供商的主体 17 (三) 大数据资源提供商应运而生 18 五、大数据政策环境 20 (一) 国外政府从数据、技术和应用三方面推进大数据发展20 (二) 我国大数据发展环境持续完善22 六、 问题与政策思考 23 (一) 我国大数据发展面临的问题23 (二) 推动我国大数据产业发展的对策思考25 工业和信息化部电信研究院 大数据白皮书 （2014） 一、大数据概念探讨 大数据的应用和技术是在互联网快速发展中诞生的，起点可追溯 到2000 年前后。当时互联网网页爆发式增长，每天新增约700 万个 1 网页，到2000 年底全球网页数达到40 亿，用户检索信息越来越不 2 方便。谷歌等公司率先建立了覆盖数十亿网页的索引库 ，开始提供 较为精确的搜索服务，大大提升了人们使用互联网的效率，这是大数 据应用的起点。当时搜索引擎要存储和处理的数据，不仅数量之大前 所未有，而且以非结构化数据为主，传统技术无法应对。为此，谷歌 提出了一套以分布式为特征的全新技术体系，即后来陆续公开的分布 式文件系统(GFS，Google File System)、分布式并行计算(MapReduce) 和分布式数据库(BigTable)等技术，以较低的成本实现了之前技术无 法达到的规模。这些技术奠定了当前大数据技术的基础，可以认为是 大数据技术的源头。 伴随着互联网产业的崛起，这种创新的海量数据处理技术在电子 商务、定向广告、智能推荐、社交网络等方面得到应用，取得巨大的 商业成功。这启发全社会开始重新审视数据的巨大价值，于是金融、 电信等拥有大量数据的行业开始尝试这种新的理念和技术，取得初步 成效。与此同时，业界也在不断对谷歌提出的技术体系进行扩展，使 之能在更多的场景下使用。2011 年，麦肯锡、世界经济论坛等知名 机构对这种数据驱动的创新