大数据：商业革命与科学革命.pdf

大数据：商业革命与科学革命 什么叫大数据？ 大数据“ ”是 数据化“ ”趋势下的必然产物！数据化最核心的理念是： 一切都被记录，一切都被数字化“ ” ，它带来了两个重大的变化：一是数据量的爆炸性 剧增，最近 2 年所产生的数据量等同于 2010 年以 前整个人类文明产生的数据量总和；二是数据来源的极大丰富，形成了多源异构的数据形态，其中 非结构化数据 （包括语音、视频、图像等）所占比例逐年增大。 牛津大学互联网研究所维克托 迈尔· - 舍恩伯格教授指出， 大数据“ ”所代表的是当今社会所独有的一种 新型的能力 —— 以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务 ，或深刻的洞见 ①。 这种 前所未有的“ ”巨大价值和深刻洞见，并不仅仅来自于单一数据集量上的变化，而且是不同领域 数据集之间深度的交叉关联，可称之为 跨域关联“ ”。譬 如微博上的内容和社交关系， Flickr上的图片 共享，手机通讯关系，淘宝上的购物记录等数据通过同一个用户关联起来；又如移动手机定位的移 动轨迹，车载 GPS 的移动数据，街旁上的签到数据，顺丰物流的递送数据，智慧城市中的文本描述 等数据通过同一个地点关联起来。跨域关联是数据量增大后从量变到质变的飞 跃，是大数据巨大价 值的基础。 大数据会给整个社会带来从生活到思维上革命性的变化：企业和政府的管理人员在进行决策的时候 ，会出现从 经验即决策“ ”到 数据辅助决策“ ”再到 数据“ 即决策 ”的变化；人们所接受的服务，将以数字 化和个性化的方式呈现，借助 3D 打印技术和生物基因工程，零售业和医疗业亦将实现数字化和个性 化的服务；以小 规模实验、定性或半定量分析为主要手段的科学分支，如社会学、心理学、管理 学等，将会向大规模定量化数据分析转型；将会出现数据运营商和数据市场，以数据 和数据产品为 对象，通过加工和交易数据获取商业价值；人类将在哲学层面上重新思考诸如 物质和信息谁更“ 基础 ”“生命的本质是什么 ”“生命存在的最终形态是 什么 ”等本体论问题 …… 综上，大数据不是数据量的简单刻画，也不是特定算法、技术或商业模式上的发展，而是从数据量 、数据形态和数据分析处理方式，到理念和形态上重大变革 的总和 —— 大数据是基于多源异构、跨 域关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和观念形态上的颠覆性 变化的总和。 大数据的战略地位 大数据被认为是继信息化和互联网后整个信息革命的又一次高峰。云计算和大数据共同引领以数据 为材料，计算为能源的又一次生产力的大解放，甚至可以与以蒸汽机的使用和电气的使用为代表的 第一次工业革命和第二次工业革命相媲美。 与提升国家竞争力及国民幸福程度密切相关的重大战略都与大数据的分析和利用息息相关，包括与 国家安全社会稳定相关的尖端武器制造与性能模拟实验，群 体事件和谣言的预警和干预；与国家科 技能力相关的等离子即高能粒子实验分析，纳米材料及生物基因工程；与国民经济繁荣相关的经济 金融态势感知与失稳预测， 精准营销与智能物流仓储；与环境问题相关的全球气候及生态系统的 分析，局部天气及空气质量预测；与医疗卫生相关的个性化健康监护及医疗方案，大规模流行病 趋 势预测和防控策略；与人民幸福生活相关的个性化保险理财方案，智能交通系统等等。数据储备和 数据分析能力将成为未来新型国家最重要的核心战略能力。 2012 年3月29 日，美国政府宣布了 大数据研究和发展倡议“ ”，来推进从大量的、复杂的数据集合中 获取知识和洞见的能力。该倡议涉及联邦政府的 6 个部门（国家科学基金委、国家卫生研究院、能 源部、国防部、国防部高级研究计划局和地质勘探局）。这些部门将投资总共超过两亿美元，来大 力推动和改善与大 数据相关的收集、组织和分析工具及技术。 2012 年5月，我国召开第 424 次香山科学会议，这是我国