“热”发展中大数据的冷思考.pdfVIP

研究与开发Research＆Development ‘‘ 热发展中大数据的冷思考 孙少陵钱岭石在辉 5163 中国移动(苏州)软件技术有限公司苏州21 摘要大数据+产业已成为提升产业升级和推动经济社会发展的重要方式。经过数年发展，大数据正在孕育出更 多的新业态，但同时也出现了一些新问题，需要理性的思考。针对大数据产业发展中的问题以及传统行业借助大数 据转型时所面临的挑战，文章提出应对大数据产业困局的建议。随着大数据应用的深入，人们对大数据的认知也有 一个不断加深的过程，文章从多个角度提出大数据的再认识。最后着重介绍传统行业大数据转型的思考，分析传统 行业应用大数据的挑战和突破方式。通过剖析大数据热潮下的规律性本质提出了传统行业大数据发展路径，并介绍 了中国移动的经验。 关键词大数据平台；传统行业；商业智能；Hadoop 有限，处理的数据也大多是简单的结构化数据。随着 引言 互联网的快速发展，全球真正迎来了数字化时代，传 人类现代文明经历了工业化和信息化的进程，以 媒、通信、零售等各行业在将自身的产品、服务、交 大数据为代表的“大智移云”标志着信息化发展到了高 易行为等数字化的过程中为互联网贡献了海量的、类 阶阶段，正在向智能化的后现代社会发展。信息技术， 型繁多的数据。 尤其是大数据与传统行业交融渗透，不仅改变着人们 1．1大数据热度下，产业格局初步形成 的生活，也有望掀起新一轮产业变革。从2013年登上 Gartner新技术炒作曲线顶峰到现在，国内大数据热潮 持续升温：一方面大数据概念创业公司激增、大数据交 的大数据技术和架构的基础。高性价比的数据处理能力 易所风起云涌；另一方面大数据在传统行业并未规模化 使得Google在互联网早期发展中一骑绝尘。2005年， 应用、大数据正规渠道供应短缺、大数据安全隐私问题 克隆Google系统的Hadoop开源项目建立，引发数据处 频频曝光。 理开源技术的爆炸式发展，使制约数据处理的技术瓶颈 本文在分析大数据产业面临的问题及应对之道的基 被打破，PB级甚至EB级数据处理成为可能，在产业的 础上，提出对于大数据的几点再认识，最后重点介绍了 欢呼声中，麦肯锡提出“大数据”概念，宣布大数据时 传统行业大数据转型过程中的思考，并给出了中国移动 代的到来。数据处理技术的革命解放了人们对于大数据 大数据的发展经验，供读者参考。 应用的想象力，政府大力推动，风投争先恐后进入，打 着“大数据”名头的创业公司如雨后春笋般出现，在 1 大数据产业发展中面临的问题及应对 2016年，大数据热达到了顶峰。 之道 据来自中国信息通信研究院的数据显示，2016年 人类处理数据由来已久，早期计算、存储资源 我国大数据核心产业的市场规模达到168亿元，年均增 42 万方数据 速达38％。受益于多方环境利好，大数据市场增长潜 验证阶段，大数据发展的最大障碍在于传统行业对大数 力巨大。政策红利对大数据市场注入了巨大动力源； 据的应用水平不足，应用市场容量有限。 跨地区经营IDC业务的企业众多，为大数据的发展提供 3)大数据引发的社会问题。 了良好的基础设施条件；在经济下行压力下，市场竞 大数据不仅带来了机遇，还带来各种网络安全和隐 争加剧，企业积极寻求利用数据挖掘等技术开展市场 私保护的难题。近年