大數据的思考与应用.docxVIP

大数据时代的思考与应用??一、大数据的初步理解 似乎一夜之间，大数据（Big Data）变成 一个IT行业中最时髦的词汇。 首先，大数据不是什么完完全全的新生事 物，Google的搜索服务就是一个典型的 大数据运用，根据客户的需求，Google 实时从全球海量的数字资产（或数字垃 圾）中快速找出最可能的答案，呈现给 你，就是一个最典型的大数据服务。只不 过过去这样规模的数据量处理和有商业价 值的应用太少，在IT行业没有形成成型的 概念。现在随着全球数字化、网络宽带 化、互联网应用于各行各业，累积的数据 量越来越大，越来越多企业、行业和国家 发现，可以利用类似的技术更好地服务客 户、发现新商业机会、扩大新市场以及提 升效率，才逐步形成大数据这个概念。有一个有趣的故事是关于奢侈品营销的。 PRADA在纽约的旗舰店中每件衣服上都 有RFID码。每当一个顾客拿起一件 PRADA进试衣间，RFID会被自动识别。 同时，数据会传至PRADA总部。每一件 衣服在哪个城市哪个旗舰店什么时间被拿 进试衣间停留多长时间，数据都被存储起 来加以分析。如果有一件衣服销量很低， 以往的作法是直接干掉。但如果RFID传 回的数据显示这件衣服虽然销量低，但进 试衣间的次数多。那就能另外说明一些问 题。也许这件衣服的下场就会截然不同， 也许在某个细节的微小改变就会重新创造 出一件非常流行的产品。还有一个是关于中国粮食统计的故事。中 国的粮食统计是一个老大难的问题。中国 的统计，虽然有组织、有流程、有法律， 但中央的统计人员依靠省统计人员，省靠 市，市靠县，县靠镇，镇靠村，最后真正 干活或上报的是基层兼职的调查人员，由 于众所周知的KPI考核导向的原因，层层 加码，几乎没有人相信这个调查数据，而 其中国家统计局的人是最不信的。在前两 年北京的一个会议上，原国家统计局总经 济师姚景源向我们讲述了他们是如何做 的。他们采用遥感卫星，通过图像识别， 把中国所有的耕地标识、计算出来，然后 把中国的耕地网格化，对每个网格的耕地 抽样进行跟踪、调查和统计，然后按照统 计学的原理，计算（或者说估算）出中国 整体的整体粮食数据。这种做法是典型采 用大数据建模的方法，打破传统流程和组 织，直接获得最终的结果。最后是一个炒股的故事。这个故事来自于 2011年好莱坞的一部高智商电影《永无 止境》，讲述一位落魄的作家库珀，服用 了一种可以迅速提升智力的神奇蓝色药 物，然后他将这种高智商用于炒股。库珀 是怎么炒股的呢？就是他能在短时间掌握 无数公司资料和背景，也就是将世界上已 经存在的海量数据（包括公司财报、电 视、几十年前的报纸、互联网、小道消息 等）挖掘出来，串联起来，甚至将Face Book、Twitter的海量社交数据挖掘得到 普通大众对某种股票的感情倾向，通过海 量信息的挖掘、分析，使一切内幕都不是 内幕，使一切趋势都在眼前，结果在10 天内他就赢得了200万美元，神奇的表现 让身边的职业投资者目瞪口呆。这部电影 简直是展现大数据魔力的教材性电影，推 荐没有看过的IT人士看一看。从这些案例来看，大数据并不是很神奇的 事情。就如同电影《永无止境》提出的问 题：人类通常只使用了20％的大脑，如 果剩余80％大脑潜能被激发出来，世界 会变得怎样？在企业、行业和国家的管理 中，通常只有效使用了不到20%的数据 （甚至更少），如果剩余80%数据的价值 激发起来，世界会变得怎么样呢？特别是 随着海量数据的新摩尔定律，数据爆发式 增长，然后数据又得到更有效应用，世界 会怎么样呢？单个的数据并没有价值，但越来越多的数 据累加，量变就会引起质变，就好像一个 人的意见并不重要，但1千人、1万人的 意见就比较重要，上百万人就足以掀起巨 大的波澜，上亿人足以改变一切。数据再多，但如果被屏蔽或者没有被使 用，也是没有价值的。中国的航班晚点非 常多，相比之下美国航班准点情况好很 多。这其中，美国航空管制机构一个的好 做法发挥了积极的作用，说起来也非常简 单，就是美国会公布每个航空公司、每一 班航空过去一年的晚点率和平均晚点时 间，这样客户在购买机票的时候就很自然 会选择准点率高的航班，从而通过市场手 段牵引各航空公司努力提升准点率。这个 简单的方法比任何管理手段（如中国政府 的宏观调控手段）都直接和有效。这里多 说一两句，过去一个**国家对内的控制 主要是物理上的暴力，就是强力机构权力 无限大，搞国家KB主义；而现在一个报 政国家，主要是就靠垄断信息、封锁信 息，让民众难以获得广泛而真实的信息， 从而实现国家的控制。这个信息封锁，就 是对大数据的封锁。没有整合和挖掘的数据，价值也呈现不出 来。《永无止境》中的库珀如果不能把海 量信息围绕某个公司的股价整合起来、串 联起来，这些信息就没有价值。因此，海量数