大数据漫谈—— DT时代.docxVIP

PAGE 1 PAGE 1 大数据漫谈—— DT时代  人类正从IT时代走向DT时代，从五年前开始，我们在云计算上面押了许多宝，才诞生了互联网金融，假如没有数据支持，互联网金融是不可想象的。——马云  老早就想写大数据的话题，因为大数据这个话题太大了，一直没有找到从哪里下手，也怕自己写不好这个话题。正如目前人人都在谈大数据，谈DT时代，但是，大数据是什么，每个人都有自己的一个看法，好比盲人摸象，每个都认为自己摸到是真正的大象。我也担忧我所看到的，只是大数据的冰山一角，究竟，将引领整个人类下一次变革的大数据，不是我几篇文章就能说清晰的。  大数据这个概念，其实在上世纪九十年月就有人提出来了，当时期望通过将全部零散的数据归并起来，然后进行数据挖掘，以看到以前存在的问题，去预估将来几年的趋势，来指导商业决策。比如保险行业，人寿保险会通过大数据的统计计算，依据人均寿命来计算保费与回报率。这是在特定的环境，特定的时间下，对数据做一些商业化的尝试，还算不上真正的大数据。  我们再看国内大数据的领导者—阿里巴巴，早在2010年就在开始谈大数据战略，同年，Maxcompute(原ODPS)开始布局，蚂蚁小贷开始创业。2012年，阿里设立了CDO这个岗位以及成立CDO事业部，全面负责阿里集团的“数据共享平台”的大数据战略。同年，一本《大数据时代》也开始在国内外畅销，国内大数据时代拉开序幕。  2014年，马云再次提出，“人类正从IT时代走向DT时代”，人类已经从IT时代走向DT时代，IT时代是以自我掌握、自我管理为主，而DT(Datatechnology)时代，它是以服务大众、激发生产力为主的技术。这两者之间看起来好像是一种技术的差异，但实际上是思想观念层面的差异。  讲了这么多，那大数据是什么呢?我们先看看大数据不是什么。  大数据不是什么?  1、大数据≠拥有数据  许多人觉得拥有数据，特殊是拥有大量的数据，这就是大数据了，这个是确定不对的，数据量大不是大数据，比如气象数据很大，假如仅仅用于气象预估，只要计算能力跟上就行，还远远没有发挥它的价值。但是保险公司依据气象大数据，来预估自然灾难以及调整与自然灾难相关的保险费率，它就演化出其它的商业价值，形成了大数据的商业环境。所以，大数据要使用，甚至关联，交换才能产生真正价值，形成DT时代特有的大数据商业。  2、大数据≠报表平台  有许多企业，建立了自己业务的报表中心，或者是大屏展示中心，就立刻宣布他们已经实现了大数据，这是远远不够的。报表虽然也是大数据的一种体现，但是真正的大数据业务，不是生成报表靠人来指挥，那是披着大数据外表的报表系统而已。在大数据闭环系统中，万物都是数据产生者，也是数据使用者，他们通过自动化，智能化的闭环系统，自动学习，智能调整，从而提升整体的生产效率。  3、大数据≠计算平台  之前看过一个报道，说某某金融机构建立了自己的大数据系统，后来认真一看，就是搭建了一个几百台机器的Hadoop集群而已。大数据计算平台，是大数据应用的技术基础，是大数据闭环中特别重要的一环，也是不可缺少的一环，但是，不能说有了计算平台就有了大数据。比如我买了锅，不能说我已经有了菜，从锅到菜还缺原料(数据)，刀具(加工工具)，厨师(数据加工)才能最终做出菜来。  4、大数据≠精准营销  见过许多创业公司在做大数据创业，认真一看，人家做的是基于大数据的推荐引擎、广告定投等等。这是大数据吗?他们做的是大数据的一种应用，可以说已经是大数据的一种了。只是大数据整个生态，不能通过这一种就来表达而已。正如大象的耳朵是大象的一部分，但是，它不能代表大象。  那大数据究竟是什么?  简洁讲，大数据需要有大量能相互连接的的数据(不管是自己的，还是购买，交换别人的)，他们在一个大数据计算平台(或者是能互通的各个数据节点上)，有相同的数据标准能正确的关联(如ETL，数据标准)，通过大数据相关处理技术(如算法，引擎，机器学习)，形成自动化、智能化的大数据产品或者业务，进而形成大数据采集，反馈的闭环，自动智能的指导人类的活动，工业制造，社会发展等。  数据正在金融，广告，零售，物流，影视等行业，静静地转变我们的生活。随着手机的更大规模的普及，还是日新月异的可穿戴设备、智能家居、甚至无人驾驶汽车，都在提示我们，以互联网(或者物联网)、云计算、大数据为代表的这场技术革命正引领人类社会加速进入农业时代、工业时代之后的一个新的发展阶段—数据时代(DT时代)。  前两个时代分别以土地、资本为生产要素，而正在我们面前开启的数据时代，正如其名，