大数据数据分析方法数据处理流程实战案例.docVIP

大数据数据分析方法数据处理流程实战案例 一、大数据思维 在2011年、2012年大数据概念火了之后，能够说这几年许多传 统企业也好，互联网企业也好，都把自己的业务给大数据靠一靠，同 时提的比较多的大数据思维。 那么大数据思维是怎么回事?我们来看两个例子： 案例1:输入法 首先，我们来看一下输入法的例子。 我2001年上大学，那时用的输入法比较多的是智能 ABC, 还有 微软拼音，还有五笔。那时候的输入法比现在来说要慢的很多，许多 时候输一个词都要选好几次，去选词还是调整才能把这个字打出来， 效率是非常低的。 到了2002年，2003年出了一种新的输出法——紫光拼音，感 受确实很快，键盘没有按下去字就已经跳出来了。但是，后来很快发 现紫光拼音输入法也有它的问题，比如当时互联网进展已经比较快了， 会经常出现一些新的词汇，这些词汇在它的词库里没有的话，就很难 敲出来这个词。 在2006年左右，搜狗输入法出现了。搜狗输入法基于搜狗本身 是一个搜索，它积存了一些用户输入的检索词这些数据，用户用输入 法时候产生的这些词的信息，将它们进行统计分析，把一些新的词汇 逐步添加到词库里去，通过云的方式进行管理。 大数据思维 剧标准Vs. 剧标准 Vs. 1.然并卵 2 . 染病3 . 然4 . 染5 . 燃 比如，去年流行一个词叫“然并卵” ,这样的一个词假如用传统 的方式，由于它是一个重新构造的词，在输入法是没办法通过拼音 ran bing luan 直接把它找出来的。然而，在大数据思维下那就 不一样了，换句话说，我们先不明白有这么一个词汇，但是我们发现 有许多人在输入了这个词汇，因此，我们能够通过统计发现最近新出 现的一个高频词汇，把它加到司库里面并更新给所有人，大家在使用 的时候能够直接找到这个词了。 案例2:地图 再来看一个地图的案例，在这种电脑地图、手机地图出现之前， 我们都是用纸质的地图。这种地图差不多就是一年要换一版，由于许 多地址可能变了，同时在纸质地图上确信是看不出来，从一个地方到 另外一个地方怎么走是最好的?中间是不是堵车?这些都是有需要 有经验的各类司机才能推断出来。 在有了百度地图这样的产品就要好很多，比如：它能告诉你这条 路当前是不是堵的?或者者说能告诉你半个小时之后它是不是堵的? 它是不是能够预测路况情况? 此外，你去一个地方它能够给你规划另一条路线，这些就是由于 它采集到许多数据。比如：大家在用百度地图的时候，有 GPS 地位 信息，基于你这个位置的移动信息,就能够明白路的拥堵情况。另外， 他能够收集到很多用户使用的情况，能够跟交管局或者者其他部门来 采集一些其他摄像头、地面的传感器采集的车辆的数量的数据，就能 够做这样的推断了。 大数据思维 大数据思维 · 数据驱动Vs. 因果驱动 Vs. 拍脑袋 这里，我们来看一看纸质的地图跟新的手机地图之间，智能ABC 输入法跟搜狗输入法都有什么区别? 这里面最大的差异就是是否具有用上新的数据。这里就引来了一 个概念——数据驱动。有了这些数据，基于数据上统计也好，做其他 挖掘也好，把一个产品做的更加智能，变得更加好，这个跟它对应的 就是之前可能没有数据的情况，可能是拍脑袋的方式，或者者说我们 用过去的，我们想清晰为什么然后再去做这个情况。这些相比之下数 据驱动这种方式效率就要高很多,同时有许多往常解决不了的问题它 就能解决的非常好。 二、 数据驱动 关于数据驱动这一点，可能有些人从没有看数的习惯到了看数的 习惯那是一大进步,是不是能看几个数这就叫数据驱动了呢?这还远 远不够,这里来说一下什么是数据驱动?或者者现有的创业公司在进 行数据驱动这件情况上存在的一些问题。 一种情况大家在公司里面有一个数据工程师，他的工作职责就是 跑数据。 工程师老王负责处理所有跑数据的需求 工程师老王负责处理所有跑数据的需求 写了半天需求，又 是Excel又是MRD, 老王 竟说看不懂!1! 麻须。算了，还是拍脑 装吧…… 麻烦又描述不清的 需求接通而至…… 这些数据都 什么意思? 和我理解的 上个月的活动 效果究竟如何? 降了!肯定是跑的有 什么时候才能 不管是市场也好，产品也好，运营也好，老板也好，大家都会有 各类各样的数据需求，但都会提给他。然而，这个资源也是有限的， 他的工作时间也是有限的，只能一个一个需求去处理，他本身工作很 忙，大家提的需求之后可能并不可能马上就处理，可能需要等待一段 时间。即使处理了这个需求， 一方面他可能数据准备的不全，他需要 去采集一些数据，或者做一些升级，他要把数据拿过来。拿过来之后 又在这个数据上进行一些分析,这个过程本身可能两三天时间就过去 了，假如加上等待的时间更长。 关于有些人来说，这个等待周期太长，整个时机可能就错过了。 比如，你重要的就是考察一