数据驱动设计：数据处理流程、分析方法与实战案例.pdf

数据驱动设计 ：数据处理流程、分析方法和实战案例 一、大数据思维 在2011年、2012年大数据概念火了之后 ， 以说这几年许多传统企业也好 ，互联网企业也好 ，都把 自己的业务给大数据靠一靠 ，并且提的比较多的大数据思维。 那么大数据思维是怎么回事 ？我们来看两个例子 ： 案例1 ：输入法 首先 ，我们来看一下输入法的例子。 我2001年上大学 ，那时用的输入法比较多的是智能A BC ，还有微软拼音 ，还有五笔。那时候的输入 法比现在来说要慢的很多 ，许多时候输一个词都要选好几次 ，去选词还是调整才能把这个字打出来 ，效率是非常低的。 到了2002年 ，2003年出了一种新的输出法——紫光拼音 ，感觉真的很快 ，键盘没有按下去字就已经 跳出来了。但是 ，后来很快发现紫光拼音输入法也有它的问题 ，比如当时互联网发展已经比较快了 ，会经常出现一些新的词汇 ，这些词汇在它的词库里没有的话 ，就很难敲出来这个词。 在2006年左右 ，搜狗输入法出现了。搜狗输入法基于搜狗本身是一个搜索 ，它积累了一些用户输入 的检索词这些数据 ，用户用输入法时候产生的这些词的信息 ，将它们进行统计分析 ，把一些新的词 汇逐步添加到词库里去 ，通过云的方式进行管理。 比如 ，去年流行一个词叫“然并卵” ，这样的一个词如果用传统的方式 ，因为它是一个重新构造的词 ，在输入法是没办法通过拼音“ran bing luan”直接把它找出来的。然而 ，在大数据思维下那就不一 样了 ，换句话说 ，我们先不知道有这么一个词汇 ，但是我们发现有许多人在输入了这个词汇 ，于是 ，我们 以通过统计发现最近新出现的一个高频词汇 ，把它加到司库里面并更新给所有人 ，大家在 使用的时候 以直接找到这个词了。 案例2 ：地图 再来看一个地图的案例 ，在这种电脑地图、手机地图出现之前 ，我们都是用纸质的地图。这种地图 差不多就是一年要换一版 ，因为许多地址 能变了 ，并且在纸质地图上肯定是看不出来 ，从一个地 方到另外一个地方怎么走是最好的 ？中间是不是堵车 ？这些都是有需要有经验的各种司机才能判断 出来。 在有了百度地图这样的产品就要好很多 ，比如 ：它能告诉你这条路当前是不是堵的 ？或者说能告诉 你半个小时之后它是不是堵的 ？它是不是 以预测路况情况 ？ 此外 ，你去一个地方它 以给你规划另一条路线 ，这些就是因为它采集到许多数据。比如 ：大家在 用百度地图的时候 ，有GPS地位信息 ，基于你这个位置的移动信息 ，就 以知道路的拥堵情况。 另外 ，他 以收集到很多用户使用的情况 ， 以跟交管局或者其他部门来采集一些其他摄像头、地 面的传感器采集的车辆的数量的数据 ，就 以做这样的判断了。 这里 ，我们来看一看纸质的地图跟新的手机地图之间 ，智能A BC输入法跟搜狗输入法都有什么区别 ？ 这里面最大的差异就是有没有用上新的数据。这里就引来了一个概念——数据驱动。有了这些数据 ，基于数据上统计也好 ，做其他挖掘也好 ，把一个产品做的更加智能 ，变得更加好 ，这个跟它对应 的就是之前 能没有数据的情况 ， 能是拍脑袋的方式 ，或者说我们用过去的 ，我们想清楚为什么 然后再去做这个事情。这些相比之下数据驱动这种方式效率就要高很多 ，并且有许多以前解决不了 的问题它就能解决的非常好。 二、数据驱动 对于数据驱动这一点 ， 能有些人从没有看数的习惯到了看数的习惯那是一大进步 ，是不是能看几 个数这就叫数据驱动了呢 ？这还远远不够 ，这里来说一下什么是数据驱动 ？或者现有的创业公司在 进行数据驱动这件事情上存在的一些问题。 一种情况大家在公司里面有一个数据工程师 ，他的工作职责就是跑数据。 不管是市场也好 ，产品也好 ，运营也好 ，老板也好 ，大家都会有各种各样的数据需求 ，但都会提 给他。然而 ，这个资源也是有限的 ，他的工作时间也是有限的 ，只能一个一个需求去处理 ，他本身 工作很忙 ，大家提的需求之后 能并不会马上就处理 ， 能需要等待一段时间。即使处理了这个 需求 ，一方面他 能数据准备的不全 ，他需要去采集一些数据 ，或做一些升级 ，他要把数据拿过来 。拿过来之后又在这个数据上进行一些分析 ，这个过程本身 能两三天时间就过去了 ，如果加上等 待的时间更长。 对于有些人来说 ，这个等待周期太长 ，整个时机 能就错过了。比如 ，你重要的就是考察一个节日 或者一个开学这样一个时间点 ，然后想搞一些运营相关的事情 ，这个时机 能就错过去了 ，许多人 等不到了 ，有些同学 能就干脆还是拍脑袋 ，就不等待这个数据了。这个过程其实就是说效率是非 常低的 ，并不是说