华为大数据数据分析方法数据处理流程实战案例.pdfVIP

数据分析方法、数据处理流程实战案例

大数据时代，我们人人都逐渐开始用数据的眼光来看待每一个事情、事物。确实，数据

的直观明了传达出来的信息让人一下子就能领略且毫无疑点，不过前提是数据本身的真实

性和准确度要有保证。今天就来和大家享一下关于数据析方法、数据处理流程的实战

案例，让大家对于数据析师这个岗位的工作内容有更多的理解和认识，让可以趁机了解

了解咱们平时看似轻松便捷的数据可视化的背后都是有多专业的流程在支撑着。

一、大数据思维

在2011年、2012年大数据概念火了之后，可以说这几年许多传统企业也好，互联网

企业也好，都把自己的业务给大数据靠一靠，并且提的比较多的大数据思维。

那么大数据思维是怎么回事？我们来看两个例子：

案例1：输入法

首先，我们来看一下输入法的例子。

我2001年上大学，那时用的输入法比较多的是智能ABC，还有微软拼音，还有五笔。

那时候的输入法比现在来说要慢的很多，许多时候输一个词都要选好几次，去选词还是调

整才能把这个字打出来，效率是非常低的。

到了2002年，2003年出了一种新的输出法——紫光拼音，感觉真的很快，键盘没有

按下去字就已经跳出来了。是，后来很快发现紫光拼音输入法也有它的问题，比如当时

互联网发展已经比较快了，会经常出现一些新的词汇，这些词汇在它的词库里没有的话，

就很难敲出来这个词。

在2006年左右，搜狗输入法出现了。搜狗输入法基于搜狗本身是一个搜索，它积累

了一些用户输入的检索词这些数据，用户用输入法时候产生的这些词的信息，将它们进行

统计析，把一些新的词汇逐步添加到词库里去，通过云的方式进行管理。

比如，去年流行一个词叫“然并卵”，这样的一个词如果用传统的方式，因为它是一

个重新构造的词，在输入法是没办法通过拼音“ranbingluan”直接把它找出来的。然而，

在大数据思维下那就不一样了，换句话说，我们先不知道有这么一个词汇，是我们发现

有许多人在输入了这个词汇，于是，我们可以通过统计发现最近新出现的一个高频词汇，

把它加到司库里面并更新给所有人，大家在使用的时候可以直接找到这个词了。

案例2：地图

再来看一个地图的案例，在这种电脑地图、手机地图出现之前，我们都是用纸质的地

图。这种地图差不多就是一年要换一版，因为许多地址可能变了，并且在纸质地图上肯定

是看不出来，从一个地方到另外一个地方怎么走是最好的？中间是不是堵车？这些都是有

需要有经验的各种司机才能判断出来。

在有了百度地图这样的产品就要好很多，比如：它能诉你这条路当前是不是堵的？

或者说能诉你半个小时之后它是不是堵的？它是不是可以预测路况情况？

此外，你去一个地方它可以给你规划另一条路线，这些就是因为它采集到许多数据。

比如：大家在用百度地图的时候，有GPS地位信息，基于你这个位置的移动信息，就可以

知道路的拥堵情况。另外，他可以收集到很多用户使用的情况，可以跟交管局或者其他部

门来采集一些其他摄像头、地面的传感器采集的车辆的数量的数据，就可以做这样的判断

了。

这里，我们来看一看纸质的地图跟新的手机地图之间，智能ABC输入法跟搜狗输入法

都有什么区别？

这里面最大的差异就是有没有用上新的数据。这里就引来了一个概念——数据驱动。

有了这些数据，基于数据上统计也好，做其他挖掘也好，把一个产品做的更加智能，变得

更加好，这个跟它对应的就是之前可能没有数据的情况，可能是拍脑袋的方式，或者说我

们用过去的，我们想清楚为什么然后再去做这个事情。这些相比之下数据驱动这种方式效

率就要高很多，并且有许多以前解决不了的问题它就能解决的非常好。

二、数据驱动

对于数据驱动这一点，可能有些人从没有看数的习惯到了看数的习惯那是一大进步，

是不是能看几个数这就叫数据驱动了呢？这还远远不够，这里来说一下什么是数据驱动？

或者现有的创业公司在进行数据驱动这件事情上存在的一些问题。

一种情况大家在公司里面有一个数据工程师，他的工作职责就是跑数据。

不管是市场也好，产品也好，运营也好，老板也