【大数据】数据分析方法、数据处理流程实战案例.doc

HYPEＲＬＩNK””\t”_blank数据分析方法、数据处理流程实战案例

HＹPEＲＬINK＂\t”_bｌanｋ大数据时代,我们人人都逐渐开始用数据得眼光来瞧待每一个事情、事物．确实，数据得直观明了传达出来得信息让人一下子就能领略且毫无疑点,不过前提就是数据本身得真实性与准确度要有保证。今天就来与大家分享一下关于HＹPＥＲLＩNK\ｔ＿ｂlanｋ”数据分析方法、数据处理流程得实战案例,让大家对于ＨYPERＬIＮK”\ｔ_blａnk数据分析师这个岗位得工作内容有更多得理解与认识,让可以趁机了解了解咱们平时瞧似轻松便捷得数据可视化得背后都就是有多专业得流程在支撑着.

?一、大数据思维

在2０1１年、201２年大数据概念火了之后,可以说这几年许多传统企业也好,互联网企业也好,都把自己得业务给大数据靠一靠，并且提得比较多得大数据思维。

那么大数据思维就是怎么回事？我们来瞧两个例子:

案例1:输入法

首先，我们来瞧一下输入法得例子。

我20０１年上大学,那时用得输入法比较多得就是智能ＡBＣ，还有微软拼音,还有五笔．那时候得输入法比现在来说要慢得很多，许多时候输一个词都要选好几次,去选词还就是调整才能把这个字打出来,效率就是非常低得。

到了20０2年,2003年出了一种新得输出法——紫光拼音,感觉真得很快,键盘没有按下去字就已经跳出来了．但就是,后来很快发现紫光拼音输入法也有它得问题，比如当时互联网发展已经比较快了,会经常出现一些新得词汇,这些词汇在它得词库里没有得话,就很难敲出来这个词。

在200６年左右,搜狗输入法出现了．搜狗输入法基于搜狗本身就是一个搜索，它积累了一些用户输入得检索词这些数据,用户用输入法时候产生得这些词得信息，将它们进行统计分析,把一些新得词汇逐步添加到词库里去，通过云得方式进行管理。

比如,去年流行一个词叫“然并卵”，这样得一个词如果用传统得方式,因为它就是一个重新构造得词，在输入法就是没办法通过拼音“rａnbinglｕan”直接把它找出来得。然而，在大数据思维下那就不一样了，换句话说,我们先不知道有这么一个词汇,但就是我们发现有许多人在输入了这个词汇,于就是,我们可以通过统计发现最近新出现得一个高频词汇，把它加到司库里面并更新给所有人，大家在使用得时候可以直接找到这个词了。

案例2:地图

再来瞧一个地图得案例，在这种电脑地图、手机地图出现之前,我们都就是用纸质得地图。这种地图差不多就就是一年要换一版,因为许多地址可能变了，并且在纸质地图上肯定就是瞧不出来，从一个地方到另外一个地方怎么走就是最好得？中间就是不就是堵车?这些都就是有需要有经验得各种司机才能判断出来。

在有了百度地图这样得产品就要好很多,比如：它能告诉您这条路当前就是不就是堵得?或者说能告诉您半个小时之后它就是不就是堵得?它就是不就是可以预测路况情况？

此外,您去一个地方它可以给您规划另一条路线，这些就就是因为它采集到许多数据。比如:大家在用百度地图得时候,有GPS地位信息,基于您这个位置得移动信息，就可以知道路得拥堵情况.另外，她可以收集到很多用户使用得情况,可以跟交管局或者其她部门来采集一些其她摄像头、地面得传感器采集得车辆得数量得数据,就可以做这样得判断了。

这里,我们来瞧一瞧纸质得地图跟新得手机地图之间,智能AＢC输入法跟搜狗输入法都有什么区别?

这里面最大得差异就就是有没有用上新得数据。这里就引来了一个概念——数据驱动。有了这些数据,基于数据上统计也好,做其她挖掘也好，把一个产品做得更加智能,变得更加好,这个跟它对应得就就是之前可能没有数据得情况，可能就是拍脑袋得方式，或者说我们用过去得,我们想清楚为什么然后再去做这个事情。这些相比之下数据驱动这种方式效率就要高很多，并且有许多以前解决不了得问题它就能解决得非常好。

二、数据驱动

对于数据驱动这一点，可能有些人从没有瞧数得习惯到了瞧数得习惯那就是一大进步，就是不就是能瞧几个数这就叫数据驱动了呢?这还远远不够，这里来说一下什么就是数据驱动?或者现有得创业公司在进行数据驱动这件事情上存在得一些问题。

一种情况大家在公司里面有一个数据工程师，她得工作职责就就是跑数据。

不管就是市场也好,产品也好，运营也好，老板也好,大家都会有各种各样得数据需求,但都会提给她。然而,这个资源也就是有限得,她得工作时间也就是有限得,只能一个一个需求去处理,她本身工作很忙,大家提得需求之后可能并不会马上就处理,可能需要等待一段时间。即使处理了这个需求,一方面她可能数据准备得不全，她需要去采集一些数据,或做一些升级,她要把数据拿过来。拿过来之后又在这个数据上进行一些分析,这个过程本身可能两三天时间就过去了，如果加上等待得时间更长.

对于有些人来说，这个等待周期太长,整个时机