大数据分析学习之路.pdfVIP

天行健，君子以自强不息。地势坤，君子以厚德载物。——《周易》

大数据分析学习之路

一、大数据分析的五个基本方面

1,可视化分析

大数据分析的使用者有大数据分析专家,同时还有普通用户,但

是他们二者对于大数据分析最基本的要求就是可视化分析,因为

可视化分析能够直观的呈现大数据特点,同时能够非常容易被读

者所接受,就如同看图说话一样简单明了.

2,数据挖掘算法

大数据分析的理论核心就是数据挖掘算法,各种数据挖掘的算法

基于不同的数据类型和格式才能更加科学的呈现出数据本身具

备的特点,也正是因为这些被全世界统计学家所公认的各种统计

方法可以称之为真理才能深入数据内部,挖掘出公认的价值.另

外一个方面也是因为有这些数据挖掘的算法才能更快速的处理

大数据,如果一个算法得花上好几年才能得出结论,那大数据的

价值也就无从说起了.

3,预测性分析能力

大数据分析最终要的应用领域之一就是预测性分析,从大数据中

挖掘出特点,通过科学的建立模型,之后便可以通过模型带入新

的数据,从而预测未来的数据.

4,语义引擎

天行健，君子以自强不息。地势坤，君子以厚德载物。——《周易》

大数据分析广泛应用于网络数据挖掘,可从用户的搜索关键词、

标签关键词、或其他输入语义,分析,判断用户需求,从而实现更

好的用户体验和广告匹配.

5,数据质量和数据管理

大数据分析离不开数据质量和数据管理,高质量的数据和有效的

数据管理,无论是在学术研究还是在商业应用领域,都能够保证

分析结果的真实和有价值.大数据分析的基础就是以上五个方

面,当然更加深入大数据分析的话,还有很多很多更加有特点的、

更加深入的、更加专业的大数据分析方法.

二、如何选择适合的数据分析工具

要明白分析什么数据,大数据要分析的数据类型主要有四大类：

1.交易数据TRANSACTIONDATA

大数据平台能够获取时间跨度更大、更海量的结构化交易数据,

这样就可以对更广泛的交易数据类型进行分析,不仅仅包括POS

或电子商务购物数据,还包括行为交易数据,例如Web服务器记

录的互联网点击流数据日志.

2.人为数据HUMAN-GENERATEDDATA

非结构数据广泛存在于电子邮件、文档、图片、音频、视频,以

及通过博客、维基,尤其是社交媒体产生的数据流.这些数据为使

用文本分析功能进行分析提供了丰富的数据源泉.

3.移动数据MOBILEDATA

天行健，君子以自强不息。地势坤，君子以厚德载物。——《周易》

能够上网的智能和平板越来越普遍.这些移动设备上的App都能

够追踪和沟通无数事件,从App内的交易数据如搜索产品的记录

事件到个人信息资料或状态报告事件如地点变更即报告一个新

的地理编码.

4.机器和传感器数据MACHINEANDSENSORDATA

这包括功能设备创建或生成的数据,例如智能电表、智能温度控

制器、工厂机器和连接互联网的家用电器.这些设备可以配置为

与互联网络中的其他节点通信,还可以自动向中央服务器传输数

据,这样就可以对数据进行分析.机器和传感器数据是来自新兴

的物联网IoT所产生的主要例子.来自物联网的数据可以用于构

建分析模型,连续监测预测性行为如当传感器值表示有问题时进

行识别,提供规定的指令如警示技术人员在真正出问题之前检查

设备.

三、如何区分三个大数据热门职业——数据科学家、数据工