第1章-大数据技术概述.pptxVIP

第1章 大数据概述;;大数据相关概念;②大数据的构成;;①大数据的处理流程;1、数据采集 大数据的采集一般采用ETL（ Extract-Transform-Load ）工具负责将分布的、异构数据源中的数据如关系数据、平面数据以及其他非结构化数据等抽取到临时文件或数据库中。 2、数据清洗和预处理 采集好数据，肯定不少是重复或是无用的数据，此时需要对数据进行简单的清洗和预处理，使得不同来源的数据整合成一致的，适合数据分析算法和工具读取的数据，如数据去重、异常处理和数据归一化等，然后将这些数据存到大型分布式数据库或者分布式存储集群中。;3、数据统计分析和挖掘 统计分析需要用到工具来处理，比如SPSS工具、一些结构算法模型，进行分类汇总以满足各种数据分析需求。 与统计分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，起到预测效果，实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。 4、结果可视化 大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。;②大数据处理的基础技术;