R语言大数据分析与挖掘 课件 第一章 大数据分析与挖掘概论.pptx

第1章大数据分析与挖掘概论

知识要点●了解大数据分析与挖掘的概念●了解大数据挖掘与大数据分析的区别●了解大数据分析与挖掘的应用

目录?CONTENT大数据分析与挖掘大数据分析与挖掘流程大数据分析与挖掘应用123

大数据分析与挖掘大数据起源与发展约翰·马西美国SGI的首席科学家“大数据”这一概念最早公开出现于1998年，约翰·马西指出：随着数据量的快速增长，必将出现数据难理解、难获取、难处理和难组织等4个难题，并用“BigData（大数据）”来描述这一挑战，在计算领域引发思考。吉姆·格雷数据库领域的先驱人物2007年，吉姆·格雷指出大数据将成为人类触摸、理解和逼近现实复杂系统的有效途径，并认为在实验观测、理论推导和计算仿真等三种科学研究范式后，将迎来第四范式—“数据探索”，开启了从科研视角审视大数据的热潮。发展形成基本共识大数据于2012年、2013年达到宣传高潮，2014年后概念体系逐渐成形，对其认知亦趋于理性。经过多年的发展和沉淀，人们对大数据已经形成基本共识：大数据现象源于互联网及其延伸所带来的无处不在的信息技术应用及信息技术的不断低成本化。

大数据分析与挖掘大数据定义大数据定义大数据（BigData）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据5V特点大数据的5V特点为大量（Volume）、高速（Velocity）、多元（Variety）、价值（Value）、真实（Veracity）。●大量（Volume）：数据量大。数据量的大小决定所考虑数据的价值和潜在的信息。●高速（Velocity）：获得数据的速度快。●多元（Variety）：数据类型多样。●价值（Value）：合理运用大数据，以低成本创造高价值。●真实（Veracity）：数据准确可依赖。

大数据分析与挖掘大数据分析与挖掘的概念大数据分析数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实际应用中，数据分析可帮助人们做出判断，以便采取适当行动。大数据挖掘大数据挖掘又称为资料探勘、数据采矿。它是数据库知识发现中的一个步骤。大数据挖掘一般指从大量的数据中通过算法搜索隐藏于其中的信息的过程。大数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现搜索隐藏于数据中的信息。

大数据分析与挖掘大数据分析与挖掘的联系与区别在协作上的联系（1）需要对大数据分析得到的信息进一步挖掘，将其转化为有效的预测和决策，这时就需要大数据挖掘。（2）大数据挖掘进行价值评估的过程也需要调整先验约束而再次进行大数据分析。在算法、数据和运行环境三个方面的区别（1）算法：大数据分析对算法的要求随着数据量的增加而降低，大数据挖掘则对算法要求更高，复杂度更大。（2）数据：大数据分析的对象多为动态增量数据和存量数据，大数据挖掘则大多使用存量数据。（3）运行环境：大数据分析对运行环境要求较高，多为云计算和云存储环境，而大数据挖掘则没有特定的要求，单机环境也是允许的。

大数据分析与挖掘流程大数据分析与挖掘流程从大数据的特征和产生领域来看，大数据的来源相当广泛，由此产生的数据类型和应用处理方法千差万别。但是总的来说，大数据分析流程可划分为数据获取、数据预处理、数据分析和数据解释4个步骤。数据获取数据预处理数据分析数据解释

大数据分析与挖掘流程数据获取数据获取通过各种方法获取数据信息便显得格外重要。数据获取是大数据分析流程中最基础的一步，目前常用的数据获取手段有传感器、射频识别、数据检索分类工具（如百度和谷歌等搜索引擎）、行业论坛或平台等商业网站及条形码技术等。数据的类别主要分为线下数据和线上数据，线下数据主要依托硬件，如红外传感器、高清摄像头等设备来获取，线上数据主要依托互联网获取，如互联网舆情信息、商务平台商品信息等。数据获取无时无刻不在进行中。

大数据分析与挖掘流程数据预处理数据预处理概念数据预处理是非常重要的环节，对数据使用的一致性、准确性、完整性、时效性、可信性、可解释性提供了基本保障。现实中的数据避免不了“脏”数据，“脏”数据主要是指具备以下特征的数据：（1）不完整：缺少属性值或仅包含处理后结果（没有源数据）的数据。（2）包含噪声：存在错误或偏离期望值的数据。（3）不一致：前后存在矛盾、差异的数据。

数据预处理（续）由于存在大量的“脏”数据，因此在一个完整的大数据挖掘过程中，数据预处理是必不可少的环节，大约要花费60%～70%的时间。数据预处理有