大数据分析与挖掘.pptxVIP

绪论;当今社会，网络和信息技术已经融入进人类日常生活的方方面面，产生的数据量也呈现指数级增长的态势。现有数据的量级已经远远超越了目前人力所能处理的范畴。

如何管理和使用这些数据，逐渐成为数据科学领域中一个全新的研究课题，同时也对促进了我国经济更快更好进入高质量发展阶段有重要的意义。

本章主要介绍大数据分析与挖掘的基本概念、常见应用、基本任务、建模过程和建模工具。;;大约在2009年，“大数据”成为互联网信息技术行业的流行词汇。大数据（bigdata），指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理并整理的数据。

随着大数据的发展，其特征在原本的4V基础上扩充了第5V：真实性（veracity）。真实性表示数据的准确性和可信赖度高，即数据的质量高。

当前，数字经济成为社会经济的一个重要内涵，数据成为关键生产要素，大数据处理技术越来越深刻地影响着世界的运行状态。;随着越来越多的数据被记录、收集和存储，如何深刻洞察数据分布规律、高效挖掘数据价值，成为智能化时代需要解决的关键问题。

大数据分析是指对规模巨大、海量的数据进行分析，包含大数据和数据分析双重含义，大数据分析的本质是依托大数据进行数据分析，进而挖掘数据蕴含的价值和知识，将数据的深层价值体现出来并加以有效利用。

而数据挖掘可以理解为从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、潜在有用的信息和知识的过程。;维克托·迈尔·舍恩伯格（ViktorMayerSch?nberger）在《大数据时代》提出了大数据的4V特征：大量（Volume）、多样（Variety）、高速（Velocity）、价值（Value）。大数据的特征和其概述如下图所示。

;;大数据分析与挖掘已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素.人们对于大数据的挖掘和运用，预示着新一波生产力增长。

农业大数据应用

制造业大数据应用

服务业大数据应用;（1）农业大数据应用

随着农业技术的不断发展，农业数据越来越丰富，传统的经验决策已经无法满足现代农业的需求。因此，利用大数据挖掘技术对农业数据进行挖掘和分析，可以为农民提供更加科学、准确的决策支持。

通过分析土壤湿度、光照强度和植物生长速度等数据，预测农作物的产量和品质，并据此优化农业生产过程。

例如，在种植水稻的过程中，通过分析水稻的生长数据和环境数据，可以得出最佳的灌溉时间、施肥量和农药使用量等参数，从而提高水稻的产量和质量。;（2）制造业大数据应用

随着制造业市场竞争的日益激烈，制造企业需要不断提高产品质量和生产效率，以应对市场的挑战。而大数据分析技术可以帮助企业更好地掌握产品特性和生产过程，提高企业的竞争力。

利用大数据分析技术对产品故障数据进行挖掘和分析，预测产品故障发生的概率和时间，并据此优化维修和保养计划。

例如，在汽车制造领域，通过对汽车发动机的故障数据进行挖掘和分析，可以得出发动机的使用寿命、故障类型和维修方案等参数，从而为汽车制造商提供更加科学、准确的维修和保养计划。;（3）服务业大数据应用

随着市场竞争的日益激烈，服务业企业需要不断提高服务质量和客户体验，以吸引更多的客户。而大数据分析技术可以帮助企业更好地了解客户需求和市场趋势，提高企业的竞争力。

利用大数据分析技术对客户行为数据进行挖掘和分析，了解客户的需求和偏好，优化产品和服务设计。

例如，在电商平台上，通过对用户浏览、搜索和购买等行为数据进行挖掘和分析，可以得出用户的消费习惯和偏好，从而为用户提供更加精准的商品推荐和广告投放。

同时，还可以优化电商平台的页面设计和商品排序算法，提高用户购物体验和满意度。。;;大数据分析与挖掘的基本任务包括利用分类与回归、聚类、关联规则、时间序列、异常检测等方法，帮助企业提取数据中蕴含的商业价值，提高企业的竞争力。其中，具体的方法介绍如下。

分类与回归

聚类

关联规则

时间序列

异常检测;（1）分类与回归

分类是一种对离散型随机变量建模或预测的方法，反映的是如何找出同类事物之间具有共同性质的特征和不同事物之间的差异特征，用于将数据集中的每个对象归结到某个已知的对象类中。

回归是通过建立模型来研究变量之间相互关系的密切程度、结构状态及进行模型预测的一种有效工具。分类与回归广泛应用于医疗诊断、信用卡的信用分级、图像模式识别、风险评估等领域。;（2）聚类

聚类是在预先不知道类别标签的情况下，根据信息相似度原则进行信息集聚的一种方法。聚类的目的是使得属于同一类别的个体之间的差别尽可能地小，而不同类别上的个体之间的差别尽可能地大。

因此，聚类的意义在于将观察到的内容组织成类分层结构，将类似的事物组织在一起。通过聚类，人们能够识别密集的和稀疏的区域，从而发现全局的分布模式，以及数据属性之间