Python程序设计（含视频分析） 课件 第15章 大数据分析.pptx

Python程序设计第15章 Python大数据分析主讲教师：单位：

第15章Python大数据分析15.1大数据分析简介15.2数据清洗与规约的方法15.3大数据处理的应用实例

15.1大数据分析简介第15章Python大数据分析

15.1大数据分析简介1.大数据的概念数据量极其庞大、传统数据处理工具难以管理和处理的数据集合（1）三个重要特点（3V）：数据量大（Volume）数据种类多样（Variety）数据传输速度快（Velocity）

15.1大数据分析简介1.大数据的概念数据量极其庞大、传统数据处理工具难以管理和处理的数据集合（2）分类：结构数据（数据库中的表格数据）非结构数据（图像、音频、视频）（3）相关技术和工具：数据挖掘、机器学习、人工智能、云计算

15.1大数据分析简介2.大数据技术的特征可扩展性：大数据技术需支持大规模数据处理和分析，随数据量增加能自动扩展。高性能：大数据技术需快速处理大量数据，包括高速数据输入输出、并行计算和实时处理。分布式处理：大数据技术需支持分布式处理，数据可分布在多个节点上并行处理，提高效率和可靠性。

15.1大数据分析简介2.大数据技术的特征多样性：大数据技术需支持处理结构化、半结构化和非结构化等多种类型的数据。开放性：大数据技术需具备开放性，能与其他系统和工具集成，满足不同应用需求。安全性：大数据技术需具备高度安全性，包括数据加密、身份认证和访问控制等，确保数据安全和隐私保护。

15.1大数据分析简介3.大数据处理的一般流程数据采集和预处理数据存储和管理数据探索和可视化数据挖掘和建模数据分析和应用

15.1大数据分析简介4.大数据分析流程与数据分析流程的区别1.数据存储和管理：大数据的数据量庞大，通常需要使用专门的数据存储和管理系统，比如Hadoop、HBase、NoSQL数据库等。2.数据预处理：大数据的预处理需要使用分布式计算系统（比如Hadoop、Spark）进行处理，以确保处理效率和准确性。3.模型构建和分析：大数据分析中，需要使用分布式计算系统和机器学习等技术来构建模型并进行分析。

15.2数据清洗与规约的方法1.数据清洗技术（1）缺失值处理：缺失值是指数据中某些字段的值缺失或为空。1）删除缺失值的方法：判断——统计——删除2）填充缺失值的方法：均值/中位数/众数3）插值缺失值的方法：最近邻插值/插值法/模型预测法

15.2数据清洗与规约的方法1.数据清洗技术（2）重复值处理：重复值是指数据中存在完全相同或几乎相同的记录。1）删除重复值2）合并重复值：通过数据聚合

15.2数据清洗与规约的方法1.数据清洗技术（3）异常值处理：异常值是指数据中与其他数据不一致或不符合逻辑的值。1）箱线图法箱线图法的具体过程如下：①计算数据的上四分位数（Q3）和下四分位数（Q1），并计算出四分位距（IQR）=Q3-Q1。②计算上限（UL）=Q3+1.5×IQR和下限（LL）=Q1-1.5×IQR。③将超出上限或下限的数据点视为异常值。

15.2数据清洗与规约的方法1.数据清洗技术（3）异常值处理：异常值是指数据中与其他数据不一致或不符合逻辑的值。2）离群点分数法离群点分数法的具体过程如下：①对于每个数据点，计算它与其最近邻数据点之间的欧几里德距离。②对于每个数据点，计算其离群点分数，即该数据点与其周围数据点之间距离的平均值。距离越远，离群点分数就越高。③根据离群点分数，将具有高离群点分数的数据点视为异常值。

15.2数据清洗与规约的方法1.数据清洗技术（3）异常值处理：异常值是指数据中与其他数据不一致或不符合逻辑的值。3）删除异常值删除异常值的具体过程如下：①找出异常值：使用统计方法（例如3倍标准差法）或可视化方法（例如箱线图）来找出异常值。②识别包含异常值的记录：找出包含异常值的记录。③删除异常值：将包含异常值的记录从数据集中删除。

15.2数据清洗与规约的方法1.数据清洗技术（3）异常值处理：异常值是指数据中与其他数据不一致或不符合逻辑的值。4）修正异常值修正异常值的具体过程如下：①找出异常值：使用统计方法或可视化方法找出异常值。②确定正确的值：根据数据集中其他值的分布或专业知识，确定正确的值。③将异常值替换为正确的值：将异常值替换为正确的值。

15.2数据清洗与规约的方法1.数据清洗技术（3）异常值处理：异常值是指数据中与其他数据不一致或不符合逻辑的值。5）替换异常值替换异常值的具体过程如下：①找出异常值：使用统计方法或可视化方法找出异常值。②确定替换的值：根据数据集中其他值的分布或专业知识，确定替换的值。③将异常值替