5.3数据分析课件-2020-2021学年高中信息技术粤教版(2019)必修一.pptxVIP

数 据 分 析粤教版高中信息技术必修一5全文共18页，当前为第1页。1特征探索2目录关联分析3聚类分析4数据分类5全文共18页，当前为第2页。数据分析 数据分析就是在一大批杂乱无章的数据中，运用数字化工具和技术，探索数据内在的结构和规律，构建数学模型，并进行可视化表达，通过验证将模型转化为知识，为诊断过去、预测未来发挥作用。数据分析的一般过程 数据分析一般包括特征探索、关联分析、聚类与分类、建立模型(数据呈现）和模型评价（分析报告）等。5全文共18页，当前为第3页。特征探索 数据特征探索的主要任务是对数据进行预处理，发现和处理缺失值、异常数据，绘制直方图，观察分析数据的分布特征，求最大值、最小值、极差等描述性统计量。 做特征分析需要用到的第三方库：连接mysql服务器的库，numpy库、pandas库、matplotlib库，使用之前需要进行安装import pymysqlimport numpy as npyimport pandas as pdaimport matplotlib.pylab as pylimport matplotlib.pyplot as plt5全文共18页，当前为第4页。Numpy的基本数据结构ndarray NumPy 最重要的一个特点是其 N 维数组对象 ndarray，它是一系列同类型数据的集合，别名array,以 0 下标为开始进行集合中元素的索引。ndarray 对象是用于存放同类型元素的多维数组。ndarray 中的每个元素在内存中都有相同存储大小的区域。包含丰富的函数用法示例5全文共18页，当前为第5页。关联分析 关联分析就是分析并发现存在于大量数据之间的关联性或相关性，从而描述一个事物中某些属性同时出现的规律和模式。关联分析的基本算法如下：（1）扫描历史数据，并对每项数据进行频率次数统计。（2）构建候选项集C1，并计算其支持度，即数据出现频率次数与总数的比。（3）对候选项集的支持度进行筛选，筛选的数据项支持度应当不小于最小支持度，从而形成频繁项集L1。（4）对频繁项集L2进行连接生成候选项集C2，重复上述步骤，最终形成频繁K项集或者最大频繁项集。5全文共18页，当前为第6页。认识lambda()函数 在进行编程时，一般我们会给一个函数或者变量起一个名字，该名称是用于引用或寻址函数变量。但是有一个低调的函数，你不需要赋予它名字，因此该函数也叫匿名函数。该函数就是Python中的Lambda函数，匿名函数可以在程序中任何需要的地方使用，但是这个函数只能使用一次，即一次性的。因此Python Lambda函数也称为丢弃函数，它可以与其他预定义函数（如filter(),map()等）一起使用。相对于我们定义的可重复使用的函数来说，这个函数更加简单快捷。例如：a = lambda x,y: x*y print(a(3,7)) 215全文共18页，当前为第7页。认识map ()函数 map函数的用法:map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每一个元素，并把结果作为新的Iterable返回。其语法格式为: map(function，iterable...) function---函数名 iterable---一个或多个序列(字符串、列表或元组）例如：map(lambda x: x ** 2, [1, 2, 3, 4, 5]) 返回结果：[1, 4, 9, 16, 25]5全文共18页，当前为第8页。Pandas的基本数据结构Series Series 是一个类数组的数据结构，同时带有标签（lable）或者说索引（index）。5全文共18页，当前为第9页。Pandas的基本数据结构DataFrame DataFrame 类型类似于数据库表结构的数据结构，其含有行索引和列索引，可以将DataFrame 想成是由相同索引的Series组成的Dict类型。在其底层是通过二维以及一维的数据块实现。5全文共18页，当前为第10页。聚类分析 聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。K-平均（K-Means）算法是一种经典的自下而上的聚类分析方法。K-平均算法的基本思想就是在空间N个点中，初始选择K个点作为中心聚类点，然后将N个点分别与K个点计算距离，选择自己最近的点作为自己的中心点，再不断更新中心聚集点，以达到“物以类聚，人以群分”的效果。5全文共18页，当前为第11页。聚类分析的基本算法聚类分析的基本算法如下：（1）从数据点集合中随机选择K个点作为初始的聚集中心，每个中心点代表着每个聚集中心的平均值。（2）对其余的每个数据点，依次判断其与K个中心点的距离，距离最近的表明它