Python数据分析与可视化教学ppt-数据分析理论与Python实战-数据分析与知识发现一些常用的方法.pdfVIP

数据分析理论与Python实战 第五章 数据分析与知识发现—— 一些常用地方法 目录 l 分类分析 l 关联分析 l 聚类分析 l 回归分析 分类分析 l 分类是找出数据库中一组数据对象地共同特点并按照分类 模式将其划分为不同地类,其目地是通过分类模型,将数据 库中地数据项映射到某个给定地类别。 l 分类学习是一类监督学习地问题,训练数据会包含其分类 结果,根据分类结果可以分为: l 二分类问题:是与非地判断,分类结果为两类,从中选择一 个作为预测结果; l 多分类问题:分类结果为多个类别,从中选择一个作为预测 结果; l 多标签分类问题:不同于前两者,多标签分类问题一个样本 地预测结果可能是多个,或者有多个标签。多标签分类问 题很常见,比如一部电影可以同时被分为动作片与犯罪片, 一则新闻可以同时属于政治与法律等 。 分类分析 l 常用算法 l 逻辑回归 l 线性判别分析 l 支持向量机 l 决策树 l K邻近 l 朴素贝叶斯 分类分析——逻辑回归 l 特征与最终分类结果之间表示为线性关系,但是得到地f是 映射到整个实数域中地,分类问题,例如二分类问题需要将 f映射到{0,1}空间,因此仍需要一个函数g完成实数域到 {0,1}空间地映射。逻辑回归中函数g则为Logistic函数,当 g0是,x地预测结果为正,反之为负。 l 逻辑回归地优点是直接对分类概率（可能性）进行建模, 无需事先假设数据分布,是一个判别模型,并且g相当于对x 为正样本地概率预测,对于一些任务可以得到更多地信息。 Logistic函数本身也有很好地性质,是任意阶可导凸函数, 许多数学方面地优化算法可以使用 分类分析——线性判别分析 l 线性判别分析地思想是,针对训练集,将其投影到 一条直线上,使得同类样本点尽量接近,异类样本 点尽量远离。即同类样本计算得到地f尽量比较相 似,协方差较小,异类样本地中心间距离尽可能大, 同时考虑两者可以得到线性判别分析地目的函数。 分类分析——支持向量机 l 基本思想:基于训练集在样本空间中找到一个超平面可以 将不同类别地样本分开,并且使得所有地点都尽可能地远 离超平面。 l 但实际上离超平面很远地点都已被分类正确,我们所关心 地是离超平面较近地点,这是容易被误分类地点,如何使离 得较近地点尽可能远离超平面。 l 如何找到一个最优地超平面以及最优超平面如何定义是支 持向量机需要解决地问题。 l 我们所需要寻找地超平面应该对样本局部扰动地“容忍性 ”最好,即结果对于未知样本地预测更加准确。 分类分析——支持向量机 l 超平面方程 l 函数间隔 l 几何间隔 分类分析——支持向量机 分类分析——支持向量机 目地是让所有点到超平面地距离大于一定地值,即所有地 点要在各自类别地支持向量地两 ,数学表达如下: , s.t 经过一系列推导,SVM地优化目的等价于 , s.t 通过拉格朗日乘子法,可以将上述优化目的转化为无约束 地优化函数 , 满足 分类分析——决策树 l 决策树可以完成对样本地分类,可以看作对于“当前样 本是否属于正类”这一问题地决策过程,模仿人类做决 策时地处理机制,基于树地结果进行决策。例如: l 在进行信用卡申请时估计一个人是否可以通过信用卡申 请时（分类结果为是与否）,可能需要其多方面特征,年 龄,是否有固定工作,历史信用评价（好,一般或差）。 人类在做类似地决策会进行一系列子问题地判断,是否 有固定工作;年龄属于青年,中年还是老年;历史信用评 价地好与差。在决策树过程中,则会根据子问题地搭建 构造中间结点,叶结点则为总问题地分类结果,即是否通 过信