Python数据分析与可视化教学ppt-数据分析理论与Python实战-数据分析与知识发现一些常用的方法.pdfVIP

数据分析理论与Python实战 第五章 数据分析与知识发现—— 一些常用的方法 目录 l 分类分析 l 关联分析 l 聚类分析 l 回归分析 分类分析 l 分类是找出数据库中一组数据对象的共同特点并按照分类 模式将其划分为不同的类，其目的是通过分类模型，将数 据库中的数据项映射到某个给定的类别。 l 分类学习是一类监督学习的问题，训练数据会包含其分类 结果，根据分类结果可以分为： l 二分类问题：是与非的判断，分类结果为两类，从中选择一个作为预测结 果； l 多分类问题：分类结果为多个类别，从中选择一个作为预测结果； l 多标签分类问题：不同于前两者，多标签分类问题一个样本的预测结果可 能是多个，或者有多个标签。多标签分类问题很常见，比如一部电影可以 同时被分为动作片和犯罪片，一则新闻可以同时属于政治和法律等 。 分类分析 l 常用算法 l 逻辑回归 l 线性判别分析 l 支持向量机 l 决策树 l K邻近 l 朴素贝叶斯 分类分析——逻辑回归 l 特征和最终分类结果之间表示为线性关系，但是得到的f是 映射到整个实数域中的，分类问题，例如二分类问题需要 将f映射到{0,1}空间，因此仍需要一个函数g完成实数域到 {0,1}空间的映射。逻辑回归中函数g则为Logistic函数，当 g0是，x 的预测结果为正，反之为负。 l 逻辑回归的优点是直接对分类概率（可能性）进行建模， 无需事先假设数据分布，是一个判别模型，并且g相当于 对x为正样本的概率预测，对于一些任务可以得到更多的 信息。Logistic函数本身也有很好的性质，是任意阶可导 凸函数，许多数学方面的优化算法可以使用 分类分析——线性判别分析 l 线性判别分析的思想是，针对训练集，将其投影 到一条直线上，使得同类样本点尽量接近，异类 样本点尽量远离。即同类样本计算得到的f尽量比 较相似，协方差较小，异类样本的中心间距离尽 可能大，同时考虑两者可以得到线性判别分析的 目标函数。 分类分析——支持向量机 l 基本思想：基于训练集在样本空间中找到一个超平面可以 将不同类别的样本分开，并且使得所有的点都尽可能的远 离超平面。 l 但实际上离超平面很远的点都已被分类正确，我们所关心 的是离超平面较近的点，这是容易被误分类的点，如何使 离得较近的点尽可能远离超平面。 l 如何找到一个最优的超平面以及最优超平面如何定义是支 持向量机需要解决的问题。 l 我们所需要寻找的超平面应该对样本局部扰动的“容忍性” 最好，即结果对于未知样本的预测更加准确。 分类分析——支持向量机 ᵆ ∙ ᵆ + ᵄ = 0 分类分析——支持向量机 分类分析——支持向量机 目的是让所有点到超平面的距离大于一定的值，即所有的 点要在各自类别的支持向量的两边，数学表达如下： 经过一系列推导，SVM的优化目标等价于 通过拉格朗日乘子法，可以将上述优化目标转化为无约束 的优化函数 分类分析——决策树 l 决策树可以完成对样本的分类，可以看作对于“当前样 本是否属于正类”这一问题的决策过程，模仿人类做决 策时的处理机制，基于树的结果进行决策。例如： l 在进行信用卡申请时估计一个人是否可以通过信用卡申请时 （分类结果为是与否），可能需要其多方面特征，年龄、是 否有固定工作、历史信用评价（好、一般或差）。人类在做 类似的决策会进行一系列子问题的判断，是否有固定工作； 年龄属于青年、中年还是老年；历史信用评价的好与差。在 决策树过程中，则会根据子问题的搭建构造中间结点，叶结 点则为总问题的分类结果，即是否通过信用卡申请 分类分析——决策树 l 示例：