大学课程《机器学习与经济学实证应用》PPT课件：第3讲_经典分类算法.pptxVIP

1第3讲经典分类算法

分类问题2现实中存在大量关于“是与否”定性问题文本情绪分类（看涨、看空、中性）O2O优惠券使用预测广告点击行为预测银行贷款（是否批准贷款申请）邮件过滤（是否为垃圾邮件）人脸识别（是否为人脸、是否为某人的人脸）自动驾驶（是否应刹车）

分类问题3一个典型的分类模型构建流程如下图所示：

主要内容4Logit算法K近邻算法朴素贝叶斯算法决策树算法支持向量机算法分类算法评估

主要内容5Logit算法K近邻算法朴素贝叶斯算法决策树算法支持向量机算法分类算法评估

Logit算法6线性概率模型以过滤垃圾邮件为例，假设响应变量只有两种可能取值，即y=1（垃圾邮件）或y=0（正常邮件）。这种0-1变量称为虚拟变量（dummyvariable）或“哑变量”。记特征向量为，比如不同词汇出现的频率。最简单的建模方法为“线性概率模型”（LinearProbabilityModel）：线性概率模型的优点在于计算方便（就是OLS估计），且容易得到边际效应（即回归系数）。但线性概率模型一般并不适合作预测。明知y的取值非0即1，但根据线性概率模型所作的预测值却可能出现或的不现实情形。????

Logit算法7Logit回归???Logistic函数

Logit算法8Logit回归的预测得到Logit模型的估计系数后，即可预测y=1的条件概率：如果预测概率，则可预测。反之，如果如果，则可预测如果，则可预测或1对于二分类问题，在特征空间（featurespace）中，所有满足的样本点之集合称为决策边界（decisionboundary）。当然，这个门槛是可以人为设置的。????????

Logit算法9正则化的Logit回归?

主要内容10Logit算法K近邻法算法朴素贝叶斯算法决策树算法支持向量机算法分类算法评估

K近邻算法11如何识别植物和花卉的品种想象一下，假如你是一个植物学家，去某植物园看花展，看到某种好看的花，你是如何将其归到哪个品种的

K近邻算法12近邻分类算法的概念近邻算法（NearestNeighbors）是一种典型的非参模型，在近邻算法中，通过以实例的形式存储所有的训练样本，假设有m个训练样本：对于一个需要预测的样本X，通过与存储好的训练样本比较，以特征“距离”最近（最为相似）的样本的标签作为近邻算法的预测结果。在近邻分类算法中，对于预测的数据，将其与训练样本进行比较，找到最为相似的K个训练样本并以这K个训练样本中出现最多的标签作为最终的预测标签。

K近邻法算法13近邻分类算法图解?

K近邻算法14近邻分类算法的流程确定K的大小和计算相似度（距离）的方法从训练样本中找到K个与测试样本“最近”的样本根据这K个训练样本的类别，通过多数投票的方式来确定测试样本的类别

K近邻算法15电影分类案例响应（y)：电影类型特征(x)：打斗镜头数、接吻镜头数

K近邻算法16距离最小的电影属性已知电影与未知电影的距离

K近邻算法17KNN算法示例：手写数字识别以手写数字识别为例，对于测试集，就是看它长的像训练集的那个

K近邻算法18图像数据表征像素转换成一个矩阵，进而转换成向量，然后计算要预测样本与训练集那个“距离”最近更专业的图像处理，超出了本课程授课范围

K近邻算法19距离的定义?

K近邻算法20数据标准化处理为避免某些变量对于距离函数的影响太大，一般建议先将所有变量标准化（standardization）处理。标准化处理有多种方法：方法1：方法2：??

K近邻算法21K值的选择：小了不行，大了也不行?

K近邻算法22KNN算法代码实例

K近邻算法23K近邻算法的调参K太大太小都不是最优的，在实际应用中，K值一般选择一个较小的数值，3-5个。具体应用中k值的选择可以通过调参来选择。实践中，可以进行网格搜索

K近邻算法24KNN的优缺点KNN的优点之一是算法简单易懂。作为非参数估计，KNN不依赖于具体的函数形式，故较为稳健。但KNN所估计的回归函数或决策边界一般较不规则。这是因为，当x在特征空间变动时，其K个邻居之集合可能发生不连续的变化，即加入新邻居而去掉旧邻居。因此，如果真实的回归函数或决策边界也较不规则，则KNN效果较好。KNN是一种“懒惰学习”（lazylearning）。KNN算法平时不学习，属于“死记硬背型”（memory-based