《金融大数据分析》-课件 第5章 其他基础监督学习方法.pptx

第5章其他基础监督学习方法

学习目标理解样条模型的函数形式、使用场景及其实现方法了解广义可加模型的函数形式熟悉支持向量机的函数形式、使用范围及其实现方法了解核技巧的使用方法掌握K近邻分类器的实现方法、使用范围及其实现方法

回归样条模型?

回归样条模型?

回归样条模型

回归样条模型回归样条模型可能遇到的问题有大量参数需要估计函数在节点处可能出现不连续样条回归模型的限制条件函数的0到d-1阶导数在节点处连续线性函数：函数本身在??点连续二次函数：整个函数在??点连续并且一阶可导自然样条：??小于最小的节点或是大于最大节点时??与??的函数呈线性关系

回归样条模型节点的选择节点数量及位置在模型训练前决定均匀的在特征的取值范围进行设置例如：特征的25%，中位数，以及75%处各设置一个节点使用模型验证方法选择最佳节点位置

平滑样条模型?

广义可加模型（GAM）?

支持向量机（SVM）支持向量机简介一种广泛应用的监督学习算法主要用于处理分类问题，也可用于回归问题（支持向量回归，SVR）基本思想不计算误差较小的数据点，尽量减少误差较大的数据点中的误差设定一个边界，误差小于边界的忽略，误差大于边界的计算入总误差与回归的关系支持向量机：使用另一种损失函数的逻辑回归支持向量回归：使用另一种损失函数的线性回归

支持向量机的代价函数?

支持向量机的代价函数

支持向量机的核技巧核技巧介绍核技巧帮助我们在高维空间中找到分类边界不必显式增加特征的数量，降低计算复杂度可以在其他多种机器学习中应用例：一维空间无法找到线性决策边界，映射到二维空间则可以核技巧帮助我们完成将低维的数据像高维空间进行投射，并在高维空间中找到分类边界

支持向量机的核技巧一维空间无法找到线性决策边界

支持向量机的核技巧二维空间可以找到分类边界

支持向量机的核技巧?

支持向量机的核技巧?

K近邻分类器（KNN）K近邻分类器简介简单的非参数方法不需要一个固定的模型函数找到与数据最近的k个数据，用这些数据的目标变量y的平均值作为预测核心思想：如果两个数据点有相似的特征??那么他们的目标变量??也会类似

K近邻分类器（KNN）?

程序实现：平滑样条模型导入库导入np，用于生成数据导入scipy.stats用于生成随机数导入scipy.interpolate用于平滑样条拟合导入matplotlib.pyplot用于结果的可视化

程序实现：平滑样条模型?数据拟合通过调整平滑参数s参数来达到调整拟合函数的平滑度

程序实现：平滑样条模型展示拟合结果

程序实现：平滑样条模型

程序实现：支持向量机与K近邻分类器导入库使用pandas存储数据导入sklearn.svm中的支持向量机的分类模块（SVC）导入sklearn.neighbors中导入KNN分类器模块导入sklearn库中的标准化处理模块，用于对数据进行标准化处理导入sklearn中的metrics模块，用于对模型表现进行评估

程序实现：支持向量机与K近邻分类器存储特征和目标变量使用每列数据的中位数填充缺失值数据读取及处理读取数据；定义一个特征列表，包含四个特征名：

程序实现：支持向量机与K近邻分类器数据标准化创建一个StandardScaler对象，用于对数据进行标准化处理使用scaler的fit方法计算数据集train_x的平均值和标准偏差使用transform方法对train_x中的特征数据进行标准化处理将标准化处理后的数据train_x_standardized转化为DataFrame格式并将结果存储在train_x_standardized中

程序实现：支持向量机与K近邻分类器训练SVM分类器使用sklearn.svm中的SVC模块，创建一个支持向量机分类器对象clf_svm（此处使用线性核）训练模型评估模型表现：准确度定义为正确预测的样本数量除以所有样本量

程序实现：支持向量机与K近邻分类器训练KNN分类器建立一个knn分类器对象knn_clf，考虑5个近邻（n_neighbors=5）模型训练评估模型表现：直接输出模型的分类预测，并计算模型预测准确度

习题程序操作在平滑样条模型中，改变平滑参数??。将??设置为1,5,10,20，并输出拟合结果。在支持向量机程序中，我们使用了线性核。请使用rbf核重新训练模型，并试着将gamma参数设为1，5，10，20。并输出预测表现。在K近邻分类器程序中，将近邻数量调整为3，6，10。输出模型预测表现。K近邻分类器默认使用的是欧几里得距离。请在KNN分类器中