第9章-降维课件.pptx

第09章降维k-近邻学习主成分分析低维嵌入SVD分解

9.1引言降维（DimensionalityReduction，DR）是指采用线性或者非线性的映射方法将高维空间的样本映射到低维空间中。降维获得低维空间下的数据等价表示，实现高维数据的可视化呈现。等价的低维数据更方便存储、处理、计算和使用。降维能够去除数据噪声、降低算法开销。降维还可应用于文本分类和数据压缩等领域。降维可以得到原始数据的简化表示以加速后续处理或者改进输出结果，因此它已经成为很多算法数据进行预处理的重要手段。9.1.1降维的概念

9.1引言

9.1引言降维方法可分为线性降维和非线性降维两大类。线性降维假设构成数据集的各变量间独立无关。主成分分析（PrincipalComponentAnalysis，PCA）独立成分分析（IndependentComponentAnalysis，ICA）线性判别分析（LinearDiscriminantAnalysis，LDA）非线性降维方法，也称之为流形学习方法（ManifoldLearning），其目标是从高维采样数据中恢复低维流形结构，不改变数据本身的拓扑特性。基于保持全局结构信息，如等距离映射算法ISOMAP关注局部结构信息，如LLE、LE、HLLE9.1.2常见算法分类

9.2k-近邻学习k-近邻(k-NearestNeighbor，kNN)： 给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，即k个邻居。如果这k个实例的多数属于某个类，就把该输入实例分类到这个类中。9.2.1算法实现kNN算法计算流程如下:计算每个样本点与测试点的距离；排序后取距离值最小的k个样本点作为k-近邻；获取k-近邻的分类标签并计算各分类出现的次数；找出出现次数最多的分类，返回该值作为测试点的分类结果。

9.2k-近邻学习实例代码

9.2k-近邻学习运行效果：左下角两个点属于B类用蓝色点标识，右上角两个点属于A类用红色标识。取k值为3时通过kNN算法计算，距离测试点（0.2,0.1）最近的三个点中的两个点都是蓝色，因此测试点也是蓝色，属于B类。这样的实现方式适合样本数量和特征数量比较少的情况。假设样本数量为N、特征数量为M，该算法时间复杂度是。面对大样本和特征数较多的情况，使用KD树、球树训练数据。以KD树为例，搜索时间复杂度为，适合于样本数量远大于特征数量的kNN搜索。

9.2k-近邻学习sklearn.neighbors模块集成了k-近邻相关的类，KNeighborsClassifier用做kNN分类树，KNeighborsRegressor用做kNN回归树。KNeighborsClassifier类的实现原型如下：9.2.2算法实例classsklearn.neighbors.KNeighborsClassifier(n_neighbors=5,weights=’uniform’,algorithm=’auto’,leaf_size=30,p=2,metric=’minkowski’,metric_params=None,n_jobs=1,**kwargs)：主要参数如下：n_neighbors：整型，默认参数值为5。邻居数k值。weights：字符串或回调函数，默认参数值为’uniform’。预测时的权重有：

9.2k-近邻学习‘uniform’：所有近邻样本权重都一样；‘distance’：权重和距离成反比；[callable]，即回调函数：该函数的输入是距离数组，输出是同样大小的权重数组。algorithm：计算近邻的算法，包括如下四种：’auto’，根据传递给fit方法的参数值，尝试选择最优算法；’ball_tree’，球树实现（BallTree）；’kd-tree’，KD树实现（KDTree）；‘brute’，暴力实现。leafsize：整型，默认参数值为30。定义构建KD树或球树时叶子结点数量的阈值。这个值会影响构建和查询的速度，以及树的存储空间。metric：字符串或回调函数，默认参数值为’minkowski’。给定树的距离度量方法。p：整型，默认参数值为2。定义闵可夫斯基距离中的p值。

9.2k-近邻学习实例代码

9.2k-近邻学习在这个例子中，使用鸢尾花iris数据集作为训练数据集，提取该数据集的前两个特征值以简化样本。首先创建近邻分类的实例并对数据进行拟合，同时绘制了分类的边界，将不同分类点以不同的颜色显示出