分类学习笔记.pptxVIP

主成分分析 Fisher线性分类器 支持向量机 基于支持向量机的目标跟踪; PCA(principal component analysis) 主成分分析;一、关于PCA的基本问题;3、数据降维的目的？ a、数据压缩，减少存储量 b、提取特征以便进行分类 c、去除噪声的影响;5、PCA的优点和缺点？;二、主成分分析数学模型;投影表示：;评价投影后分散程度的指标：方差 方差表示：;至此，要求投影后样本分散的最开的评价转化为表达式：;三、主成分求解;四、求解主成分的步骤;应用举例：PCA在图像压缩的应用;Fisher线性分类器;一、关于Fisher的基本问题;2、fisher基本思想？ ;3、我们要做什么？ 找到直线的方向，使样本投影到该直线上能最容易分开。 如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher要解决的基本问题。这个投影变换就是我们寻求的解向量 。 ;二、fisher算法的数学表达式;为了便于分类，;;三、求解步骤;效果演示;支持向量机;支持向量机;;SVM基本原理;;;;;我们令黑点 = -1， 白点 = +1，直线g(x) = w· x + b，这里的w、x是向量。 这种形式也等价于g(x) = w1x1 + w2x2 … + wnxn + b 当向量x的维度n=2的时候，g(x) 表示二维空间中的一条直线； 当x的维度n=3的时候，g(x) 表示3维空间中的一个平面； 当x的维度n 3的时候，g(x)表示n维空间中的n-1维超平面。 当有一个新的点x需要预测属于哪个分类的时候， 我们用sgn(g(x))，就可以预测了 这里sgn表示符号函数 当g(x) 0时，sgn(g(x)) = +1 当g(x) 0时，sgn(g(x)) = –1;最优分类超平面; 优化问题： s.t.意为subject to，即在后面这个限制条件下的意思，这个词在svm的论文里面出现的频率很高。 这其实是一个带约束的二次规划(quadratic programming, QP)问题，是一个凸问题。 凸问题指的不会有局部最优解，可以想象一个漏斗，不管我们开始的时候将一个小球放在漏斗的什么位置，这个小球最终一定可以掉出漏斗，也就是得到全局最优解。s.t.后面的限制条件可以看做是一个凸多面体，我们要做的就是在这个凸多面体中找到最优解。 ;原问题最优解： 决策函数： ;SVM基本原理———线性不可分型;举一个简单的例子 二维平面中分类曲线为椭圆（线性不可分）;两维向三维的映射： 三维空间中线性可分 分类面： 根据支持向量机求得决策函数为：; 的内积计算： 令 ，称为核函数 高维空间中内积计算可以通过计算低维空间的内积得 到，核函数就是连接低维与高维之间的桥梁。;高维空间中支持向量机得出的决策函数可改写成： 因此得出一般的情形： 对于线性不可分的样本，作一个低维到高维的映射，使之在高维的空间中线性可分，在高维空间中采用最大间隔标准得出决策函数，由于巧妙的选取核函数，决策函数中在计算内积时只需换成核函数即可。 优点：由于核函数的特性，只需计算低维空间内积，而无需计算高维空间的内积，因此计算量与样本维数无关，只与样本数有关。;常用核函数： 多项式核： 径向基核： Sigmoid核： ;投到高维空间仍不可分怎么办？;有坚实的理论基础; 基于结构风险最小化，克服了传统方法的过学习的问题，具有很强的泛化能力； 采用核函数方法，向高维空间映射时不增加计算的复杂性，又克服了维数灾难。;样本数目增多时，训练速度变慢； SVM解决的是两分类问题，因此需要多分类问题的改进； 核函数的选择：没有统一的指导标准。;支持向量机的应用;基于支持向量机的目标跟踪;基于支持向量机的目标跟踪; ( 2 ) 特征匹配 特征提取的目的是进行帧间目标特征的匹配，并以最优匹配来跟踪目标。常见的基于特征匹配的跟踪算法有基于二值化目标图像匹配的跟踪、基于边缘特征匹配或角点特征匹配的跟踪、基于目标灰度特征匹配的跟踪、基于目标颜色特征匹配的跟踪等 。 优点： a) 在于对运动目标的尺度、形变和亮度等变化不敏感，即使目标的某一部分被遮挡，只要还有一部分特征可以被看到，就可以完成跟踪任务； b)这种方法与K a l m a n 滤波器联合使用， 也具有很好的跟踪效果 。 缺点：