实验指导书(模式识别).docxVIP

f x w x (3.1) b 上式中求取 w 与b 可归结为求解下面的约束优化问题 min 1 2 w (3.2) 2 2 s.t . ti w x b 1 i 1,2 N i 上式的解由下面的拉格朗日函数的鞍点给出 G N 1 w (3.3) ,b,α w i t w x b 1 2 i 2 i 1 上式中 i 0，i 1, 2, N 为拉格朗日乘子。为得到鞍点令 G w 0 N w (3.4) it x i i i 1 G b 0 i N 1 t i i 0 (3.5) 将（3.4）和(3.5)一起代入到（ 3.3）中可得(3.2)的对偶规划 max N N N 1 G α t t x x (3.6) i i j i j i j i 1 i 1 j 1 2 s.t. N t i i 0 i 0 i 1 上式含有映射函数 。 若在F 中定义内积 K x x x x (3.7) , i j i j 将之代入到 (3.6)后有 max N N N 1 G α t t K x x (3.8) , i i j i j i j 2 i 1 i 1 j 1 s.t . N t i i 0 0 i i 1 又设 α T ， , 2 , , i , , 1 N d T ， 1,1, ,1d T ， t ，矩阵 Q 的第 i 行第 j 列为 T N t1 ,t2 , ,t N Q x ,x ，则(3.8)可写成矩阵形式。解 (3.8)可得 i 的最优值，并将（ 3.4）代入 ij t t i j i j 到(3.1)中可得 F 中的线性判别函数表达式 f N x (3.9) t K x,x b i i i i 1 式(3.7)中的 K x , x 被称为核函数，它欲成为 F 中的内积必须满足 Mercer 条件： i j T f x K x x f x dx 为正。如果F 的维数很高，(3.7)等号右边的计 使得积分算子 , k i i j j j 25 算量会很大，甚至会陷入 “维数灾难”而使得计算不可行；但通过上述代换， F 中的 内积可基于 R 中的变量通过给定的核函数直接计算得到， 即使 F 的维数非常高，SVM 本身也并没有增加多少计算复杂度。特别是对某些映射函数而言， F 的维数是无限 的，此时内积必须用积分来计算，这种代换的作用就更为明显。另外从以上推导过 程可看出，在特征空间中构造最优分类面，并不需要以显式形式来考虑特征空间， 也没有必要知道映射函数的形式，只需通过 (3.7)计算内积即可。 值得指出的是，以上推导的假设前提是 N 个样本被映射到F 中以后能够线性可 分，如果该前提不满足，则必须在 F 中构造广义最优分类面。相应地(3.2)要改成 min 1 2 N w (3.10) C 2 i i 1 s.t . ti w xi b 1 i 在(3.9)中，假设输入空间 R 内的向量为 T x 1 2 d ，另有 s个向量 x1 ，x2 ，? x s x , x , xx 1 2 d ，另有 s个向量 x1 ，x2 ，? x s 对应的 i 不为零， 它们被称为支持向量，则SVC 的拓扑结构如图 3-2 所示，从图中 看出 SVM 的计算复杂度取决于支持向量的数目。 1 x K x,x 1 2 x 1t 1 f x st s x d K x,x s 图 3-2 SVC 拓扑结构图 五、实验步骤 1．将 CBCL 人脸样本库放在硬盘上的指定位置；构建非人脸学习样本库并将 之放在硬盘上的指定位置； 2．观测不同的特征提取方法对人脸识别率的影响。 在 MATLAB 命令行状态下， 首先键入 faceclassify1(1)并按回车键，记录不采用任何特征提取时，程序的执 行结果；然后键入 faceclassify1(2) 并按回车键，记录采用主成分方法进行特征 提取时程序的执行结果；最后键入 faceclassify1(3) 并按回车键，记录采用核主 成分方法进行特征提取时程序的执行结果； 3．观测不同的学习样本数对人脸识别率的影响。将源代码中的一个语句 26 “face_lean=200（”见本实验附录 1中的源代码片段），分别修改成 “face_lean=20”、 “face_lean=50、 “”face_lean=100”、 “face_lean=300”后，再在 MATLAB 命令行状 态下键入 faceclassify1(1)并按回车键，记录程序的执行结果； 4．观测支持向量机选用不同的核函数 （线性核或径向基核） 后对人脸识别率的 影响。先将源代码中的一个语句 “ker=linear;”（即线性核），修改成 “ker=rbf; ” （即径向基核） ，再在 MATLAB 命令行状态下键入 faceclassif