电子科大研究生课程模式识别作业第1次.docVIP

模式识别 作业一 1 题目 线性分类器设计 对“data1.m”数据，分别采用感知机、最小平方误差、线性SVM算法设计分类器，分别画出决策面，并比较性能。（注意讨论算法中参数设置的影响。） 2 理论与方法 在维特征空间中，各自的决策曲面是一个超平面，即： (2.1) 其中是权向量，是阀值。如果是决策面上的两个点，则下式有效： (2.2) 由于向量的差值位于决策超平面上(对于任意)，所以从式(2.2)可以很明显看出向量正交于决策超平面。如图2.1： 图2.1 决策线的几何图形。在线的一侧满足，另一侧满足 是到决策超平面的欧几里得距离。 2.1 感知机 假设存在一个由定义的超平面，满足 (2.3) 上式包括不经过原点的超平面情况，即，因为可以通过定义扩展维的向量，于是。 感知机代价定义为： (2.4) ----权向量 ----训练向量子集，是定义的超平面错误分类的部分 ----：当，当 为了计算出代价函数的最小迭代值，利用梯度下降法： (2.5) ----是第次迭代的权向量估计 ----为一系列的正实数，表示搜索步长 由(2.4)的定义以及有效点可得 (2.6) 式(2.6)代入式(2.5)得 (2.7) 2.3 最小二乘法 误差平方和准则，定义为： (2.8) 即对已知训练特征向量的期望输出和实际输出之间的误差进行累加，而不是计算均值。用这种方法，可以减少对概率密度