感知准则函数.docxVIP

 PAGE \* MERGEFORMAT 1  PAGE \* MERGEFORMAT 7  PAGE \* MERGEFORMAT 1 《模式识别》实验报告 1 实验目的 1. 学习和掌握关于感知准则函数的知识；2. 应用感知准则函数求解判决面，解决模式识别的分类问题； 2 实验内容 利用感知准则函数用感知准则函数的方法求解以下数据的判决面，学习率为 ρt=0.1，画出每次迭代法向量的变化轨迹，并画出最终的判决曲线。 样本ω1ω2样本ω1ω2x1x2x1x2x1x2x1x210.11.1-3.0-2.963.15.0-1.33.726.87.10.58.77-0.8-1.3-3.46.23-3.5-4.12.92.180.91.2-4.13.442.02.7-0.15.295.06.4-5.11.654.12.8-4.02.2103.94.01.95.13 实验原理或步骤 初始的线性判别函数为 g(x) = wTx + w0 为了讨论方便，把向量 x 增加一维，但取其值为常数，即定义 y = [1,x1,x2,···,xd]T 其中，x1 为样本 x 的第 i 维分量。我们称 y 为增广的样本向量。相应地，定义增广的权向量为 α = [w0,w1,w2,···,wd]T 线性判别函数变为 g(y) = αTy 决策规则是：如果 g(y) 0，则 y ∈ ω1；如果 g(y) 0，则 y ∈ ω2。 设一组样本为 y1···,yN，若存在权向量 α，使得对于样本集中的任意一个样本 yi，i=1，···，N，若 y ∈ ω1 则 αTyi 0，若 y ∈ ω2 则 αTyi 0，那么称这组样本或这个样本集是线性可分的。即在样本的特征空间中，至少存在一个线性分类面能够把两类样本没有错误地分开。 如果定义一个新的变量 y′，使对于第一类的样本 y′=y，而对第二类样本则 y′=?y，即 其中 i = 1,2,···,N 则样本可分性条件就变成了存在 α，使 这样定义的 y′ 称作规范化增广样本向量。为了讨论方便，都采用规范化增广样本向量，并且把 y′ 仍然记作 y。 对于权向量 α，如果某个样本 yk 被错误分类，则 αTyk ≤ 0。我们可以用对所有错分样本的求和来表示对错分样本的惩?? 这就是 Rosenblatt 提出的感知器准则函数。 显然，当且仅当 JP(α?) = minJP(α) = 0 时 α? 是解向量。 感知器准则函数式的最小化可以用梯度下降方法迭代求解 α(t + 1) = α(t) ? ρt?JP(α) 即，下一时刻的权向量是把当前时刻的权向量向目标函数的负梯度方向调整一个修正量，其中 ρt 为调整的步长。目标函数 Jp 对权向量 α 的梯度是 yk) 因此，迭代修正的公式就是 α(t + 1) = α(t) + ρt T∑k (yk) α y ≤0 即在每一步迭代时把错分的样本按照某个系数加到权向量上。 算法步骤如下： 任意选择初始的权向量 α(0)，置 t=0； 考察样本 yj，若 α(t)Tyj ≤ 0，则 α(t + 1)=α(t) + yj，否则继续； 考察另一个样本，重复 (2)，直至对所有样本都有 α(t)Tyj 0，即 JP(α) = 0。 4 运行结果和分析原始数据的分布，如图： 图像中可以清晰的发现有两个蓝色样本掺杂到红色中了，被错误分类。于是我把这两个样本坐标点进行了更改，由（-3.0，-2.9）和（2.9,2.1）分别改为（-3.0,6）和（2.9,8）。 图中可以看到决策线很好的将两类样本分开，下方的线代表每次迭代的法向量，长短代表迭代的先后。 分析： 5 实验总结 这次做感知实验的函数是我大学以来第一次把课上学到的算法运用到解决一个实际问题上，虽然只是把两类样本分类。我从中获益很多，在做这个实验之前，虽然大概懂了感知准则函数这个算法，但总感觉模模糊糊，似懂非懂，但做实验时，真的是要把每个需要掌握的点都要挖透，一个点不懂，这整个实验就会导致失败，有的数学公式一大串，看似明白，但理解不深，在实际动手时，马上让我吃到苦头，在如何画出每次迭代的法向量上，想了好久好久，才发现原来自己对法向量的几何意义没有搞懂，这次实验真的让我知道了学好数学的重要性和优越性。通过此次实验，我还加深了对 matlab 的画图的理解，整个过程虽然烦，但成果出现时，还是有点小兴奋的。 6 附：matlab 源码 w1=[0.1 6.8 ?3.5 2.0 4.1 3.1 ?0.8 0.9 5.0 3.9; 1.1 7.