PR-BIGC3判别函数8-16范例.ppt

3.1 用判别域界面方程分类的概念 3.2 线性判别函数 此方程表示一超平面 。它有以下三个性质: (1)系数矢量 ，是该平面的法矢量。 (2)判别函数 的绝对值正比于 到超平面 的距离。 (3)判别函数值的正负表示出特征点位于哪个半空间中。 即 称 为Fisher变换函数 感知器是由美国Rosenblatt于1957年提出的有监督学习(有导师学习)神经网络模型，其学习算法于1958年提出。 感知器原理结构： 通过对W的调整，可实现判别函数 d(x) =WTX RT 其中RT为响应阈值 定义感知准则函数：只考虑错分样本 定义： 其中Se为被W错误分类样本集合 当分类发生错误时就有WTX 0，或－WTX 0，所以 J(W) 总是正值。错误分类愈少， J(W)就愈小。 理想情况为J(W)=0即求最小值的问题。 求最小值对W求梯度 代入迭代公式中 Wk+1 = Wk-ρk▽J 即感知器迭代公式 由J(W)经第k+1次迭代的时候，J(W)趋于0，收敛于所求的W值。 第一次迭代后,权向量w3=(0,-1,1,-1)，再进行第2，3，…次迭代，如下表所示： 直到在一个迭代过程中权向量相同，训练结束。 w6=w=(0,-1,3,0)， 判别函数d(x)= -x2+3x3 感知器算法只对线性可分样本有收敛的解，对非线性可分样本集会造成训练过程的振荡，这是它的缺点。 感知器算法的特点 当样本线性可分情况下，学习率ρ合适时，算法具有收敛性； 收敛速度较慢； 当样本线性不可分情况下，算法不收敛，且无法判断样本是否线性可分。 3.5.3 感知器训练算法在多类问题中的应用 判别规则：对于c类问题，应建立c个判别函数： di(x) = wi’xi (i=1,2,…,c)如果x??i，则有wi’x wj’x (? j?i)因此判别规则是 若 di(x) dj(x) ? j?i 则判x??i 算法步骤： (1) 赋初值,分别给c个权矢量wi(i=1,2,…,c)赋任意的初值，选择正常数?，置步数k=1。 算法步骤： (1) 赋初值,分别给c个权矢量wi(i=1,2,…,c)赋任意的初值，选择正常数?，置步数k=1。 例题:已知训练样本(0,0)T??1，(1,1)T??2 ，(-1,1)T??3, 试求解向量w1、w2和w3。 例题:已知训练样本(0,0)T??1，(1,1)T??2 ，(-1,1)T??3, 试求解向量w1、w2和w3。 例题:已知训练样本(0,0)T??1，(1,1)T??2 ，(-1,1)T??3, 试求解向量w1、w2和w3。 例题:已知训练样本(0,0)T??1，(1,1)T??2 ，(-1,1)T??3, 试求解向量w1、w2和w3。 例题:已知训练样本(0,0)T??1，(1,1)T??2 ，(-1,1)T??3, 试求解向量w1、w2和w3。 若训练样本线性可分时，感知器法可求出界面，但对不可分问题由于不收敛只能取平均。最小平方误差法不论样本是否线性可分都能给出一加权向量，但不能保证此向量就是分界向量，这里介绍一种方法可以检测迭代过程中是否线性可分。 初始条件w(1)=X+b(1)并且b(1)0 迭代时检测 若e(k)≥0时，X w(k+1)?b，系统线性可分，迭代收敛； 若e(k)0时， X w(k+1) ?b，系统线性不可分，迭代不收敛。 H-K算法步骤 H-K算法步骤 例：已知如图(3-12-1)所示两类训练样本： 试用势函数法进行分类器训练。 作业 1 以下列两类模式为样本，用LMSE(梯度法)算法求解判决函数。（令 w(1) = (-1,-2,-2)’ ）?1：{(0,0,0)’, (1,0,0)’, (1,0,1)’, (1,1,0)’,}?2：{(0,0,1)’, (0,1,1)’, (0,1,0)’, (1,1,1)’,} 2 用LMSE(梯度法)算法检验下列模式的线性可分性。?1：{(0,1)’，(0,-1)’