原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
1．线性判别方法
（1）两类：二维及多维判别函数，判别边界，判别规则
二维情况：（a）判别函数： ( )
（b）判别边界：g(x)=0;
（c）判别规则：
n维情况：（a）判别函数：
也可表示为：
（b）判别边界：g1(x) =WTX=0
（c）判别规则：
（2）多类：3种判别方法（函数、边界、规则）
(A)第一种情况：(a)判别函数：M类可有M个判别函数
(b) 判别边界：ωi （i=1,2,…,n）类与其它类之间的边界由 g(x)=0确定
(c) 判别规则：
(B)第二种情况：(a)判别函数：有 M(M _ 1)/2个判别平面
(b) 判别边界：
(c) 判别规则：
(C)第三种情况：(a)判别函数：
(b) 判别边界：
gi(x) =gj(x) 或gi(x) -gj(x) =0
(c) 判别规则：
2．分段线性判别方法
1）基于距离:（1）子类，类判别函数
（2）判别规则
（1）子类：把ωi类可以分成li个子类:
∴ 分成l个子类。
子类判别函数：
在同类的子类中找最近的均值
（2）判别规则：
这是在M类中找最近均值。则把x归于ωj类完成分类
2）基于函数：（1）子类，类判别函数
（2）判别规则
（1）子类类判别函数：对每个子类定义一个线性判别函数为：
（2）判别规则：在各子类中找最大的判别函数作为此类的代表，则对于M类，可定义M个判别函数gi(x),i=1,2,…..M,因此，决策规则
3）基于凹函数的并：（1）析取范式，合取范式，凹函数
判别规则
析取范式：P=(L11∧L12∧…∧L1m)∨…∨(Lq1∧Lq2∧…∧Lqm)
合取范式：Q= (L11 ∨ L12 ∨ … ∨ L1m) ∧ … ∧(Lq1 ∨ Lq2 ∨ … ∨ Lqm)
凹函数：Pi=Li1∧Li2∧…∧Lim
判别规则：设第一类有q个峰，则有q个凹函数。
即P=P1∨P2∨……∨Pq
3．非线性判别方法
（1）集中，分散
（2）, 均集中
4．分类器的设计
（1）梯度下降法（迭代法）：准则函数，学习规则
（a）准则函数：J(W)≈J(Wk)+ ▽JT(W- Wk)+(W- Wk)TD(W- Wk)T/2
其中D为当W = Wk时 J(W)的二阶偏导数矩阵
（b）学习规则：从起始值W1开始，算出W1处目标函数的梯度矢量▽J(W1)，则下一步的w值为：W2 = W1-ρ1▽J(W1) 其中W1为起始权向量， ρ1为迭代步长，J(W1) 为目标函数，▽J(W1)为W1处的目标函数的梯度矢量
在第K步的时候
Wk+1 = Wk-ρk▽J(Wk) 最佳步长为ρk=||▽J||2/▽JTD▽J
这就是梯度下降法的迭代公式。
（2）感知器法：准则、学习规则（批量，样本）
（a）准则函数： 其中x0为错分样本
（b）学习规则：
1.错误分类修正wk
如wkTx≤0并且x∈ω1 wk+1= wk+ρkx
如wkTx≥0并且x∈ω2 wk+1= wk-ρkx
2.正确分类 ，wk不修正
如wkTx0并且x∈ω1
如wkTx＜0并且x∈ω2
wk+1= wk
（3）最小平方误差准则法（MSE法）（非迭代法）：准则、权向量解
(a)准则函数：
(b)权向量解：
（4）韦—霍氏法（LMS法）（迭代法）：准则，学习规则
(a)准则函数：
(b)学习规则： W1任意 ，Wk+1=Wk+ρk(bk-WkTXk) Xk
ρk随迭代次数k而减少，以保证算法收敛于满意的W值
（5）何—卡氏法（H-K法）（迭代法）：准则，，的学习规则
(a)准则：
它的解为：
（b）b，W的学习规则：
文档评论（0）