证明题下面是一种变形的感知机学习规则 .docVIP

证明题：下面是一种变形的感知机学习规则 Wnew Wold+αepT bnew bold +αe 其中，称α为学习速率。证明这个算法的收敛性。证明中需要对学习速率作限制么？试作出解释。 证明：现在以单神经元感知机为例，证明该学习规则的收敛性 设单神经元感知机a hardlim 1wTp+ b ,网络提供的训练集为：｛p1,t1｝, ｛p2,t2｝,…, ｛pQ,tQ｝,其中每个目标输出的tq取值为0或1。 记 X ［ ］ z ［］ 于是，感知机的学习规则可以写成： Xnew Xold+αez 1 其中，当权值不变，和输入向量相加，相减的时候，误差e分别取0，1，-1。如果只考虑权值向量发生改变的迭代，则学习规则变为： X k X k-1 +αz’ k-1 2 其中，z’ k-1 是集合｛z1, z2,…,zQ, -z1, -z2,…,-zQ｝中的一个元素，现在假设存在对所有Q个输入向量进行正确分类的权值向量，并记为X*。并对该向量，假设： 如果tq 1，那么X*T zq δ 0 如果tq 0，那么X*T zq -δ 0 假设算法的初始权值向量X 0 0，那么迭代k次后，由（2）递推可得 X k αz’ 0 + α z’ 1 +… + αz’ k-1 3 与X*作内积，得 X*T X k α X*T z’ 0 + αX*T z’ 1 +… + αX*T z’ k-1 4 如果tq 1,那么 α X*T z’ i αδ 5 所以 X*T X k kαδ 6 由柯西-施瓦兹不等式可得： X*T X k 2 ≤ ║X*║2 ║X k ║2 7 由 6 ， 7 可得： ║X k ║2 ≥ [X*T X k ] 2/ ║X*║2 kαδ 2 / ║X*║2 下面通过求权值向量的上界，导出迭代次数k的上界 ║X k ║2 XT k X k [X k-1 + αz’ k-1 ] T +[X k-1 + αz’ k-1 ] X T k-1 X k-1 + 2αX T k-1 z’ k-1 +α2z ’T k-1 z ’ k-1 ≤ X T k-1 X k-1 +α2z ’T k-1 z ’ k-1 （假设此时tq 0，则 X T k-1 z’ k-1 ≤ 0，且限制学习速率α 0 ） 递推可得：║X k ║2 ≤α2 ║z’ 0 ║2+║z’ 1 ║2 +… +║z’ k-1 ║2 ≤ kα2 Max ║z’ i ║2｝ 从而得kα2 Max ║z’ i ║2｝ ≥║X k ║2 kαδ 2 / ║X*║2 从而求得k Max ║z’ i ║2｝ ║X*║2 /δ2 迭代次数k有上界，说明权值的改变次数是有限的，所以感知机的学习规则将在有限次迭代后收敛。 1W b Pq 1