课件：哈工大模式识别课件—第6章多层神经网络.ppt

* 可以推导一下 * Β可以有多种求法。对于二次优化函数，权值沿着任意一个初始方向移动到最小点，然后再沿着该方向关于H的共轭方向移动到最小点即可达到全局最小点。 a’Hb=0，a和b称为关于H共轭。 * LMBP是专门针对均方误差准则函数的二阶方法。 * 寻找全局最优点的最根本办法是遍历搜索，多次尝试可以提高找到全局最优点的概率。 * K为波尔兹曼常数 = 1.38054*10-23焦耳/克 * 温度越低，下降越快 如果温度突然下降的话，内部结构来不及进行调整，可能停留在一个比较高的能量位置，如果慢慢降温则有可能将内部能量降到一个比较低的水平。 * 是将BP算法与模拟退火算法结合。其中第3-5步可以多次进行。 * 正常的剃度下降算法相当于把球放在曲面上滚动到局部极小点，模拟退火相当于把球扔向空中，球一边蹦跳，一边滚动，最后停止在全局最小点的可能性增大。但“高尔夫球场”类型的曲面也很难停止在全局最小点。 * * 可以举单值函数f(x)求极大值的问题，在一定精度下将x表示为二进制串。还可以举100个人中选5个人 复制、交叉、变异称为遗传算子，还可以定义其它的遗传算子。 * 还可以进一步增加随机性，在进行交叉和变异时，依据一定的概率选择染色体作为父辈，适应度越大的染色体被选中的可能性越大。交叉的位置也可以随机选定。 遗传算法可以对不连续、不可微的目标函数进行优化。 * GA可以以多种方式应用于权值学习，如将每个权值在一定的精度下表示为二进制串，然后对整个的二进制串进行GA学习。 * * * 6.4 寻找全局最优点 全局最优点的搜索一般采用随机方法： 模拟退火算法 模拟进化计算 – 遗传算法 模拟退火思想 模拟退火算法是由Kirkpatrick于1983年提出的，它的基本思想是将优化问题与统计热力学中的热平衡问题进行类比； 固体在降温退火过程中，处于能量状态E的概率P(E)服从Boltzmann分布： 其中T是固体的温度，k为Boltzmann常数 波尔兹曼分布 模拟退火算法（SA, Simulated Annealing） 模拟退火算法可以用来优化能量函数E(w)，其中w为参数； 首先设定一个较高的温度T(1)，随机初始化参数w1，计算能量E(w1)； 对参数给予一个随机扰动△w，w2 = w1 + △w，计算能量E(w2)； 如果E(w2) E(w1)，则接受改变，否则按照如下概率接受改变： 逐渐降低温度T(k)，直到0为止。 模拟退火算法应用于MLP的训练 初始化温度T(0)，t?0，随机初始化权值w0； 应用BP算法搜索局部最优解w(t)，计算局部最优解目标函数值E(t)； 随机修正权值w’(t) = w(t) + △w，计算修正后的目标函数值E’(t)； 若E’(t) E(t)，则确认修改，w(t)=w’(t)，E(t)=E’(t)； 否则依据概率P = exp(-E’(t)/T(t))确认修改； 温度下降：T(t) = T(0)/[1+ln(t+100)]，如4，5步确认修改，转移到2，否则转移到3，直到温度下降到一定阈值为止； 模拟退火算法示例 E w 模拟退火算法示例 遗传算法（GA，Genetic Algorithm） 遗传算法是由Holland于1975年提出的，它主要模拟自然界生物“适者生存，优胜劣汰”的进化规则； 遗传算法主要是应用于各种组合最优问题的求解，经过一定的改进之后，也可以应用于MLP的权值学习。 基本名词 染色体：用一个二进制串表示； 种群：多个染色体构成一个种群； 适应度：对每个染色体的评价，这是一个被优化的函数； 复制：上一代的染色体不发生任何改变，直接复制到下一代的种群中； 交叉：两条染色体混合，产生两条新的染色体，交叉发生的概率：Pco； 变异：一条染色体在某些位改变自身，0?1或1?0，染色体在每一位上发生变异的概率：Pmut； 基本遗传算法 begin initialize Pco, Pmut，随机初始化L个染色体作为初始种群； do 计算种群中每个染色体的适应度fi，i=1,…,L； 按照适应度对种群中的染色体排序； 从前向后选择染色体，按照概率Pco进行交叉， 按照概率Pmut进行变异； 生成N个新的染色体，同原种群中的染色体构成 一个新的种群，淘汰掉适应度最差的N个染色体； until 达到一定的进化代数为止； return 适应度最高的染色体。 GA应用于MLP权值学习 染色体表达： 直接采用神经元的权值作为基因片段，而不转化为二进制串。 g = {w11,w