最优化理论讲解.pptVIP

符号说明 x （p）：输入层的输入矢量； y （p）：输入层输入为x （p）时输出层的实际输出量； t （p）：目标输出矢量； n：输入层神经元个数； m：隐层神经元个数； r：输出层神经元个数； W：隐层与输入层间的权矩阵； V：输出层与隐层间的权矩阵。 （1）随机给定隐层和输入层间神经元的初始权值wij。 （2）由给定的样本输入xi（p）计算出隐层的实际输出aj（p）。为方便起见将图1网络中的阀值写入连接权中去，令：隐层阀值θj=wnj，x（n）=－1，则： aj（p）=f（■wijxi（p）） （j=1，2…m－1）。 具体步骤 （3）计算输出层与隐层间的权值vjr。以输出层的第r个神经元为对象，由给定的输出目标值tr（p）作为等式的多项式值建立方程，用线性方程组表示为： a0（1）v1r+a1（1）v2r+…+am（1）vmr=tr（1）a0（2）v1r+a1（2）v2r+…+am（2）vmr=tr（2） ……a0（p）v1r+a1（p）v2r+…+am（p）vmr=tr（p） 简写为： Av=T 为了使该方程组有唯一解，方程矩阵A为非奇异矩阵，其秩等于其增广矩阵的秩，即：r（A）=r（A┊B），且方程的个数等于未知数的个数，故取m=p，此时方程组的唯一解为： Vr=[v0r，v2r，…vmr]（r=0，1，2…m－1） （4）重复第三步就可以求出输出层m个神经元的权值，以求的输出层的权矩阵加上随机固定的隐层与输入层的权值就等于神经网络最后训练的权矩阵。 * * * * * * * * * * * * * * * * * 最优化理论 ——三大经典算法 三大经典算法 NO.1 遗传算法 NO.2 模拟退火法 NO.3 神经网络算法 遗传算法 GeneticAlgorithm 1 遗传算法是一类借鉴生物界的进化规律（优胜劣汰，适者生存）演化而来的随机化搜索方法。广泛应用于函数优化和组合优化领域。 1.函数优化：许多被构造出的各种复杂形式的测试函数“连续函数或离散函数，凹函数或凸函数，单峰函数或多峰函数等”，非线性多模型多目标的优化问题遗传算法可以方便得到较好的结果。 2.组合优化：随着问题规模的增大，组合优化问题的搜索空间也增大，有时枚举法很难求出最优解，人们意识到应该把精力主要放在寻求满意解上，遗传算法是最佳工具之一。 生物学术语说明 染色体 染色体又可以叫做基因型个体，一定数量的个体组成了群体，群体中个体的数量叫做群体大小 基因 基因是串中的元素，基因用于表示个体的特征。eg：有一个串S=1011，则其中的1,0,1,1分别称为基因，它们的值称为等位基因 基因地点（位置） 表示一个与基因在串中的位置称为基因位置（基因位），基因位置在串中由左向右计算。eg：在串S=1011中，0的基因位置是3 特征值 在用串表示整数时，基因的特征值与二进制的权一致。eg：在S=1011中基因位置3中的1特征值是2，基因位置1中的1特征值是8. 适应度 各个个体对环境的适应程度叫做适应度。为了体现染色体的适应能力，引入了对问题中的每一个染色体都能进行度量的函数，叫适应度函数。 这个函数是计算个体在群体中被使用的概率。 简单说来就是：繁殖过程，会发生基因交叉，基因突变 ，适应度低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。 1 常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。 选择 2 交叉前： 00000|011100000000|10000 11100|000001111110|00101 交叉后： 00000|000001111110|10000 11100|011100000000|00101 交叉 3 变异前： 000001110000000010000 变异后： 000001110000100010000 变异 遗传算法的三个最基本操作 选择 轮盘赌算法 /* * 按设定的概率，随机选中一个个体 * P[i]表示第i个个体被选中的概率 */ int RWS() { m =0; r =Random(0,1); //r为0至1的随机数 for(i=1;i=N; i++) { /* 产生的随机数在m~m+P[i]间则认为选中了i * 因此i被选中的概率是P[i] */ m = m + P[i]; if(r=m) return i; } } 基本遗传算法伪代码 /* * Pc：交叉发生的概率 * Pm：变异发生的概率 * M：种群规模 * G：