神经网络期末备考整理.docxVIP

神经网络部分

：随机神经网络

模拟退火算法（SA算法）

原理

SA算法就是模仿物理系统徐徐退火过程的一种通用随机搜索技术,可用马尔柯夫链的遍历理论来给它以数学上的描述.

SA算法的主要精髓是基于Metropolis准则可接受求解过程的恶化解.

Metropolis准则为:粒子在温度T时趋于平衡的概率为，其中E为温度T时的内能,E为其改变量,k为Boltzmann常数.

2.SA算法的思想为:

由初始解i和控制参数初值t开始,对当前解重复产生新解的迭代,并逐步衰减t值,算法终止时的当前解即为所得近似最优解,这是基于蒙特卡罗迭代求解法的一种启发式随机搜索过程.

3.退火过程由冷却进度表(CoolingSchedule)控制,包括控制参数的初值t及其衰减因子、每个t值时的迭代次数L和停止条件S.

SA算法使得局部极值更容易被逃逸,全局极值更稳定，故求得全局极值的概率较大.

SA算法可以分解为解空间、目标函数和初始解三部分.

4.SA的基本思想:

Step1初始化:初始温度T(充分大),初始解状态S(是算法迭代的起点),每个T值的迭代次数L

Step2对k=1,……,L做第(3)至第6步:

Step3产生新解S’

Step4计算增量t’=C(S’)-C(S),其中C(S)为评价函数

Step5若t’0则接受S’作为新的当前解,否则