人工智能导论——第三篇章1.ppt

算法中的问题 初始温度的选取 内循环的结束条件，即每个温度状态交换何时结束 外循环的结束条件，即温度下降到什么时候结束 温度的下降方法 在模拟退火过程中，给定温度下状态（解）的转移可以看作是一个马尔可夫链。对于任意两个状态i和j，我们用Pt(i, j)表示温度t下，从状态i转移到状态j的一步转移概率，则有： 其中：Gt(i,j) 是产生概率，表示从状态i产生状态j的概率。At(i,j) 是接受概率，表示在状态i产生状态j后，接受状态j的概率。 定理1 满足条件的Gt(i,j)、At(i,j) 举例： 说明：条件2的后半部分除外，该条件与具体的问题有关。 定理2： 在定理1的条件下，如果对于任意两个状态 有： 则有： 定理3（放宽了定理1的条件） Gt(i,j)、At(i,j)满足定理1中除条件（2）以外的所有其他条件，并且： 1，对于任意两个状态i、j，它们相互为邻居或者相互都不为邻居； 2，对于任意i，Gt(i,j)满足： 3，状态空间S对于邻域是连通的； 则与模拟退火算法相伴的时齐马尔可夫链存在平稳分布，其分布概率为： 算法的实现 （1）初始温度t0； （2）温度t的衰减函数，即温度的下降 方法； （3）算法的终止准则，用终止温度tf或 者终止条件给出； （4）每个温度t下的马尔可夫链长度Lk。 起始温度的选取（1） 一个合适的初始温度，应保证平稳分布中每一个状态的概率基本相等，也就是接受概率P0近似等于1。在Metropolis准则下，即要求： 如果我们给定一个比较大的接受概率P0，则： 其中， 可以有以下估计方式： 起始温度的选取（2） 假设在t0下随机的生成一个状态序列，分别用m1和m2表示指标函数下降的状态数和指标函数上升的状态数， 表示状态增加的平均值。则m2个状态中，被接受的个数为： 所以平均接受率为： 求解有： 起始温度的选取（3） 模拟固体的升温过程： （1）给定一个希望的初始接受概率P0，给定一个较低的初始温度t0，比如t0＝1； （2）随机的产生一个状态序列，并计算该序列的接收率： 如果接收率大于给定的初始接受概率P0，则转（4）； （3）提高温度，更新t0，转（2）； （4）结束。 温度的下降方法（1） 等比例下降 温度的下降方法（2） 等值下降 温度的下降方法（3） 由定理1我们知道，在一定的条件下，与模拟退火算法相伴的时齐马尔可夫链存在平稳分布。如果温度每次下降的幅度比较小的话，则相邻温度下的平稳分布应该变化不大，也就是说，对于任意一个状态i，相邻温度下的平稳分布应满足： 解决方法 每次并不一定选择邻域内最优的点，而是依据一定的概率，从邻域内选择一个点，指标函数优的点，被选中的概率比较大，而指标函数差的点，被选中的概率比较小。 选择概率的计算 设求最大值时： 选择概率的计算 当求最小值时： 局部搜索算法1（Local Search 1） 1，随机的选择一个初始的可能解x0∈D，xb=x0， P=N(xb) 2，如果不满足结束条件，则 3，Begin 4， 对于所有的x∈P计算指标函数f(x)， 并按照式（3）或者式（4）计算每一个点 x的概率 5， 依计算的概率值，从P中随机选择一个点 xn，xb ＝ xn，P = N(xb)，转2 6，End 7，输出计算结果 8，结束 存在的问题 步长问题 初始值 搜索到的最优解 解决方法 变步长 初始值 搜索到的最优解 局部搜索算法2（Local Search 2） 1，随机的选择一个初始的可能解x0∈D，xb=x0， 确定一个初始步长计算P=N(xb) 2，如果不满足结束条件，则 3，Begin 4， 选择P的一个子集P，xn为P中的最优解 5， 如果f(xn) f(xb)，则xb ＝ xn 6， 按照某种策略改变步长，计算P = N(xb)， 转2 7， 否则P = P – P，转2。 8，End 9，输出计算结果 10，结束 存在问题 起始点问题 A B 全局最大值 局部最大值 解决方法 随机的生成一些初始点，从每个初始点出发进行搜索，找到各自的最优解。再从这些最优解中选择一个最好的结果作为最终的结果。 局部搜索算法3（Local Search 3） 1，k = 0 2，随机的选择一个初始的可能解x0∈D，xb=x0， P=N(xb) 3，如果不满足结束条件，则 4，Begin 5， 选择P的一个子集P，xn为P中的最优解 6，