遗传算法系统全面性解读.pptVIP

* 群体进化和模式理论（3） E(m(s,t+1))的推导，仅考虑选择的情况 式子9.3表明，在t+1代中，模式s的实例期望数量与这个模式的实例在时间t内的平均适应度成正比，与群体的所有成员的平均适应度成反比，适应度高的模式的影响力会随着时间增加 * 群体进化和模式理论（4） 同时考虑交叉和变异，仅考虑单点交叉和可能造成的负面影响 最左一项描述了选择步的影响，中间一项描述了单点交叉算子的影响，最后一项描述了代表模式s的任意个体在应用了变异算子后还代表s的概率 模式理论不完备的是：无法考虑交叉和变异的正面影响 其他一些新的理论分析：基于马尔可夫链模型和统计力学模型 * 遗传编程 遗传编程是进化计算的一种形式，其中进化群体中的个体是计算机程序而不是位串 遗传编程中的程序一般被表示为程序的解析树，每个函数调用被表示为树的一个节点，函数的参数通过它的子节点给出 遗传编程算法维护多个个体组成的群体，在每一步迭代中，它使用选择、交叉、变异产生新一代个体 群体中某个体程序的适应度一般通过在训练数据上执行这个程序来决定 交叉操作：在一个双亲程序中随机选择一个子树，然后用另一个双亲的子树替代这个子树 * 遗传算法系统全面性解读 * 概述 遗传算法是一种大致基于模拟进化的学习方法 假设通常被描述为二进制位串，也可以是符号表达式或计算机程序 搜索合适的假设从若干初始假设的群体或集合开始 当前群体的成员通过模拟生物进化的方式来产生下一代群体，比如随机变异和交叉 每一步，根据给定的适应度评估当前群体中的假设，而后使用概率方法选出适应度最高的假设作为产生下一代的种子 遗传算法已被成功用于多种学习任务和最优化问题中，比如学习机器人控制的规则集和优化人工神经网络的拓扑结构和学习参数 本章主要介绍了基于位串描述假设的遗传算法和基于计算机程序描述假设的遗传编程 * 动机 遗传算法（GA）是一种受生物进化启发的学习方法，它不再是从一般到特殊或从简单到复杂地搜索假设，而是通过变异和重组当前已知的最好假设来生成后续的假设 每一步，更新被称为当前群体的一组假设，方法是使用当前适应度最高的假设的后代替代群体的某个部分 这个过程形成了假设的生成测试的柱状搜索，其中若干个最佳当前假设的变体最有可能在下一步被考虑 * 动机（2） 遗传算法的普及和发展得益于下面的因素 在生物系统中，进化被认为是一种成功的自适应方法，具有很好的健壮性 遗传算法搜索的假设空间中，假设的各个部分相互作用，每一部分对总的假设适应度的影响难以建模 遗传算法易于并行化 本章内容安排 描述了遗传算法，举例演示了它的用法，分析了它搜索的空间的特性 描述了遗传算法的一个变体：遗传编程，这个方法中，整个计算机程序向着某个适应度准则进化 介绍了一些有关生物进化的课题（遗传算法和遗传编程是进化计算领域中的两种普遍方法），比如鲍德温效应，它描述了个体的学习能力与整个群体进化速度之间的相互作用 * 遗传算法 遗传算法研究的问题是搜索候选假设空间并确定最佳假设 最佳假设被定义为使适应度最优的假设 适应度是为当前问题预先定义的数字度量，比如： 如果学习任务是在给定一个未知函数的输入输出训练样例后逼近这个函数，适应度可被定义为假设在训练数据上的精度 如果是学习下国际象棋的策略，适应度可被定义为该个体在当前群体中与其他个体对弈的获胜率 * 遗传算法（2） 遗传算法具有以下的共同结构： 算法迭代更新一个假设池，这个假设池称为群体 在每一次迭代中，根据适应度评估群体中的所有成员，然后用概率方法选取适应度最高的个体产生新一代群体 在被选中的个体中，一部分保持原样地进入下一代群体，其他被用作产生后代个体的基础，其中应用交叉和变异这样的遗传方法 * 表9-1 遗传算法原型 GA(Fitness, Fitness_threshold, p, r, m) Fitness：适应度评分函数 Fitness_threshold：指定终止判据的阈值 p：群体中包含的假设数量 r：每一步中通过交叉取代群体成员的比例 m：变异率 初始化群体：P?随机产生的p个假设 评估：对于P中每个假设h，计算Fitness(h) 当 Fitness_threshold，产生新一代PS，做： 选择：用概率方法选择P的(1-r)p个成员加入PS，概率公式是 交叉：按概率从P中选择rp/2对假设，对于每对假设h1,h2，应用交叉算子产生两个后代，把所有的后代加入PS 变异：使用均匀的概率从PS中选择m%的成员，应用变异算子 更新：P?PS 评估：对于P中每个h计算Fitness(h) 从P中返回适应度最高的假设 * 遗传算法（3） 算法的每一次迭代以3种方式产生新一代群体 直接从当前群体中选择 在选中的个体中进行交