机器学习遗传算法.ppt

2003.12.18*进化和学习模型（3）人们一直努力开发研究鲍德温效应的计算模型HintonNowlan1987对一个简单神经网络的群体进行试验在一个网络个体的“生命期”间，它的一些权值是固定的，而其他权是可被训练的在群体进化初期的各代中，具有很多可训练权值的个体占据较大的比例随着进化的进行，群体向着遗传给定权值和较少依赖个体学习权值的方向进化，正确的固定权值的数量趋于增长第30页,共34页，星期六，2024年，5月2003.12.18*并行遗传算法遗传算法很自然地适合并行实现粗粒度并行方法把群体细分成相对独立的个体群，称为类属，然后为每个类属分配一个不同的计算节点，在每个节点进行标准的GA搜索类属之间的通信和交叉发生的频率与类属内相比较低，类属之间的交换通过迁移来进行，也就是某些个体从一个类属复制或交换到其他类属这个过程模拟了以下的生物进化方式，即自然界中异体受精可能发生在分离的物种子群体之间这种方法的一个好处是减少了非并行GA经常碰到的拥挤问题细粒度并行方法给每个个体分配一个处理器，然后相邻的个体间发生重组第31页,共34页，星期六，2024年，5月2003.12.18*小结遗传算法用一种随机化的并行爬山搜索来发现使预先定义的适应度函数最优的假设遗传算法基于对生物进化的模拟，维护一个由竞争假设组成的多样化群体，在每一次迭代中，选出群体中适应度最高的成员来产生后代，替代群体中适应度最差的成员遗传算法阐明了如何把学习过程看成最优化过程的一个特例，学习任务就是根据预先定义的适应度函数发现最优假设遗传编程是遗传算法的变体，在遗传编程中，被操作的假设是计算机程序而不是位串第32页,共34页，星期六，2024年，5月2003.12.18*补充读物在计算机科学发展的早期，人们就开始探索基于进化的计算方法（Box1957、Bledsoe1964）Rechenberg1965,1973、Schwefel1975,1977,1995开发的进化策略用来优化工程设计中的数字参数FolgelOwensWalsh1966开发了进化编程，作为进化有限状态机的一种方法Koza1992介绍了遗传编程，把遗传算法的搜索策略应用到由计算机程序组成的假设中K.Dejong和他的学生开发了使用GA学习规则集的方法，每个规则集是竞争假设组成的群体的一个成员Holland和他的学生设定每个规则是群体的一个成员，群体本身是一个规则集第33页,共34页，星期六，2024年，5月2003.12.18*补充读物（2）Mitchell1996和Goldberg1986给出了有关遗传算法的两本教材Koza1992关于遗传编程的专著是对遗传算法扩展到操作计算机程序的标准参考书会议遗传算法国际会议（主要会议）自适应行为仿真会议人工神经网络和遗传算法国际会议IEEE进化计算国际会议杂志进化计算杂志机器学习第34页,共34页，星期六，2024年，5月机器学习遗传算法2003.12.18*2003.12.18*概述遗传算法是一种大致基于模拟进化的学习方法假设通常被描述为二进制位串，也可以是符号表达式或计算机程序搜索合适的假设从若干初始假设的群体或集合开始当前群体的成员通过模拟生物进化的方式来产生下一代群体，比如随机变异和交叉每一步，根据给定的适应度评估当前群体中的假设，而后使用概率方法选出适应度最高的假设作为产生下一代的种子遗传算法已被成功用于多种学习任务和最优化问题中，比如学习机器人控制的规则集和优化人工神经网络的拓扑结构和学习参数本章主要介绍了基于位串描述假设的遗传算法和基于计算机程序描述假设的遗传编程第2页,共34页，星期六，2024年，5月2003.12.18*动机遗传算法（GA）是一种受生物进化启发的学习方法，它不再是从一般到特殊或从简单到复杂地搜索假设，而是通过变异和重组当前已知的最好假设来生成后续的假设每一步，更新被称为当前群体的一组假设，方法是使用当前适应度最高的假设的后代替代群体的某个部分这个过程形成了假设的生成测试的柱状搜索，其中若干个最佳当前假设的变体最有可能在下一步被考虑第3页,共34页，星期六，2024年，5月2003.12.18*动机（2）遗传算法的普及和发展得益于下面的因素在生物系统中，进化被认为是一种成功的自适应方法，具有很好的健壮性遗传算法搜索的假设空间中，假设的各个部分相互作用，每一部分对总的假设适应度的影响难以建模遗传算法易于并行化本章内容安排描述了遗传算法，举例演示了它的用法，分析了它搜索的空间的特性描述了遗传算法的一个变体：遗传编程，这个方法中，整个计算机程序向着某个