机器学习_第0讲-2-2-2-ACO.pptVIP

机器学习——蚁群算法 智能工程研究室 计算机科学与技术学院 蚁群优化算法概述 起源 应用领域 研究背景 算法原理 研究现状 应用现状 蚁群优化算法起源 20世纪90年代意大利学者M．Dorigo，V．Maniezzo，A．Colorni等从生物进化的机制中受到启发，通过模拟自然界蚂蚁搜索路径的行为，提出来一种新型的模拟进化算法—— 蚁群算法。 用该方法求解TSP问题、分配问题、调度问题，取得了较好的实验结果．虽然研究时间不长，但是现在的研究显示出蚁群算法在求解复杂优化问题（特别是离散优化问题）方面有一定的优势，表明它是一种有发展前景的算法． 蚁群优化算法应用领域 这种方法能够被用于解决大多数优化问题或者能够转化为优化求解的问题。现在其应用领域已扩展到多目标优化、数据分类、数据聚类、模式识别、电信QoS管理、生物系统建模、流程规划、信号处理、机器人控制、决策支持以及仿真和系统辩识等方面，群智能理论和方法为解决这类应用问题提供了新的途径。 蚁群优化算法研究背景 群智能方法易于实现，算法中仅涉及各种基本的数学操作，其数据处理过程对CPU和内存的要求也不高。 而且，这种方法只需目标函数的输出值，而无需其梯度信息。 已研究表明群智能方法是一种能够有效解决大多数全局优化问题的新方法。更为重要是，群智能潜在的并行性和分布式特点为处理大量的以数据库形式存在的数据提供了技术保证。 无论是从理论研究还是应用研究的角度分析，群智能理论及其应用研究都是具有重要学术意义和现实价值。 蚁群算法的仿生原理 蚂蚁搜寻食物的具体过程 在蚁群寻找食物时，它们总能找到一条从食物到巢穴之间的最优路径。这是因为蚂蚁在走过的路径上释放出一种特殊的物质-------称为信息素。 当它们碰到一个还没有走过的路口时．就随机地挑选一条路径前行。与此同时释放出一定浓度的信息素。后来的蚂蚁再次碰到这个路口的时候，会根据各路径上信息素的浓度大小，选择信息素浓度较高路径。这样形成一个正反馈。最优路径上的信息素浓度越来越大，而其它的路径上信息素浓度却会随着时间的流逝而消减。最终整个蚁群会找出最优路径。 信息素(pheromone)感知 信息素释放 信息正反馈现象：某一路径上走过的蚂蚁越多，则后来者选择该路径的概率就越大。 蚂蚁寻找最短路径原理 简化的蚂蚁寻食过程 (3-1) 简化的蚂蚁寻食过程 (3-3) 假设蚂蚁每经过一处所留下的信息素为一个单位，则经过36个时间单位后，所有开始一起出发的蚂蚁都经过不同路径从D点取得了食物，此时ABD的路线往返了2趟，每一处的信息素为4个单位，而 ACD的路线往返了一趟，每一处的信息素为2个单位，其比值为2：1。 寻找食物的过程继续进行，则按信息素的指导，蚁群在ABD路线上增派一只蚂蚁（共2只），而ACD路线上仍然为一只蚂蚁。再经过36个时间单位后，两条线路上的信息素单位积累为12和4，比值为3：1。 若按以上规则继续，蚁群在ABD路线上再增派一只蚂蚁（共3只），而ACD路线上仍然为一只蚂蚁。再经过36个时间单位后，两条线路上的信息素单位积累为24和6，比值为4：1。 若继续进行，则按信息素的指导，最终所有的蚂蚁会放弃ACD路线，而都选择ABD路线。这也就是前面所提到的正反馈效应。 自然蚁群与人工蚁群算法 相同点 基于自然蚁群觅食现象中最优路径的形成过程，研究者设计了人工蚁群算。 人工蚁群中把具有简单功能的工作单元看作蚂蚁。二者的相似之处在于都是优先选择信息素浓度大的路径。较短路径的信息素浓度高，所以能够最终被所有蚂蚁选择，也就是最终的优化结果。 不同点 人工蚁群有一定的记忆能力，能够记忆已经访问过的节点。 人工蚁群在选择下一条路径的时候是按一定算法规律有意识地寻找最短路径，而不是盲目的。例如，在TSP问题中，可以预先知道当前城市到下一个目的地的距离。 算法实现（以TSP为例） 核心公式 算法实现（以TSP为例） 描述： n×n的TSP问题，用m只蚂蚁求解 数据结构 信息素矩阵Tau（n×n阶，记录信息素浓度） 可见度矩阵Eta （n×n阶，通常取为距离(i, j)的倒数） 禁忌表Tabu（m×n阶，记录蚂蚁k走过的城市） 算法实现（以TSP为例） 初始化 m蚂蚁随机分布到n个城市 环游 按照第一个核心公式计算转移概率Pkij 蚂蚁依次选择路径直到返回出发点 更新信息素浓度 按照第二个核心公式计算t+1时刻的信息素浓度 机器学习——两种简单的模式分类算法 最小二乘法 K-最近邻法 问题描述 已知：分布在二维平面的n个模式及其类标(x1, y1), (x2, y2), ……, (xn, yn)，xi∈R2, yi ∈{-1, +1} 目标：设计一个分类器，使得