分布估计算法.pptVIP

* 分布估计算法 * 综述 最近几年，在进化计算领域兴起的一类新型的优化算法，即分布估计算法（Estimation of Distribution Algorithm）简称EDA，提出了一种全新的进化模式，并迅速成为进化计算领域的研究热点和解决工程问题的有效方法．分布估计算法的概念最初在1996年提出，在2000年前后迅速发展，成为当前进化计算领域前沿的研究内容。 * 综述 基本思想--遗传算法和统计学习相结合 基本方法--通过统计学习的手段建立解空间内个体分布的概率模型，然后对概率模型随即采样产生新的群体，如此反复，实现群体的进化 * 综述 基本概念 1个体与种群 ● 个体就是模拟生物个体而对问题中的对象 （一般就是问题的解）的一种称呼，一个个 体也就是搜索空间中的一个点。 ● 种群(population)就是模拟生物种群而由若 干个体组成的群体, 它一般是整个搜索空间 的一个很小的子集。 * 综述 基本概念 概率模型 --用于描述取值域中优秀个体分布情况的一系列函数或其他数学工具（包括概率密度函数、条件概率、边缘概率等等） * 综述 基本概念 适应度与适应度函数 ● 适应度(fitness)就是借鉴生物个体对环境的 适应程度,而对问题中的个体对象所设计的 表征其优劣的一种测度。 ● 适应度函数(fitness function)就是问题中的 全体个体与其适应度之间的一个对应关系。 它一般是一个实值函数。该函数就是遗传算 法中指导搜索的评价函数。 * 综述 主要步骤（虽然有很多具体的实现方法，但是分布估计算法可以归纳为以下两步） 1：构建描述解空间的概率模型．通过对种群的评估，选择优秀的个体集合，然后采用统计学习等手段构造一个描述当前解集的概率模型． 2：由概率模型随机采样产生新的种群。 * 综述 分布估计算法的与遗传算法的不同 生物进化的数学模型 遗传算法是对于个体进行遗传操作（交叉、变异等），微观层面模拟生物的进化。 分布估计算法是对于整个群体的分布建立一个概率模型，通过这个概率模型来描述进化的方向，是“宏观”层面的模拟。 * 综述 * 示例 在这里，举一个最简单的离散的优化的问题作为示例。 Z=X1+X2，其中X1的取值域为1,2,3,4,5， x2的取值域为6,7,8,9,10 * 示例 建立模型 建立一个概率模型。在这里我们只需要建立一个离散的概率模型（设X1，X2相互独立），初始化如下（只列出边缘概率）。 X1 1 2 3 4 5 P1 0.2 0.2 0.2 0.2 0.2 X2 6 7 8 9 10 P2 0.2 0.2 0.2 0.2 0.2 * 示例 采样与择优 根据概率模型，采样若干个点（6个）。假设采到的点为2,7；3,9；3,10；4,8；2,9；5,6 评估这六个点，带入函数（适应度函数），分别得到9,12,13，12,11,11。因此我们选择2,7；2,9和5,6来更新概率模型。 * 示例 更新概率模型（根据2,7；2,9和5,6三个点） 更新X1的分布总共有3个个体，三个个体对应的X1为2,2,5 P1（x1=1）=0;P1（x1=2）=2/3;P1（x1=5）=1/3;P1（x1=3）=0;P1（x1=4）=0 同理得到 P2（x2=6）=1/3;P2（x1=7）=1/3;P2（x1=9）=1/3;P2（x1=8）=0;P2（x1=10）=0 * 示例 更新概率模型 对分布函数进行平滑处理（防止有一些点的概率为零，自变量的值相差较近则概率应该相差不大） 以X1为例 P1（X1=i）= 并归一化 同理求P2’ 得到 P1(X=1)=0.139861 P1(X=2)=0.380183 P1(X=3)=0.16124 P1(X=4)=0.117459 P1(X=5)=0.201247 P2(X=6)=0.27714 P2(X=7)=0.27955 P2(X=8)=0.125736 P2(X=9)=0.108491 P2(X=10)=0.209084 * 示例 更新概率模型 P1=θ*P1+(1-θ)P1 P2=θ*P2+(1-θ)P2 其中θ是遗忘因子，取0.5 X1 1 2 3 4 5 P1 0.169931 0.290091 0.180625 0.158729 0.200624 X2 6 7 8 9 10 P2 0.23857 0.239775 0.162868 0.154245 0.204542 * 示例