哈尔滨工业大学-模式识别课程-6．特征的提取与选择4学时知识课件.pptVIP

; 对特征空间的改造、优化、主要的目的是降维，即把维数高的特征空间改成维数低的特征空间。 ;;3．如果两类物体在一个二维特征空间如图分布,能否用删除其中任一维来优化特征空间？有没有什么方法能得到一个对分类很有利的一维特征空间？;　4．上题的答案可用右图Y1与Y2组成的空间表示？你认为哪个分量可以删掉？ ;1．描述事物方法的选择与设计 ;;【问题的提出】;;【概念】;【概念】;【概念】;;【概念】;【概念】;【用于可分性判据的类内类间距离】;【用于可分性判据的类内类间距离】;【用于可分性判据的类内类间距离】;【用于可分性判据的类内类间距离】;Chobychev 距离;选择原则：;【基于概率分布的可分性判据】;【基于概率分布的可分性判据】;【基于概率分布的可分性判据】;【基于概率分布的可分性判据】;【基于概率分布的可分性判据】;【熵可分性判据】;【熵可分性判据】;【熵可分性判据】;【熵可分性判据】;;;;一、穷举算法： 计算每一可能的组合，逐一比较准则函数。 适用于： d 或D ? d 很小（组合数较少）的情况。;;;特征总数D以及选择特征数d增加时，穷举法计算量迅速上升。;;;;【模拟退火算法】;;;【复习】;; 基本遗传算法（Simple Genetic Algorithms，简称SGA），其遗传进化操作过程简单，容易理解，是其它一些遗传算法的雏形和基础。 ; 编码 ;几个术语 ;初始种群 ：; 遗传算法使用选择运算来实现对群体中的个体进行优胜劣汰操作：适应度高的个体被遗传到下一代群体中的概率大；适应度低的个体，被遗传到下一代群体中的概率小。选择操作的任务就是按某种方法从父代群体中选取一些个体，遗传到下一代群体。;交叉前： 00000|01110000000010000 11100|00000111111000101 交叉后： 00000|00000111111000101 11100|01110000000010000; 所谓变异运算，是指依据变异概率 Pm 将个体编码串中的某些基因值用其它基因值来替换，从而形成一个新的个体。遗传算法中的变异运算是产生新个体的辅助方法，它决定了遗传算法的局部搜索能力，同时保持种群的多样性。交叉运算和变异运算的相互配合，共同完成对搜索空间的全局搜索和局部搜索。 SGA中变异算子采用基本位变异算子。 ;基本位变异???子的执行过程 ;SGA的框图 ;;特征提取：把D个特征变为d 个新特征;【概念】;【概念】;;;;;;1. Chernoff 概率距离;【概率距离判据下的特征提取方法】;;;;;;;;;典型的应用系统框架