logo

您所在位置网站首页 > 海量文档  > 理工科 > 基础科学

Ch8 特征的选择与提取之特征选择.ppt 39页

本文档一共被下载: ,您可全文免费在线阅读后下载本文档。

  • 支付并下载
  • 收藏该文档
  • 百度一下本文档
  • 修改文档简介
全屏预览

下载提示

1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值,立即自动返金币,充值渠道很便利
下载地址
需要金币:500    文档纠错   收藏文档   下载帮助
支付并下载
Ch8 特征的选择与提取之特征选择 特征选择的任务:从n个特征中选择出m(m<n)个最有效的特征。 方法:根据专家的知识挑选那些对分类最有效的、最有影响的特征;用数学的方法进行筛选、比较找出对分类最有影响的特征。 特征选择 需要解决的问题 如何确定选择的标准(前面学习过的类别可分性准则); 需要找到一个比较好的算法,以便在较短的时间内找出一组最优的特征。 特征选择 两种最为显见的选择方法:单独选择法与穷举法。 单独选择法指的是把n个特征单独使用时的可分性准则都计算出,从大到小排序,如: 使得J较大的前m个特征作为选择结果,但是这样所得到的m个特征一般未必时最好的。 特征选择 穷举法: 从D个特征中选择d个,所有可能的组合数为 ,如D=20, d=10,这时有 种特征的组合方法。把184756种特征组合的可分性准则函数全部计算出来,然后看哪一种特征组合的准则函数值最大,我们就应该选择这种组合的前10个特征。 特征选择——分支定界法 分支定界法:是一种自上而下的启发式搜索算法,具有回溯功能,可使所有可能的特征组合都被考虑到。由于合理的组织了搜索过程,使得有可能不必计算某些组合,而又不影响得到最优的结果。 分支定界法的必备条件:所使用的准则函数必须是具有单调性的。即,从D个特征中选择d个特征组成d维特征向量,再由这d个特征中选择k个特征组成k维向量,对应的准则函数应满足: D>d>k 特征选择——分支定界法 分支定界法:整个搜索过程可以使用树来表示,下图表示一个从5个特征中选择2个特征的例子,节点上的标号表示去掉的特征序号。每一级在上一级的基础上再去掉一个特征。级数正好是已经去掉的特征数。 特征选择——分支定界法 特征选择——分支定界法 分支定界法:若某一支已经搜索到叶节点,例如,右侧的第一支的叶节点,该节点的特征组为x*=(x1,x2)T,计算相应的准则函数值并将其作为界:B=J(x*)。这时,树中的某个节点,例如节点A,节点所表示的特征组为(x1,x4,x5)T;计算出节点A相应的准则函数值JA,若JA≤ B,则节点A以下各点都不必计算,这是由于准则函数的单调性所确定的。 特征选择——分支定界法 注意:在搜索过程中,如果发现了某个叶节点所对应的准则函数值J>B,则可以断言:J是当前搜索到的最优特征组,于是可以修改x*和B;继续搜索,直到全树搜索结束。 分支定界法,一般将其称为最优搜索算法。 特征选择——分支定界法 算法步骤:假设当前处于某一级i的某个节点上。对于 各级的所有后继节点所舍弃的特征已经求出,并存在存储器内。 表示第i级的当前所讨论节点的 个后继节点所舍弃的特征; 表示处于第i级的当前所讨论节点在舍弃i个特征后所具有的特征集, 表示处于第i级的当前所讨论节点的后继节点可以舍弃的特征集合, 表示这个集合的基数。 特征选择——分支定界法 在下面的算法中,显然 和 是已知的。算法是从0级开始的,并从右边的第一支开始计算,D是原始特征的数目,d是所要选择出的特征数目,J是可分性准则函数,r0=D, 是全部特征集合, 。 特征选择——分支定界法 算法步骤 步骤1 利用公式 计算 ; 根据下式计算 : 从 中去掉 ,并修改 特征选择——分支定界法 算法步骤 步骤2:检验和后继节点相应的准则函数值是否小于B。 若 ,则转向步骤4;否则,若 ,则置 ,然后转向步骤3,否则从 中去掉 ,即 若 ,则转向步骤5,否则置 ,然后转向步骤1。 特征选择——分支定界法 算法步骤 步骤3 把 放回到 中,即 置 若 ,则转向步骤2,否则转向步骤3。 特征选择——分支定界法 算法步骤 步骤 4 回溯 置 若 ,则终止算法; 否则,把 放入到当前的特征集,即 置 ,转向步骤3。 特征选择——分支定界法 算法步骤 步骤 5 修改界值 置 ,把 作为当前最好的特征组 ,置 ,转向步骤3。 特征选择——分支定界法 分析 优点:该算法可以求出最优解。

请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
用户名: 验证码: 点击我更换图片

©2010-2013 max.book118.com在线文档投稿赚钱网. All Rights Reserved 蜀ICP备08101938号