Ch特征的选择与提取之特征选择优秀讲义.pptVIP

Ch8 特征的选择与提取之特征选择 特征选择的任务：从n个特征中选择出m(mn)个最有效的特征。 方法：根据专家的知识挑选那些对分类最有效的、最有影响的特征；用数学的方法进行筛选、比较找出对分类最有影响的特征。 特征选择 需要解决的问题 如何确定选择的标准（前面学习过的类别可分性准则）； 需要找到一个比较好的算法，以便在较短的时间内找出一组最优的特征。 特征选择 两种最为显见的选择方法：单独选择法与穷举法。 单独选择法指的是把n个特征单独使用时的可分性准则都计算出，从大到小排序，如： 使得J较大的前m个特征作为选择结果，但是这样所得到的m个特征一般未必时最好的。 特征选择 穷举法： 从D个特征中选择d个，所有可能的组合数为 ，如D=20, d=10，这时有 种特征的组合方法。把184756种特征组合的可分性准则函数全部计算出来，然后看哪一种特征组合的准则函数值最大，我们就应该选择这种组合的前10个特征。 特征选择——分支定界法 分支定界法：是一种自上而下的启发式搜索算法，具有回溯功能，可使所有可能的特征组合都被考虑到。由于合理的组织了搜索过程，使得有可能不必计算某些组合，而又不影响得到最优的结果。 分支定界法的必备条件：所使用的准则函数必须是具有单调性的。即，从D个特征中选择d个特征组成d维特征向量，再由这d个特征中选择k个特征组成k维向量，对应的准则函数应满足： Ddk 特征选择——分支定界法 分支定界法：整个搜索过程可以使用树来表示，下图表示一个从5个特征中选择2个特征的例子，节点上的标号表示去掉的特征序号。每一级在上一级的基础上再去掉一个特征。级数正好是已经去掉的特征数。 特征选择——分支定界法 特征选择——分支定界法 分支定界法：若某一支已经搜索到叶节点，例如，右侧的第一支的叶节点，该节点的特征组为x*=(x1,x2)T，计算相应的准则函数值并将其作为界：B=J(x*)。这时，树中的某个节点，例如节点A，节点所表示的特征组为(x1,x4,x5)T；计算出节点A相应的准则函数值JA，若JA≤ B，则节点A以下各点都不必计算，这是由于准则函数的单调性所确定的。 特征选择——分支定界法 注意：在搜索过程中，如果发现了某个叶节点所对应的准则函数值JB，则可以断言：J是当前搜索到的最优特征组，于是可以修改x*和B；继续搜索，直到全树搜索结束。 分支定界法，一般将其称为最优搜索算法。 特征选择——分支定界法 算法步骤：假设当前处于某一级i的某个节点上。对于 各级的所有后继节点所舍弃的特征已经求出，并存在存储器内。 表示第i级的当前所讨论节点的 个后继节点所舍弃的特征； 表示处于第i级的当前所讨论节点在舍弃i个特征后所具有的特征集， 表示处于第i级的当前所讨论节点的后继节点可以舍弃的特征集合， 表示这个集合的基数。 特征选择——分支定界法 在下面的算法中，显然 和 是已知的。算法是从0级开始的，并从右边的第一支开始计算，D是原始特征的数目，d是所要选择出的特征数目，J是可分性准则函数，r0=D, 是全部特征集合， 。 特征选择——分支定界法 算法步骤 步骤1 利用公式 计算 ； 根据下式计算 ： 从 中去掉 ，并修改 特征选择——分支定界法 算法步骤 步骤2：检验和后继节点相应的准则函数值是否小于B。 若 ，则转向步骤4；否则，若 ，则置 ，然后转向步骤3，否则从 中去掉 ，即 若 ，则转向步骤5，否则置 ，然后转向步骤1。 特征选择——分支定界法 算法步骤 步骤3 把 放回到 中，即 置 若 ，则转向步骤2，否则转向步骤3。 特征选择——分支定界法 算法步骤 步骤 4 回溯 置 若 ，则终止算法； 否则，把 放入到当前的特征集，即 置 ，转向步骤3。 特征选择——分支定界法 算法步骤 步骤 5 修改界值 置 ，把 作为当前最好的特征组 ，置 ，转向步骤3。 特征选择——分支定界法 分析 优点：该算法可以求出最优解。 缺点：在很多情形，该算法的计算量