基于随机森林和转导推理的特征提取方法.pdfVIP

第 49卷 第 3期 厦门大学学报 (自然科学版) Vo1．49 No．3 2010年 5月 JournalofXiamenUniversity(Natura1Science) May2010 基于随机森林和转导推理的特征提取方法 邱一卉 ，米 红 (厦门大学信息科学与技术学院，福建 厦门361005) 摘要：提出一种基于随机森林和转导推理的特征提取方法，步骤如下：1)利用带标签的训练样本建立随机森林模型；2) 将无标签的测试数据导入随机森林模型中，生成全体数据(训练样本和测试数据)的相似性矩阵；3)对该相似性矩阵进行 多维尺度变换得到全体数据的低维数据表示，即低维特征，使得原高维数据在低维空间中具有更好的可分性．UCI数据 库的实验结果表明：与主成分分析方法相比，该方法将无标签测试集的数据分布信息转移到相似性矩阵中，更好地刻画 整个样本空间上的数据分布特性，从而提高分类器的性能，是一种行之有效的特征提取方法．最后还讨论了特征提取维 数对模型准确率的影响，为实际应用提供参考． 关键词 ：特征提取；随机森林；转导推理 中图分类号 ：TP181 文献标识码 ：A 文章编号：0438—0479(2010)03—0333—06 由于缺乏先验信息和专家知识，机器学习和数据 UCI数据库上的实验表 明：该方法充分利用带标签的 挖掘算法建模过程存在的一个突出问题是数据的属性 训练样本和无标签测试数据 的全部信息，将测试集的 维数众多．在诸如人脸识别和图像检索等应用中，由于 数据分布信息从无标签测试数据转移到相似性矩阵 所处理数据具有高维数的特点，如果不对其进行有效 中，与传统的归纳式学习算法 PCA相 比，能更好地刻 的特征提取 ，则很容易出现所谓的 “维数灾难”．如何以 画整个样本空间上的数据特性，从而更好地提高分类 较少的维数来表示数据 ，通过更为稳定的表示来提高 器的性能，是一种行之有效的特征提取方法．本文的最 分类性能，删去多余的或不相关的信息，由图形表示发 后还讨论了特征提取维数对模型准确率的影响，为实 现其固有结构正是维数约减所研究的范畴，即通常所 际应用提供 了实验参考． 说的降维[1]．维数约减的有效性是很多机器学习算法 成败与否的关键，常见的维数约减方法有主成分分析 1 随机森林概述 (Principalcomponentanalysis，PCA)以及线性 0别分 析方法 (Linerdiscriminantanalysis，LDA)E13．PCA 的 随机森林是一种组合分类器方法，构成随机森林 目的是寻找在最小均方意义下最能够代表原始数据的 的基本分类器是决策树．决策树是一种 由结点和有向 投影方法 ，LDA的 目的是寻找在最小均方意义 下，最 边组成的层次结构 ，树 中包含 3种结点：根结点、内部 能够分开各类数据的投影方法，这两种算法都是归纳 结点、终结点．决策树仅有一个根结点，是全体训练数 式学习算法．传统的归纳式学习算法试 图获得某种学 据集合．树中的每个内部结点是一个分裂问题 ，它将到 习机器，使其对未来所有可能样本的预期性能最优，而 达该结点处的样本按某个特定属性分块．每个终结点 在很多实际问题中往往只需对一些特定 的数据进行识 (又称为叶结点)是带有分类标签的数据集合．从决策 别，于是考虑设计一种更为经济的分类器 ，用于建立一 树的根结点到叶结点的一条路径就形成一个判别规 种直接从 已知样本出发对特定 的未知数据进行识别的 则．决策树算法采用 自顶向下的贪婪算法，每个内部结 方法和原则．相对于传统的归纳和演绎推理 ，这种推理 点选择分类结果最好的属性将到达该结点的数据分成