基于随机森林的正例与未标注学习.pdfVIP

2014年 12月 计算机工程与设计 Dec．2014 第35卷 第 12期 COMPUTER ENGINEERING AND DESIGN VoL35 No．12 基于随机森林的正例与未标注学习 邵 强，张 阳+，蔡晓妍 (西北农林科技大学信息工程学院，陕西 杨凌 712100) 摘 要 ：为使用正例与未标注数据训练分类器 (positiveandunlabeledlearning，PU learning)，提出基于随机森林的PU学 习算法。对POSC4．5算法进行扩展 ，在其生成决策树的过程中加入随机特征选择 ；在训练阶段，使用有放回抽样技术对 PU数据集抽样，生成多个不同的PU训练集，并以其训练扩展后的POSCA．5算法，构造多棵决策树；在分类阶段，采用 多数投票策略集成各决策树输 出。在 UCI数据集上的实验结果表 明，该算法的分类性能优于偏置支持 向量机算法、 POS4．5算法和基于装袋技术的POSC4．5算法。 关键词：正例与未标注学习；决策树 ；随机森林；集成学习；偏置支持向量机 中图法分类号：TP391 文献标识号：A 文章编号：1000—7024 (2014)12—4329—06 Positiveandunlabeledlearningbasedonrandom forest SHAOQiang，ZHANGYang+，CAIXiao-yan (CollegeofInformationEngineering，NorthwestAgricultureandForestryUniversity，Yangling712100，China) Abstract：Tousepositiveandunlabeledexamplestotraintheclassifier(PU learning)，analgorithm basedontherandom forest waspropose ThePU decisiontreealgorithm POSCA．5wasextendedtOdea1withtherandom featureselectionwhenatreewas growing．Inthetrainingphrase，samplingwithreplacementontheoriginalPU datasetwasadoptedtOgeneratemultipledifferent PU trainingdatasetsandmultipletreesweretrainedonthesedatasetsusingextendedPOSAC ．5．Intheclassificationphrase，the outputsofthetrainedtreeswereaggregatedusingthemajorityvote．ExperimentalresultsonUCIdatasetsshow thattheclassi— ficationperformanceofthemethodproposedisbetterthanthatofthebiasedsupportvectormachine，thePOSCA．5andthebag— gingPOSCA．5． Keywords：positiveandunlabeledlearning；decisiontree；random forest；ensemble1earning；biasedsupportvectormachine 数据中找出正例与负例I2]，这一步根据具体的应用领域采 0 引 言 用启发式策略；第二步以正例和从未标注数据中抽取的正 传统的两分类算法需要使用全标注的训练数据训练分 例和负例作为输入，使用已有的监督学习算法训练分类模 类模型。然而，在现实中数据通常是未标注，让人类专家 型，第二类算法是对 已有的监督学习算法进行改造，使其 对数据进行标注需要