随机森林算法原理与实现.pdfVIP

#源代码#随机森林算法和原理介绍及代码实现

Peaker

在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个

别树输出的类别的众数而定。LeoBreiman和AdeleCutler发展出推论出随机森林的算法。

而RandomForests是他们的商标。这个术语是1995年由贝尔的TinKamHo所提

出的随机决策森林（randomdecisionforests）而来的。这个方法则是结合Breimans的

Bootstrapaggreing想法和Ho的randomsubspacemethod以建造决策树的集合。

学习算法

根据下列算法而建造每棵树：

1.用N来表示训练例子的个数，M表示变量的数目。

2.我们会知一个数m，被用来决定当在一个节点上做决定时，会使用到多少个变量。

m应小于M

3.从N个训练案例中以可重复取样的方式，取样N次，形成一组训练集（即bootstrap取样。）。

并使用这棵树来对剩余预测其类别，并评估其误差。

4.对于每一个节点，随机选择m个基于此点上的变量。根据这m个变量，计算其最佳的

分割方式。

5.每棵树都会完整成长而不会剪枝（Pruning）（这有可能在建完一棵正常树状分类器后会被

#Sourcecode#Randomforestalgorithmandprinciple

introductionandcodeimplementation

Peaker

Inmachinelearning,arandomforestisaclassifierthatcontainsmultipledecisiont

rees,andthecategoryofitsoutputisdeterminedbythemodeofthecategoryoutputbythe

individualtrees.LeoBreimanandAdeleCutlerdevelopedalgorithmstoderiverandom

forests.AndRandomForestsistheir.Thetermcomesfromrandomdecision

forestsproposedbyTinKamHoofBellLabsin1995.ThismethodcombinesBreimans

BootstrapaggreingideaandHosrandomsubspacemethodtobuildacollectionof

decisiontrees.

学习算法

Eachtreeisconstructedaccordingtothe

followingalgorithm:

1.UseNtorepresentthenumberoftrainingexamp,andMtorepresent

thenumberofvariab.

2.Wewillbetoldanumberm,whichisusedtodeterminehowmanyvariabwillbeused

whenmakingadecisionatanode.mshouldbesthanM

3.SampleNtimesinarepeatablesamplingmannerfromNtrainingcasestoform