《机器学习算法概述》3700字.docxVIP

PAGE

PAGE29

机器学习算法概述

目录

TOC\o1-3\h\u28359机器学习算法概述 1

236461.1随机森林算法 1

43291.2GBDT算法 2

85181.3XGBoost算法 4

134131.4逻辑回归算法 6

9791.5Stacking技术 7

1.1随机森林算法

随机森林(RandomForest)算法[52]是由BreimanL于2001年提出的，它是一种基于Bagging的集成学习算法，其既可以用于分类任务也可以用于回归任务。随机森林算法是利用Bagging集成方法和随机子空间的思想对决策树进行集成的分类算法，其基本思想为首先使用Bagging方法对数据集进行随机采样选取训练子集，然后基于训练子集构建决策树。在构建决策树的过程中进行节点分裂时，随机的将样本特征划分成不同的特征子空间，来增大决策树之间的多样性，提高随机森林的泛化性能，防止过拟合问题。最后，对构建的多个决策树模型采用“多数表决”的投票方式，得到最终的分类结果。

对于分类问题，随机森林模型的最终输出为：

H

(2.6)

其中，I(.)是指示函数，htX表示第t棵决策树的输出，

随机森林建模的主要步骤如下：

(1)利用Bootstrap采样方法从训练集中随机有放回的选取k个训练子集。

(2)假设数据集的