金融与财务机器学习 第9章 树模型与分类模型.pptVIP

Boosting算法在金融中的应用*Carmona（2019）则使用XGBoost基于30个财务因子来预测银行倒闭的概率，模型整体表现优秀。王燕和郭元凯（2019）通过网格搜索算法对XGBoost模型进行参数优化构建GS-XGBoost的金融预测模型，并将该模型运用于股票短期预测。李斌，邵新月和李玥阳（2019）利用GBDT模型和XGBoost模型等多种机器学习算法构建股票收益预测模型及投资组合专栏9-4Xgboost模型在选股中的应用*第五节Bagging算法Bagging算法基本原理*Bagging通过并行的方式同步生成多个基学习器，最终通过集合所有学习器的结果来得到训练结果。通过随机设定样本集和特征数来得到。使用自助采样方法得到子样本，然后针对每一个子样本建立基学习器，接下来，将测试数据集放到每一个基学习器中，再把学习器计算得出来的结果进行平均或者投票。图Bagging算法基本原理随机森林模型*随机森林模型进一步在基学习器训练中引入了随机属性，随机抽样成多个新的数据集，通过构造多个决策树基学习器，统计森林中的每棵树对该样本的预测结果，然后通过投票法从这些预测结果中选出最后的结果。随机森林模型的构建分为训练阶段和预测阶段训练阶段：将数据集随机抽样成多个新的数据集，从而使用多个不同的子训练集来训练多棵决策树，再平均每棵决策树的结果。预测阶段：根据生成的多个决策树分类器对需要进行预测的数据进行预测，对于回归问题，根据每棵树的投票结果，并进行平均得到最终的预测结果。图基于Bagging的随机森林随机森林模型*随机森林模型进一步在基学习器训练中引入了随机属性，随机抽样成多个新的数据集，通过构造多个决策树基学习器，统计森林中的每棵树对该样本的预测结果，然后通过投票法从这些预测结果中选出最后的结果。随机森林中每棵决策树的生成规则随机且有放回地从训练集中的抽取训练样本；随机地从M个特征中选取m个特征子集（m远小于M）；每次树进行分裂时，从这m个特征中选择最优的；直到该节点的所有训练样本均属于同一类，而且不需要剪枝处理。图随机森林基本原理随机森林模型的优点*随机森林中的“随机”就是指的样本随机性和属性随机性，使得随机森林不容易陷入过拟合，并且具有很好得抗噪能力。更多的随机特性使得随机森林的泛化能力大大提高，模型在很多现实任务中表现出强大的性能。随机森林对噪声和异常值有较好的容忍性，能够在不需要降维的条件下处理具有高维特征的输入样本，具有良好的可扩展性和并行性。图随机森林基本示例Bagging算法在金融中的应用*Ballingsetal.(2015)使用欧洲企业数据比较了集成式模型与单一模型的预测能力,结果发现集成式模型中的随机森林模型表现最好。Kraussetal(2015)在使用技术指标进行股价预测时比较了四类模型，同样发现随机森林表现高于支持向量机、神经网络和朴素贝叶斯模型。王磊，范超和解明明（2014）构建了基于分类决策树模型和随机森林模型构建了可适用于小企业主信用评分模型的12种数据挖掘模型。姜富伟，马甜和张宏伟（2021）发现随机森林方法构建的动态模型更好地解释我国股市低风险定价异象。专栏9-5可指定优先分裂的因子的随机森林模型构建选股策略*本章小结与复习思考题本章小结*从分类模型中逻辑回归开始，介绍了逻辑回归的而基本概念，描述了逻辑回归中线性求和、函数映射、计算误差以及修正参数四个步骤。典型的决策树模型包含初始根节点，内部节点和带有最终决策结果的叶节点三个部分组成。根据输出结果的不同，决策树模型又可以分为分类数和回归树两类。在决策树的生长中，度量样本纯度的指标有“信息熵”、“信息增益率”和“基尼系数”等。在树形模型中可以通过“预剪枝”和“后剪枝”两种策略用以降低生长过程中过拟合的风险。本章小结*详细介绍了具有划时代意义的CART模型，包括CART分类树、CART回归树与模型树。引入了集成学习的概念进一步增强模型的效果，并分为Boosting算法和Bagging算法两类。介绍了Boosting家族中从AdaBoost模型和GBDT模型，再到XGBoost模型等在算法和性能上不断优化的过程。介绍了Bagging算法中典型模型随机森林模型，其随机包括样本随机性和属性随机性。随机森林较好的可扩展性和异常值上有较好的容忍性使其在机器学习领域大受欢迎。复习思考题*阐述逻辑回归的步骤。阐述树形模型非线性特征的来源。阐述树形模型的度量指标，并试析信息增益作为划分标准的缺陷。阐述对树形模型进行剪枝的原因并比较不同剪