金融与财务机器学习 第11章 模型评估、训练与可解释性.pptVIP

*第五节模型可解释性模型可解释性*2021年3月26日，中国人民银行制定发布了《人工智能算法金融应用评价规范》，针对当前人工智能技术应用存在的模型黑箱等潜在风险问题，建立了人工智能金融应用算法评价框架，从可解释性等方面系统化地提出基本要求、评价方法和判定准则，为金融机构加强智能算法应用风险管理提供指引。模型可解释性*模型的可解释性是大多数机器学习模型必备的一种能力，即指人类能够理解模型在其决策过程中所做出的选择（如何决策，决策原因和决策了什么）通常在做模型选择（黑箱模型或白箱模型）时，要权衡模型预测客观精确性和可解释性。黑箱模型：模型预测具有高度的精准性，但其内部运算机制难以被理解，也无法衡量每个特征变量对于模型预测结果的重要性，更不能体现特征变量之间的相互作用。（包括：神经网络模型、集成模型等）白箱模型：模型具有出色的可解释性，且内部的运算机制也容易理解，但模型预测能力受限，且无法对数据集内在的复杂性进行建模。（包括线性回归模型、决策树模型等）黑箱VS白箱*黑箱模型VS白箱模型（可解释性模型）可解释性分类*模型解释阶段的维度内在可解释性：模型由于其简单的结构而被认为是可解释的。事后可解释性：训练后应用可解释性的提升方法。模型相关性的维度模型特有可解释性：可解释性仅限于部分特定模型。模型无关可解释性：可运用于任何机器学习模型。模型解释范围的维度局部可解释性：关注单个或一组样本的依赖（响应）变量和独立（预测）特征之间的条件相互作用来解释和理解模型决策。全局可解释性：基于完整数据集，理解模型整体逻辑以及内部工作机制。可解释性的提升*增强模型可解释性的方法：特征重要度特征交互ShapleyValues（常用SHAP方法）部分依赖图（PDP）个体条件期望图（ICE）累积局部效应图（ALE）全局（GSM）或局部（LIME）代理模型。可解释性的提升*方法解释阶段解释相关性模型解释范围内在可解释性事后可解释性特有可解释性无关可解释性全局可解释性局部可解释性线性模型√?√?√?决策树√?√?√?FeatureImportance?√?√√?FeatureInteraction?√?√√?SHAP?√?√√√PDP?√?√√√ICE?√?√?√ALE?√?√?√GSM?√?√√√LIME?√?√?√可解释性的提升方法分类专栏11-3机器学习选股模型的可解释性分析*本章小结与复习思考题本章小结*模型评估中的相关概念包括：偏差-方差、泛化误差、过拟合与欠拟合。模型评价指标分为回归模型评价指标（包括MSFE等）与分类模型评价指标（包括精确率、AUC值等）。模型训练集的划分方法有留出法、K折交叉验证法、留一法、自助法与时序交叉验证法等。超参数调优主要包括手动搜索、网格搜索、随即搜索及贝叶斯优化四种方式。关注模型的可解释性，应用模型可解释性的提升方法，助力机器学习与金融深度融合。复习思考题*举例说明“偏差”和“方差”在金融学中的含义。“训练误差”和“泛化误差”的区别是什么？训练集、验证集和测试集的区别与联系？回归模型中常见评价指标有哪些？阐述分类模型中的评价指标。阐述K折交叉验证法的实施步骤。比较留出法、留一法、K折交叉验证法的优势和劣势。什么是超参数设定？请阐述超参数设定的具体方法。阐述黑箱模型与白箱模型。增强模型可解释性的方法有哪些？*谢谢观看！金融机器学习教研组金融机器学习FuweiJiangFooter*第十一章模型评估、训练与可解释性章前导读*有没有一种最优的机器学习模型？如何去评估一个机器学习模型？有哪些模型训练与测试方法？什么是超参数调优？机器学习模型可解释性的重要性？本章框架*第一节模型评估的相关概念偏差-方差泛化误差过拟合和欠拟合第二节模型评价指标回归模型评价指标分类模型评价指标第三节模型训练与测试留出法K折交叉验证法留一法自助法时序交叉验证法第四节超参数调优传统手动搜索网格搜索随机搜索贝叶斯优化第五节模型可解释性可解释性的含义黑箱vs白箱可解释性的分类可解释性的提升*第一节模型评估的相关概念偏差-方差*偏差-方差窘境*“偏差-方差窘境”：在机器学习训练过程中无法同时降低偏差和方差，只能在两者之间取得均衡。在模型拟合中，若想降低偏差，便可增加