机器学习模型的可解释性SHAP值分析方法.docxVIP

机器学习模型的可解释性SHAP值分析方法

一、机器学习黑箱困境与可解释性方法的演进

（一）复杂模型落地中的可解释性刚需

随着机器学习技术从实验室走向产业落地，以集成树模型、深度神经网络为代表的复杂模型凭借强大的非线性拟合能力，在预测精度上不断突破，被广泛应用在金融风控、医疗诊断、司法辅助、内容推荐等各类场景中。但这类复杂模型的内部决策逻辑呈现高度的非线性和参数化特征，即使是模型开发者也很难直接通过模型参数说清楚“某个输入特征如何影响最终预测结果”“单个样本的预测结果是由哪些因素主导的”，这就是长期困扰行业的“黑箱”问题。

在低风险的内容推荐场景中，黑箱模型即使出现决策偏差，最多是影响用户的内容消费体验，不会造成严重的实质性伤害；但在高风险决策场景中，模型的决策结果直接关系到用户的核心利益，比如信贷审批结果决定用户能不能拿到贷款，医疗诊断结果决定患者的治疗方案，司法风险评估结果影响当事人的量刑参考，这时候仅有预测精度是远远不够的。有研究通过对全球一百余家落地机器学习系统的企业调研发现，在高风险决策场景中，缺乏可解释性的模型即使预测精度超过人类专家，其实际落地的用户接受度也不足三成，核心原因就是决策者和用户都无法信任一个“说不出理由”的决策结果（Miller，2019）。除了接受度的问题，各国监管层面也在不断出台针对算法透明度的合规要求，明确要求涉及用户权益的算法决策必须提供可理解的解