信用评级模型验证方法探讨.docVIP

信用评级模型验证方法探讨 　　摘要：完整的信用风险管理体系不仅包含科学的违约概率预测 　　方法，可靠的验证程序也是风险管理工作的重要保证。传统的检验方法建立在“50%”临界点的基础上，但这并不是一个可靠的选择。ROC动态检验方法中判断标准被设定为动态变化的，ROC曲线刻画的是在连续临界点取值下，命中率和错报率的组合情况，呈现的检验结果客观直接，且不产生指标间的相互矛盾。通过基于真实数据的实证分析，ROC动态检验被认为是一个更科学的检验方法。 　　关键词：ROC 内部评级 违约概率 模型检验 　　1 概述 　　在巴塞尔委员会2004年6月正式发布《统一资本计量和资本标准的国际协议：修订框架》以来，建立符合自身利益和监管要求的信用管理系统已经成为各家银行的共识。然而完整的信用风险管理体系不仅包含科学的违约概率预测方法，严谨的验证过程也是风险管理工作的保证。巴塞尔委员会要求“银行必须建立一个健全的体系，验证评级系统所有风险要素的准确性和一致性”[1]。因此，一个合理的违约预测结果检验方法和违约预测方法本身一样重要。 　　然而现有的研究工作依然大量地集中在预测模型本身，对检验方法的研究还相对薄弱，目前相关文献中采用的预测模型检验方法大多为传统的“50%”临界点检验 　　方法①，比如邹亚宝和梁红漫（2013）[2]、蓝润荣和程希俊（2013）[3]、杨蓬勃等（2009）[4]。但是，正如石晓军等人指出的（2007）[5]，“这个选择并没有坚实的理论依据”。事实上，50%并不是一个可以被普遍接受的违约概率。在很多情况下，违约概率即便为20%，也被视为是一个不能接受的贷款申请。因此，这一传统的方法并不十分合理。 　　由于传统检验方法的局限性，学者进行了检验方法的相关研究。目前得到业界和学术界较多关注的方法有KS指标法、CAP曲线法、对数似然率方法以及ROC曲线法。其中，得到最多关注和认可的当属ROC曲线法。然而从可以获得的研究成果来看，相关的研究工作均是在进行信用风险预测模型研究时为了验证模型的预测准确性而涉及该方法[6]。这些研究并未对其进行详尽的理解和介绍，对其检验结果的分析也仅限于ROC面积这一指标，存在极大的片面性。 　　本文以真实数据为基础，采用ROC动态检验方法，分别对两种违约预测模型的预测能力进行检验。研究工作对检验结果进行比较，证明了ROC动态检验方法在模型预测检验上更加全面，在模型选择上具有更好的识别能力。同时，ROC检验方法使得决策者能够根据自身对Ⅰ类错误率和Ⅱ类错误率的偏好倾向而更加灵活地选择是否违约的判断标准。这说明ROC动态检验方法在理论上和实践中都具有更大的优势。 　　2 ROC动态检验方法简介 　　ROC动态检验最先出现在信号探测理论中，是一种科学的量化检验方法，能有效克服传统检验方法在临界点选择上的片面性。Sobehart和Keenan第一次将这一方法运用在信用评级模型预测能力的检验研究工作中（2001）[7]。他们对ROC方法进行了介绍，同时对ROC检验方法的结果做了解释。他们最主要的结论是：ROC曲线下的面积大小，是对信用评级模型进行评判的重要指标。但是ROC曲线的意义远不止于此。 　　■ 　　图1 违约客户和履约客户分布图 　　图1是违约客户和履约客户的分布图，其中两个半圆分别代表了违约客户集合和履约客户集合。对于违约概率预测模型来说，风险评估人员需要事先设定一个概率值作为判断标准，依此对企业在未来是否违约做出判断。“C”即代表了对是否违约的判断标准：如果模型预测客户违约概率大于C标准，我们认为该贷款客户将会出现违约；反之，则判断其可能履约。如果“C”能将两个客户群体完全区别开，则是一个完美的模型预测结果。但是，实际模型得到的违约群体和履约群体两个分布一定有重叠部分，这是评判模型的精确程度的重要依据。重叠部分越大，评判模型对客户分布的区分能力越差，模型预测的精度也就越差。 　　表1是模型预测可能得到的四种结果： 　　表1 模型预测四种结果② 　　■ 　　hit（C）表示以“C”为判定标准时，“hit”所代表的客户数目，即被正确判定为违约的实际违约贷款客户数目。ND是实际违约客户数目。命中率HR（C）=■表示在判定标准为“C”的时候，被正确判断为违约的实际违约客户占全部违约客户的比例。这一指标是对模型正确判断违约客户能力的衡量。 　　false（C）表示以“C”作为判定标准时，被错误判断为违约的实际履约客户数目；NND表示样本中实际履约客户的全体数目。错报率FAR（C）=■，表示当判定标准为“C”的时候，被错误判断为违约的实际履约样本数目占实际履约客户的比重。这一指标是对模型错误预报违约的程度的描述。 　　在传统的检验方法中，“C”通常被设定为“50%”。而ROC动态检验并不拘泥于特定的临界点标准。在R