对信息准则的认识.docxVIP

对信息准则的认识Knowledge of information standards【摘要】 为了在一组可供选择的模型中选取一个最优的模型，常常需要对统计模型的拟合程度进行衡量，本文介绍了几种衡量统计模型拟合优良性信息准则标准，通过对其概念的一般性认识可以帮助我们学习模型选择方面的知识。【关键词】 信息准则；AIC；BICAbstract：In order to select the optimal one in a set of alternative model, we need to measure the fitting degree of statistical model . This paper introduces several information criterion to measure the goodness of statistical models, through the general understanding of the concept can help us learn the knowledge of model selection.Keywords: Information criterion,AIC,BIC引 言经常地，对一堆数据进行建模的时候，特别是分类和回归模型，我们有很多的变量可供使用，选择不同的变量组合可以得到不同的模型，例如我们有5个变量，2的5次方，我们将有32个变量组合，可以训练出32个模型。但是哪个模型更加的好呢？本文介绍了几种常见的信息准则如AIC、BIC等，这几种信息准则已经被广泛的应用在模型选择中，通过对模型拟合度的分析可以帮助我们选择最佳模型方案。几种常见的信息准则2.1. AIC信息准则（akaike information criterion）2.1.1 基本概念AIC信息准则，即Akaike information criterion，简称AIC，是衡量统计模型拟合优良性的一种标准，是由日本统计学家赤池弘次创立和发展的。赤池信息量准则建立在熵的概念基础上，可以权衡所估计模型的复杂度和此模型拟合数据的优良性。2.1.2 AIC基本内容①在一般的情况下，AIC可以表示为：AIC=(2k-2L)/n （1）它的假设条件是模型的误差服从独立正态分布，其中：k是所拟合模型中参数的数量，L是对数似然值,n是观测值数目。AIC的大小取决于L和k。k取值越小，AIC越小；L取值越大，AIC值越小。k小意味着模型简洁，L大意味着模型精确。因此AIC和修正的决定系数类似，在评价模型是兼顾了简洁性和精确性。②让n为观察数，RSS为剩余平方和，那么AIC变为：?AIC=2k+nln(RSS/n)（2）表明增加自由参数的数目提高了拟合的优良性，AIC鼓励数据拟合的优良性但是尽量避免出现过度拟合(Overfitting)的情况。所以优先考虑的模型应是AIC值最小的那一个。赤池信息准则（AIC）的方法是寻找可以最好地解释数据但包含最少自由参数的模型。2.1.3 AIC相关内容①AICc与AICu：在样本小的情况下，AIC转变为AICc：AICc=AIC+[2k(k+1)/(n-k-1) (3)当n增加时，AICc收敛成AIC。所以AICc可以应用在任何样本大小的情况下。把AICc定义为：AICc=ln(RSS/n）+(n+k)/(n-k-2) (4)他们提出的另一个紧密相关指标为AICu：AICu=ln[RSS/(n-k)]+(n+k)/(n-k-2) （5）②QAIC: QAIC(Quasi-AIC)可以定义为：QAIC=2k-1/c*2lnL (6)其中：c是方差膨胀因素。因此QAIC可以调整过度离散（或者缺乏拟合）。在小样本情况下, QAIC表示为：QAICc=QAIC+2k(2k+1)/(n-k-1) (7)2.2. BIC信息准则（Bayesian Information Criterion）贝叶斯信息准则，也称为Bayesian Information Criterion（BIC）。2.2.1 理论概述贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分，是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。2.2.2 基本思想贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是:★已知类条件概率密度参数表达式和先验概率★利用贝叶斯公式转换成后验概率★根据后验概率大小进行决策分类2.2.3 公式设D1，D2，……，Dn为样本空间S的一个划分，如果以P(Di)表示事件Di发生的概率，且P(Di)0(i=1，2，…，n)。对于任一事件x，P(x)0，如