CH2：广义线性模型.pptxVIP

广义线性模型;( 2 );( 3 );( 4 );( 5 );( 6 );( 7 );( 8 );( 9 );( 10 );( 11 );( 12 );( 13 );( 14 );?;证明： ;证明： ;信息;信息;?; ;?;?;( 24 );定理3：指数分布的矩母函数可以表示为： ;例4：应用累计矩母函数计算指数分布族的均值和方差。 ;?;?;?;2.1.2 连接函数;?;例8：分别写出泊松分布和伽马分布假设下广义线性模型的正则连接函数。 ;( 33 );( 34 );2.2.1 极大似然估计; 假设有 个观测值，且 相互独立，那么他们的联合对数似然函数为：;那么主要的证明任务就是说明：;然后一项一项来看：; 正则连接函数下，可以大大简化回归参数的估计方程，且使得观测值的加权和等于拟合值的加权和。 不过在实际应用中，简化估计方程并不能作为选择连接函数的主要依据。;2.2.2 Newton迭代法;具体分析一下 和;Newton迭代的一般步骤： 1、设置初始估计值 2、根据初始值计算出 和 3、根据迭代公式： 得到新估计值 4、计算两个估计值的差 ，并判断其是否小于预设的阈 值（如 ） 5、如果大于阈值，则将得到的 作为新的初始值带入迭代公式， 重复3、4、5步骤，直到两个估计值的差小于阈值则范围最后的 估计结果。;2.2.3 迭代加权最小二乘法; 称为工作变量（working response），是一个 维向量，第 个元素为： ; 【推论】如果使用对数连接函数，则迭代公式可以表示为： ;2.2.4 迭代法与迭代加权最小二乘法的比较; 在正则连接函数的情况下， ，故方差函数可以表示为：;2.2.5 离散参数的估计;下面说明矩估计的结果一个近似无偏估计：; 估计离散参数时最好使用未经汇总的数据。 数据汇总后，会减少观测值个数 ，从而影响离散估计值的稳定性。 不过，数据汇总不会对回归参数的估计值产生影响。;2.2.6 参数估计值的标准误;2.3.1偏差;1.尺度化偏差;由于 ，所以式2.65可以变形为 由极大似然估计的性质可以得到下述渐近分布： 所以有 (2.66);尺度化偏差;式2.67中的尺度化偏差可以变形为： 由2.66可以知道，上式第一项近似服从自由度为n的卡方分布；第二项近似服从自由度为k+1的卡方分布；第三项是大于0的常数，如果当前模型拟合的很好，该项应该接近0。 所以如果当前模型拟合的很好那么尺度化偏差就应该近似服从自由度为n-k-1的卡方分布。 ;;两个例子;广义线性模型在各种分布假设下的尺度化偏差;;;其他分布假设下的尺度化偏差;2.残差偏差;3.基于残差偏差估计离散参数;2.3.2 模型比较;离散参数是未知的情况 由于 近似服从自由度为r的卡方分布 由公式 和 可知 所以 近似服从自由度为n-k-1的卡方分布，即 ;因此可以定义下列F统计量： ;2.非嵌套模型的比较;应用AIC比较的经验规则： （1）当两个模型的AIC之差小于2.5时，表明这两个模型没有明显差异。 （2）当两个模型的AIC之差大于10时，AIC较小的模型明显较优 （3）如果样本量大于256且两个模型的AIC之差大于2.5小于6，则AIC较小的模型较优。 （4）如果样本量大于64且两个模型的AIC之差大于6小于9，则AIC较小的模型较优;应用BIC比较两个模型的经验规则： （1）BIC之差在0~2之间，表明两个模型存在微弱差异。 （2）BIC之差在2~6之间，表明两个模型存在一定差异。 （3）BIC之差在6