一种基于广义KL距离和几何曲率的模型选择准则.pdfVIP

第12期 电 子 学 报 Dec．33N0．12 2005年12月 ACllAEI正CIRONICASINICA Dec．嬲 一种基于广义KL距离和几何曲率的模型选择准则 杨 坚，罗四维，刘蕴辉 (北京交通大学计算机与信息技术学院计算机研究所，北京100D44) 摘要：模型选择的目标就是识别产生给定数据的模型．通常模型的好坏由模型的泛化能力来度量，而泛化能 力包含模型对给定数据的拟合度和模型自身复杂度两个方面．本文从信息几何的观点使用定义在流形上的广义KL 距离来度量模型的拟合度；另一方面从微分几何的观点用曲率的概念来度量模型的内在复杂度；因此，拟合度和复杂 度的表示都具有在参数变换下保持不变的特点．通过理论分析，我们证明了用于表示模型预测能力的未来残差与模型 固有曲率的关系．由此提出一种新的基于广义KL距离和曲率的模型选择准则K蛾c．该准则不仅考虑了样本大小、参 数个数和函数形式等影响复杂度的因素，而且具有非常清晰直观的几何意义．实验结果表明该方法的有效性． 关键词： 模型选择；广义Klll】back-IJeibler距离；曲率立体阵；解轨迹；未来残差 中图分类号： rIPl83 文献标识码： A 文章编号： 0372-2112(20Q5)12-2272-06 ANewMOCIelSele酬OnCriteriOnBasedOnKuI|baCk_Le-bler CuⅣature lnfOrnlatiOn andGeometr。ic D．VergenCe YANGJiall，LUOSi—wei，UUYun—hui (如妇龇矿凸嘲，删矿D缈抚伽m￡加死由咖，＆咖辔五螂胁籼％妙，＆咖w100044，‰) to IIlodel Ablsl旧cl：，Ill8 ofInodelselectionis H划eltIlat thedata．G0抵ofa is删娜uDed goal idend母tIle generated usiIlg tal【estwo 0fmandm。del acco哪t．weuse geⅨ氍Ilized ge珊翻ljj盈bilit)r，诫chDpp凶teaspects：goodl】ess compl既i眵imo KkdiveI静mce 描IledontllemaIlifbldt0me够uI．ethe u8et11e ofcunrature矗0mt}Ie ofview0fdi岱强jrnial fit，and point ge伽[1e— goodIle鹋of conception 111eint五璐icmodel tIlatisheeof t11efutuIeresidual tryto唧lore comple五t)r re耻吸ⅡTletri盟tion；tllroughtlleoretical呐sis，wepmved ￡llatis in扭i璐ic of