泛化误差的各种交叉验证估计方法综述.pdfVIP

第３２卷第５ 期 计 算 机 应 用 研 究 Ｖｏｌ．３２ Ｎｏ．５ ２０１５ 年５ 月　 Ａｐｐｌｉｃａｔｉｏｎ Ｒｅｓｅａｒｃｈ ｏｆＣｏｍｐｕｔｅｒｓ Ｍａｙ ２０１５ 泛化误差的各种交叉验证估计方法综述* 杨　柳 ，王　钰１ ２ （１．山西财经大学应用数学学院，太原０３００３１；２．山西大学计算机中心，太原０３０００６） 摘　要：在机器学习中，泛化误差（预测误差）是用于算法性能度量最常用的指标，然而由于数据的分布未知，泛 化误差不能被直接计算，实际中常常通过各种形式的交叉验证方法来估计泛化误差。详细地分析了泛化误差的 各交叉验证估计方法的优缺点，对照了各种方法之间的差异，提出和分析了各方法中有待进一步研究的问题和 方向。 关键词：机器学习；泛化误差；交叉验证；偏差；方差 中图分类号：ＴＰ１８１　　　文献标志码：Ａ　　　文章编号：１００１-３６９５（２０１５）０５-１２８７-０４ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１-３６９５．２０１５．０５．００２ Ｓｕｒｖｅｙ ｆｏｒ ｖａｒｉｏｕｓ ｃｒｏｓｓ-ｖａｌｉｄａｔｉｏｎ ｅｓｔｉｍａｔｏｒｓ ｏｆｇｅｎｅｒａｌｉｚａｔｉｏｎ ｅｒｒｏｒ ＹＡＮＧＬｉｕ ，ＷＡＮＧＹｕ１ ２ （１．Ｓｃｈｏｏｌ ｏｆＡｐｐｌｉｅｄＭａｔｈｅｍａｔｉｃｓ，Ｓｈａｎｘｉ ＵｎｉｖｅｒｓｉｔｙｏｆＦｉｎａｎｃｅ ＆Ｅｃｏｎｏｍｉｃｓ，Ｔａｉｙｕａｎ０３００３１，Ｃｈｉｎａ；２．Ｃｏｍｐｕｔｅｒ Ｃｅｎｔｅｒ，Ｓｈａｎｘｉ Ｕｎｉｖｅｒｓｉ- ｔｙ，Ｔａｉｙｕａｎ０３０００６，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ，ｇｅｎｅｒａｌｉｚａｔｉｏｎ ｅｒｒｏｒ ｉｓ ａ ｃｏｍｍｏｎｌｙ ｕｓｅｄ ｉｎｄｅｘ ｆｏｒ ｍｅａｓｕｒｉｎｇ ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ａｌｇｏｒｉｔｈｍ． Ｈｏｗｅｖｅｒ，ｄｕｅ ｔｏ ｕｎｋｎｏｗｎ ｄａｔａ ｄｉｓｔｒｉｂｕｔｉｏｎ，ｇｅｎｅｒａｌｉｚａｔｉｏｎ ｅｒｒｏｒ ｍａｙ ｎｏｔ ｂｅ ｄｉｒｅｃｔｌｙ ｃｏｍｐｕｔｅｄ．Ｉｎ ｐｒａｃｔｉｃｅ，ｉｔ ｉｓ ｏｆｔｅｎ ｅｓｔｉ- ｍａｔｅｄ ｂｙ ｖａｒｉｏｕｓ ｃｒｏｓｓ-ｖａｌｉｄａｔｉｏｎ ｍｅｔｈｏｄｓ．Ｔｈｉｓｐａｐｅｒ ａｎａｌｙｚｅｄ ｔｈｅ ａｄｖａｎｔａｇｅｓ ａｎｄ ｄｉｓａｄｖａｎｔａｇｅｓ ｏｆｔｈｅ ｃｒｏｓｓ-ｖａｌｉｄａｔｉｏｎ ｅｓｔｉ- ｍａｔｏｒｓ ｏｆｇｅｎｅｒａｌｉｚａｔｉｏｎｅｒｒｏｒｉｎｄｅｔａｉｌ．Ｉｔｃｏｍｐａｒｅｄｔｈｅｄｉｆｆｅｒｅｎｃｅｏｆｖａｒｉｏｕｓｍｅｔｈｏｄｓ．Ａｎｄｉｔａｌｓｏｐｕｔｆｏｒｗａｒｄａｎｄａｎａｌｙｚｅｄｔｈｅ ｆｕｔｕｒｅ ｒｅｓｅａｒｃｈ ｐｒｏｂｌｅｍｓ ａｎｄ ｄｉｒｅｃｔｉｏｎｓ． Ｋｅｙ ｗｏｒｄｓ：ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ；ｇｅｎｅｒａｌｉｚａｔｉｏｎ ｅｒｒｏｒ；ｃｒｏｓｓ-ｖａｌｉｄａｔｉｏｎ；ｂｉａｓ；ｖａｒｉａｎｃｅ 　　在机器学习（有监督学习）的研究中，主要有三大目标：ａ） Ｂｏｏｔｓｔｒａｐ交叉验证、５ ×２交叉验证、组块３ ×２ 交叉验证 验证、 特征选择，从所有特征中选择出一个小的特征子集，以便构造 等［７ ～１７］。 一个好的分类器；ｂ）分类器（算法）选择，估计不同分类器的性 能，从中选出最好的分类模型；ｃ）模型评估，对已经选定的分 1　泛化误差的定义及其记号 类器，估计它在新数据上的预测误差。无论是对于哪个学习任 假定数据集Ｄ＝｛ｚ ，ｚ ，…，ｚ ｝是从一个未知的分布Ｐ 中