基于回归分析的全体与类样本分类器的比较研究.pdfVIP

第２８卷第１１期　　　 计算机应用与软件 Ｖｏｌ２８Ｎｏ．１１ ２０１１年１１月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｎｏｖ．２０１１ 基于回归分析的全体与类样本分类器的比较研究 张　楠　杨　健 （南京理工大学计算机科学与技术学院　江苏南京２１００９４） 摘　要　　针对基于Ｌ１范数的Ｌａｓｓｏ回归与基于Ｌ２范数的Ｒｉｄｇｅ回归模型，分别讨论两种分类器的设计方法，即基于Ｌａｓｓｏ回归的 全体与类样本分类器和基于Ｒｉｄｇｅ回归的全体与类样本分类器。分别在２个大样本数据库与２个小样本数据库对所给出的方法进 行比较研究与分析，结果表明基于全体样本的分类器更适合小样本问题，而基于类样本的分类器更适合大样本问题。 关键词　　回归分析　分类器　小样本问题　大样本问题 中图分类号　ＴＰ３９１．４　　　　文献标识码　Ａ ＣＯＭＰＡＲＡＴＩＶＥＳＴＵＤＹＯＮＬＩＮＥＡＲＲＥＧＲＥＳＳＩＯＮＢＡＳＥＤＰＯＰＵＬＡＴＩＯＮＡＮＤ ＣＬＡＳＳＳＡＭＰＬＥＣＬＡＳＳＩＦＩＥＲ ＺｈａｎｇＮａｎ　ＹａｎｇＪｉａｎ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ２１００９４，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　ＢｙｅｘａｍｉｎｉｎｇＬ１ｐａｒａｄｉｇｍｂａｓｅｄＬａｓｓｏｒｅｇｒｅｓｓｉｏｎａｎｄＬ２ｐａｒａｄｉｇｍｂａｓｅｄＲｉｄｇｅｒｅｇｒｅｓｓｉｏｎｍｏｄｅｌｓ，ｔｈｅｄｅｓｉｇｎｍｅｔｈｏｄｓｏｆｔｗｏ ｃｌａｓｓｉｆｉｅｒｓ，ｉ．ｅ．，Ｌａｓｓｏｒｅｇｒｅｓｓｉｏｎｂａｓｅｄｐｏｐｕｌａｔｉｏｎａｎｄｃｌａｓｓｓａｍｐｌｅｃｌａｓｓｉｆｉｅｒ，ａｎｄＲｉｄｇｅｒｅｇｒｅｓｓｉｏｎｂａｓｅｄｐｏｐｕｌａｔｉｏｎａｎｄｃｌａｓｓｓａｍｐｌｅ ｃｌａｓｓｉｆｉｅｒ，ａｒｅｓｅｐａｒａｔｅｌｙｄｉｓｃｕｓｓｅｄ．Ｃｏｍｐａｒａｔｉｖｅｓｔｕｄｙａｎｄａｎａｌｙｓｉｓａｒｅｃａｒｒｉｅｄｏｕｔｓｅｐａｒａｔｅｌｙｕｐｏｎ２ｌａｒｇｅｓａｍｐｌｅｓｉｚｅｄａｔａｂａｓｅｓａｎｄ２ｓｍａｌｌ ｓａｍｐｌｅｓｉｚｅｄａｔａｂａｓｅｓ．Ｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｐｏｐｕｌａｔｉｏｎｓａｍｐｌｅｂａｓｅｄｃｌａｓｓｉｆｉｅｒｓｕｉｔｓｂｅｔｔｅｒｆｏｒｓｍａｌｌｓａｍｐｌｅｓｉｚｅｐｒｏｂｌｅｍｓｗｈｅｒｅａｓｃｌａｓｓｓａｍｐｌｅ ｂａｓｅｄｃｌａｓｓｉｆｉｅｒｓｕｉｔｓｂｅｔｔｅｒｆｏｒｌａｒｇｅｓａｍｐｌｅｓｉｚｅｐｒｏｂｌｅｍｓ． Ｋｅｙｗｏｒｄｓ　　Ｒｅｇｒｅｓｓｉｏｎａｎａｌｙｓｉｓ　Ｃｌａｓｓｉｆｉｅｒ　Ｓｍａｌｌｓａｍｐｌｅｓｉｚｅｐｒｏｂｌｅｍ　Ｌａｒｇｅｓａｍｐｌｅｓｉｚｅｐｒｏｂｌｅｍｓ ０　引　言 １　基于Ｌａｓｓｏ回归的全体与类样本分类器 文献［１］提出了基于Ｌａｓｓｏ回归的稀疏表示分类器方法 １．１　Ｌａｓｓｏ回归 （ＳＲＣ），并将其应用于真实人脸识别问题。ＳＲＣ方法的基本思 给出一个简单的线性模型： 想是使用全部训练样本的稀疏线性组合来表示给定的测试样 ｙ＝Ａｗ＋ｅ （１） 本；稀疏非零表示系数假定应集中于测试样本真实类别标签处。 其中 Ｎ×Ｍ ， Ｎ ， 为待估参数，误差向量 满足 Ａ Ｒ ｙ Ｒ ｗ ｅ （ｅ） ∈ ∈ Ε 经证实 ＳＲＣ方法在识别人脸方面十分有效，而且对于表情变