Lasso极限最小学习机-计算机应用与软件.PDFVIP

第３０卷第２期　　　 计算机应用与软件 Ｖｏｌ３０Ｎｏ．２ ２０１３年２月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｆｅｂ．２０１３ Ｌａｓｓｏ极限最小学习机 冉杨軻　孙晓光 （复旦大学计算机科学技术学院　上海２０１２０３） 摘　要　　极限最小学习机ＥＬＭ（ＥｘｔｒｅｍｅＬｅａｒｎｉｎｇＭａｃｈｉｎｅ）是一种具有快速学习能力的神经网络训练算法。它通过随机选择神经 网络节点的参数结合最小二乘法达到了减少训练时间的目的，但它需要产生大量的神经网络节点协助运算。提出一种利用迭代式 Ｌａｓｓｏ回归优化的极限最小学习机（ＬａｓｓｏＥＬＭ），它具有以下优势：（１）能大幅减少神经网络隐藏层节点的数量；（２）具有更好的神 经网络泛化能力。实验表明ＬａｓｓｏＥＬＭ的综合性能优于ＥＬＭ、ＢＰ与ＳＶＭ。 关键词　　极速最小学习机　Ｌａｓｓｏ　神经网络 中图分类号　ＴＰ１８３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１３．０２．００２ ＬＡＳＳＯＥＸＴＲＥＭＥＬＥＡＲＮＩＮＧＭＡＣＨＩＮＥ ＲａｎＹａｎｇｊｕｎ　ＳｕｎＸｉａｏｇｕａｎｇ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＦｕｄａｎＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０１２０３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　ＥｘｔｒｅｍｅＬｅａｒｎｉｎｇＭａｃｈｉｎｅ（ＥＬＭ）ｉｓａｎｅｕｒａｌｎｅｔｗｏｒｋｔｒａｉｎｉｎｇａｌｇｏｒｉｔｈｍｗｉｔｈｒａｐｉｄｌｅａｒｎｉｎｇｃａｐａｂｉｌｉｔｙ．Ｉｔｒｅａｃｈｅｓｔｈｅｇｏａｌｏｆ ｒｅｄｕｃｉｎｇｔｒａｉｎｉｎｇｔｉｍｅｂｙｒａｎｄｏｍｌｙｃｈｏｏｓｉｎｇｔｈｅｐａｒａｍｅｔｅｒｓｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｓｎｏｄｅｓａｎｄｃｏｍｂｉｎｉｎｇｔｈｅｌｅａｓｔｓｑｕａｒｅｓｍｅｔｈｏｄ，ｂｕｔａｔｔｈｅｃｏｓｔ ｏｆｐｒｏｄｕｃｉｎｇａｇｒｅａｔｄｅａｌｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｓｎｏｄｅｓｔｏａｓｓｉｓｔｔｈｅｏｐｅｒａｔｉｏｎ．Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅｐｒｏｐｏｓｅａｎＥＬＭｕｔｉｌｉｓｉｎｇｔｈｅｒｅｇｒｅｓｓｉｏｎ ｏｐｔｉｍｉｓａｔｉｏｎｏｆｉｔｅｒａｔｉｏｎｅｘｐｒｅｓｓｉｏｎＬａｓｓｏ（ＬａｓｓｏＥＬＭ），ｉｔｈａｓｔｈｅｆｏｌｌｏｗｉｎｇａｄｖａｎｔａｇｅｓ：（ａ）ｉｔｃａｎｓｉｇｎｉｆｉｃａｎｔｌｙｄｅｃｒｅａｓｅｔｈｅｎｕｍｂｅｒｏｆｔｈｅ ｎｏｄｅｓｉｎｈｉｄｄｅｎｌａｙｅｒｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｓ；（ｂ）ｉｔｈａｓｂｅｔｔｅｒｇｅｎｅｒａｌｉｓａｔｉｏｎｃａｐａｂｉｌｉｔｙｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｓ．Ｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗ，ｔｈｅｃｏｍｐｒｅｈｅｎｓｉｖｅ ｐｅｒｆｏｒｍａｎｃｅｏｆＬａｓｓｏＥＬＭｏｕｔｐｅｒｆｏｒｍｓｔｈｅＥＬＭ，ＢＰａｎｄＳＶＭ． Ｋｅｙｗｏｒｄｓ　　Ｅｘｔｒｅｍｅｌｅａｒｎｉｎｇｍａｃｈｉｎｅ　Ｌａｓｓｏ　Ｎｅｕｒａｌｎｅｔｗｏｒｋ Ｌａｓｓｏ具备岭回归解决过渡拟合的能力，同时也通过约束条件减 ０　引　言 少了神经网络的节点。本文实验中用文献［８］的Ｇｒａｆｔｉｎｇ算法 解决Ｌａｓｓｏ问题。 单隐藏层神经网络 ＳＬＦＮ（ＳｉｎｇｌｅｈｉｄｄｅｎＬａｙｅｒＦｅｅｄｆｏｒｗａｒｄ ＮｅｕｒａｌＮｅｔｗｏｒｋ）在很多领域都得到了广泛的应用，它具有很多 １　极限最小学习机 优点：（１）能模拟复杂非线性函数；（２）能解决很多传统参数方 法无法解决的问题。但它缺乏快速的学习方法，使它在很多时 为了解决传统神经网络训练时间长的问题，Ｈｕａｎｇ提出了 候无法满足