基于筛选机制的l1核学习机分布式训练方法.pdfVIP

　第５１卷　第９期 山　东　大　学　学　报　（理　学　版） ２０１６年９月　 　 　 　 　 　 　Ｖｏｌ．５１　 Ｎｏ．９　 　 　 　 　 ＪｏｕｒｎａｌｏｆＳｈａｎｄｏｎｇＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅ） Ｓｅｐ．２０１６　 　文章编号：１６７１９３５２（２０１６）０９０１３７０８　　　ＤＯＩ：１０６０４０／ｊ．ｉｓｓｎ．１６７１９３５２．３．２０１５０６４ 基于筛选机制的Ｌ１核学习机分布式训练方法 １，２ １ １ ３ 及歆荣 ，侯翠琴 ，侯义斌 ，赵斌 （１．北京市物联网软件与系统工程技术研究中心，北京 １００１２４； ２．河北工程大学信息与电气工程学院，河北 邯郸０５６０３８；３．北京工业大学软件学院，北京 １００１２４） 摘要：为降低无线传感器网络中核学习机训练时的数据通信代价和节点计算代价，研究了基于筛选机制的Ｌ１正 则化核学习机分布式训练方法。提出了一种节点局部训练样本筛选机制，各节点利用筛选出的训练样本，在节点 模型对本地训练样本的预测值与邻居节点间局部最优模型对本地训练样本预测值相一致的约束下，利用增广拉 格朗日乘子法求解Ｌ１正则化核学习机分布式优化问题，利用交替方向乘子法求解节点本地的Ｌ１正则化核学习 机的稀疏模型；仅依靠相邻节点间传输稀疏模型的协作方式，进一步优化节点局部模型，直至各节点模型收敛。 基于此方法，提出了基于筛选机制的Ｌ１正则化核最小平方误差学习机的分布式训练算法。仿真实验验证了该算 法在模型预测正确率、模型稀疏率、数据传输量和参与模型训练样本量上的有效性和优势。 关键词：无线传感器网络；核学习机；分布式学习；Ｌ１正则化；样本筛选机制；增广拉格朗日乘子法 中图分类号：ＴＰ１８１　　　文献标志码：Ａ 引用格式：及歆荣，侯翠琴，侯义斌，等．基于筛选机制的Ｌ１核学习机分布式训练方法［Ｊ］．山东大学学报（理学版），２０１６，５１（９）： １３７１４４． ＡｄｉｓｔｒｉｂｕｔｅｄｔｒａｉｎｉｎｇｍｅｔｈｏｄｆｏｒＬ１ｒｅｇｕｌａｒｉｚｅｄｋｅｒｎｅｌｍａｃｈｉｎｅｓ ｂａｓｅｄｏｎｆｉｌｔｅｒｉｎｇｍｅｃｈａｎｉｓｍ １，２ １ １ ３ ＪＩＸｉｎｒｏｎｇ ，ＨＯＵＣｕｉｑｉｎ，ＨＯＵＹｉｂｉｎ，ＺＨＡＯＢｉｎ （１．ＢｅｉｊｉｎｇＥｎｇｉｎｅｅｒｉｎｇＲｅｓｅａｒｃｈＣｅｎｔｅｒｆｏｒＩｏＴＳｏｆｔｗａｒｅａｎｄＳｙｓｔｅｍｓ，Ｂｅｉｊｉｎｇ１００１２４，Ｃｈｉｎａ； ２．ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎａｎｄＥｌｅｃｔｒｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，ＨｅｂｅｉＵｎｉｖｅｒｓｉｔｙｏｆＥｎｇｉｎｅｅｒｉｎｇ，Ｈａｎｄａｎ０５６０３８，Ｈｅｂｅｉ，Ｃｈｉｎａ； ３．ＳｃｈｏｏｌｏｆＳｏｆｔｗａｒｅＥｎｇｉｎｅｅｒｉｎｇ，ＢｅｉｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｂｅｉｊｉｎｇ１００１２４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏｄｅｃｒｅａｓｅｔｈｅａｍｏｕｎｔｏｆｄａｔａｔｒａｎｓｆｅｒｒｅｄａｎｄｔｈｅｃｏｍｐｕｔｉｎｇｃｏｓｔｄｕｒｉｎｇｔｒａｉｎｉｎｇａｋｅｒｎｅｌｍａｃｈｉｎｅｉｎｗｉｒｅ ｌｅｓｓｓｅｎｓｏｒｎｅｔｗｏｒｋ，ａｄｉｓｔｒｉｂｕｔｅｄｔｒａｉｎｉｎｇｍｅｔｈｏｄｆｏｒＬ１ｒｅｇｕｌａｒｉｚｅｄＫｅｒｎｅｌＭｉｎｉｍｕｍＳｑｕａｒｅＥｒｒｏｒｍａｃｈｉｎｅｂａｓｅｄｏｎ ｆｉｌｔｅｒｉｎｇｍｅｃｈａｎｉｓｍｗａｓｐｒｏｐｏｓｅ