基于不同损失和距离函数的乘更新分类算法-计算机应用研究.pdf

第３１卷第２期 计 算 机 应 用 研 究 Ｖｏｌ．３１Ｎｏ．２ ２０１４年２月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｆｅｂ．２０１４ 基于不同损失和距离函数的乘更新分类算法 胡晓雄，贾育秦 （太原科技大学机械工程学院，太原０３００２４） 摘　要：与批处理的学习算法相比较，在线预测的算法由于在大样本集上具有预测准确性高、时间的空间复杂 度小，因此占有非常大的优势。对于Ｗａｒｍｕｔｈ与Ｊｉｖｉｎｅｎ提出的保守性和权衡正确性的在线学习框架，已经得到 相当广泛的应用，但是在他们所提出的指数梯度下降算法以及梯度下降算法中，对于目标函数中的损失函数，在 其求导过程中使用近似步骤将会造成在线学习结果的恶化。根据对偶的最优化理论，基于不同损失函数与距离 函数，提出了变更新分类算法。通过一系列的实验分析与研究，结果表明，该算法使得预测准确率得到了很大的 提高，从而验证了该算法的正确性、可行性和有效性。 关键词：乘权更新；在线学习；非近似更新；分类算法 中图分类号：ＴＰ３９３；ＴＰ１８１　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１４）０２０３４４０４ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１４．０２．００５ Ｍｕｌｔｉｐｌｉｅｒｕｐｄａｔｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎ ｄｉｆｆｅｒｅｎｔｌｏｓｓａｎｄｄｉｓｔａｎｃｅｆｕｎｃｔｉｏｎ  ＨＵＸｉａｏｘｉｏｎｇ，ＪＩＡＹｕｑｉｎ （ＳｃｈｏｏｌｏｆＭｅｃｈａｎｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，ＴａｉｙｕａｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，Ｔａｉｙｕａｎ０３００２４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎｃｏｍｐａｒｉｓｏｎｗｉｔｈｂａｔｃｈｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍ，ｏｎｌｉｎｅｐｒｅｄｉｃｔｉｏｎａｌｇｏｒｉｔｈｍｓｏｎｌａｒｇｅｓａｍｐｌｅｓｅｔｓｗｉｔｈｈｉｇｈｐｒｅｄｉｃｔｉｖｅ ａｃｃｕｒａｃｙ，ｌｏｗｔｉｍｅａｎｄｓｐａｃｅｃｏｍｐｌｅｘｉｔｙ，ａｎｄｔｈｅｒｅｆｏｒｅ，ｔｈａｔｐｌａｙｓａｖｅｒｙｂｉｇａｄｖａｎｔａｇｅ．Ｔｈｅｃｏｎｓｅｒｖａｔｉｖｅａｎｄｗｅｉｇｈｔｈｅｃｏｒ ｒｅｃｔｎｅｓｓｏｎｌｉｎｅｌｅａｒｎｉｎｇｆｒａｍｅｗｏｒｋｐｒｏｐｏｓｅｄｂｙＷａｒｍｕｔｈａｎｄＪｉｖｉｎｅｎ，ｈａｄｇｏｔｔｅｎａｗｉｄｅｒａｎｇｅｏｆａｐｐｌｉｃａｔｉｏｎｓ．Ｂｕｔｉｎｔｈｅｔｈｅ Ｗａｒｍｕｔｈ＆Ｊｉｖｉｎｅｎ’ｓｉｎｄｅｘｇｒａｄｉｅｎｔｄｏｗｎａｌｇｏｒｉｔｈｍｓａｎｄｇｒａｄｉｅｎｔｄｅｓｃｅｎｔａｌｇｏｒｉｔｈｍ，ｆｏｒｔｈｅｌｏｓｓｆｕｎｃｔｉｏｎｉｎｔｈｅｏｂｊｅｃｔｉｖｅ ｆｕｎｃｔｉｏｎ，ｔｈｅａｐｐｒｏｘｉｍａｔｅｓｔｅｐｓｗｏｕｌｄｒｅｓｕｌｔｉｎｔｈｅｄｅｔｅｒｉｏｒａｔｉｏｎｏｆｔｈｅｒｅｓｕｌｔｓｏｆｔｈｅｏｎｌｉｎｅｌｅａｒｎｉｎｇｄｕｒｉｎｇｔｈｅｄｅｒｉｖａｔｉｏｎ ｐｒｏｃｅｓｓ．Ｂａｓｅｄｏｎｔｈｅｄｕａｌｏｐｔｉｍｉｚａｔｉｏｎｔｈｅｏｒｙ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄｃｈａｎｇｅｓｔｏｔｈｅｎｅｗｃｌａｓｓｉｆｉｃａｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎａｖａ ｒｉｅｔｙｏｆｌｏｓｓｆｕｎｃｔｉｏｎａｎｄｄｉｓｔａｎｃｅｆｕｎｃｔｉｏｎ．Ｔｈｒｏｕｇｈａｓｅｒｉｅｓｏｆｅｘｐｅｒｉｍｅｎｔａｌａｎａｌｙｓｉｓａｎｄｒｅｓｅａｒｃｈｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅａｌｇｏ ｒｉｔｈｍｍａｋｅｓｔｈｅｐｒｅｄｉｃｔｉｏｎａｃｃｕｒａｃｙｂｅｔｔｅｒ，ａｎｄｖｅｒｉｆｉｅｓｔｈｅｃｏｒｒｅｃｔｎ