基于非近似求导过程的加更新和乘更新分类算法.pdf

第卷第期 计 算 机 学 报 ３６ ２ 　 　　　　　　　　 Ｖｏｌ．３６Ｎｏ．２ 年月 ２０１３２ ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ Ｆｅｂ．２０１３ 　 基于非近似求导过程的加更新和乘更新分类算法 刘建伟李双成罗雄麟 　 　 （中国石油大学（北京）自动化研究所北京 ） １０２２４９ 　 　 摘要 ， 自从 和 提出权衡正确性与保守性的在线学习框架后此在线学习框架已被广泛引用 ＫｉｖｉｎｅｎＷａｒｍｕｔｈ ． 　　 但是在 和 提出的梯度下降和指数梯度下降算法中，对目标函数中的损失函数求导过程中使用近 ＫｉｖｉｎｅｎＷａｒｍｕｔｈ 似步骤会引起在线学习结果恶化文中，运用对偶最优化理论，提出了非近似的基于平方距离相关熵损失函数分类 ． 算法和基于相关熵距离相关熵损失函数分类算法，通过种不同维数的真实数据集的实验研究，验证了提出算法 ４ 的分类预测性能． 关键词 ； ； ； ； 最优化对偶理论非近似更新在线学习相关熵度量相关熵损失 　 中图法分类号 号 ／ ＴＰ１８ 犇犗犐 １０．３７２４ＳＰ．Ｊ．１０１６．２０１３．００３２７ 　　　 　 犖狅狀犃狉狅狓犻犿犪狋犻狅狀犃犱犱犻犮狋犻狏犲犝犱犪狋犲犪狀犱犕狌犾狋犻犾犻犮犪狋犻狏犲犝犱犪狋犲犗狀犾犻狀犲 狆狆 狆 狆 狆 犆犾犪狊狊犻犳犻犲狉犃犾狅狉犻狋犺犿 犵 ＬＩＵＪｉａｎＷｅｉＬＩＳｈｕａｎＣｈｅｎＬＵＯＸｉｏｎＬｉｎ 　 　 ｇ ｇ ｇ （ ， ， ） 犚犲狊犲犪狉犮犺犐狀狊狋犻狋狌狋犲狅犃狌狋狅犿犪狋犻狅狀犆犺犻狀犪犝狀犻狏犲狉狊犻狋狅犘犲狋狉狅犾犲狌犿犅犲犻犻狀１０２２４９ 　 犳 狔犳 犼犵 犃犫狊狋狉犪犮狋Ｓｉｎｃｅｔｈｅｏｎｌｉｎｅｌｅａｒｎｉｎｆｒａｍｅｗｏｒｋｔｈａｔｍａｋｅａｃｏｍｒｏｍｉｓｅｏｆｔｈｅｃｏｒｒｅｃｔｎｅｓｓａｎｄ 　 ｇ ｐ