优化AUC两遍学习算法.PDFVIP

第 13 卷第 3 期 智　能　系　统　学　报 Vol.13 No.3 2018 年 6 月 CAAI Transactions on Intelligent Systems Jun. 2018 DOI: 10.11992/tis.201706079 网络出版地址: /kcms/detail/23.1538.TP1555.020.html 优化AUC 两遍学习算法 栾寻，高尉 （南京大学 计算机软件新技术国家重点实验室, 南京 210023 ） 摘 要：ROC 曲线下的面积(简称AUC) 是机器学习中一种重要的性能评价准则，广泛应用于类别不平衡学习、代价 敏感学习、排序学习等诸多学习任务。由于AUC 定义于正负样本之间，传统方法需存储整个数据而不能适用于大数 据。为解决大规模问题，前人已提出优化AUC 的单遍学习算法，该算法仅需遍历数据一次，通过存储一阶与二阶统 计量来进行优化AUC 学习。然而在实际应用中，处理二阶统计量依然需要很高的存储与计算开销。为此，本文提出 了一种新的优化AUC 两遍学习算法TPAUC (two-pass AUC optimization) 。该算法的基本思想是遍历数据两遍，第一 遍扫描数据获得正、负样本的均值，第二遍采用随机梯度下降方法优化AUC 。算法的优点在于通过遍历数据两遍来 避免存储和计算二阶统计量，从而提高算法的效率，最后本文通过实验说明方法的有效性。 关键词：机器学习；AUC ；ROC ；单遍学习；在线学习；排序；随机梯度下降；统计量 中图分类号：TP181 文献标志码：A 文章编号：1673−4785(2018)03−0395−04 中文引用格式：栾寻, 高尉. 优化AUC 两遍学习算法[J]. 智能系统学报, 2018, 13(3): 395–398. 英文引用格式：LUAN Xun, GAO Wei. Two-pass AUC optimization[J]. CAAI transactions on intelligent systems, 2018, 13(3): 395–398. Two-pass AUC optimization LUAN Xun，GAO Wei (National Key Laboratory for Novel Software Technology, Nanjing University, Nanjing 210023, China) Abstract: The area under an ROC curve (AUC) has been an important performance index for class-imbalanced learning, cost-sensitive learning, learning to rank, etc. Traditional AUC optimization requires the entire dataset to be stored be- cause AUC is defined as pairs of positive and negative instances. To solve this problem, the one-pass AUC (OPAUC) al- gorithm was introduced previously to scan the data only once and store the first- and second-order statistics. However, in many real applications, the second-order statistics require high storage and are com