一种结合众包的排序学习算法.PDFVIP

第３４卷第６期　　　 计算机应用与软件 Ｖｏｌ３４Ｎｏ．６ ２０１７年６月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊｕｎ．２０１７ 一种结合众包的排序学习算法 王小平　奚凌然 （同济大学电子与信息工程学院　上海２０００９２） 摘　要　　针对有监督排序学习所需带标记训练数据集不易获得的情况，引入众包这种新型大众网络聚集模式 来完成标注工作，为解决排序学习所需大量训练数据集标注工作耗时耗力的难题提供了新的思路。首先介绍了 众包标注方法，着重提出两种个人分类器模型来解决众包结果质量控制问题，同时考虑标注者能力和众包任务的 难度这两个影响众包质量的因素。再基于得到的训练集使用ＲａｎｋｉｎｇＳＶＭ进行排序学习并在微软ＯＨＳＵＭＥＤ数 据集上衡量了该方法在ＮＤＣＧ＠ｎ评价准则下的性能。实验结果表明该众包标注方法能够达到９５％以上的正确 率，所得排序模型的性能基本和ＲａｎｋｉｎｇＳＶＭ算法持平，从而验证了众包应用于排序学习的可行性和优越性。 关键词　　排序学习　众包　众包质量控制　排序支持向量机 中图分类号　ＴＰ１８１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１７．０６．０５０ ＡＲＡＮＫＬＥＡＲＮＩＮＧＡＬＧＯＲＩＴＨＭＣＯＭＢＩＮＥＤＷＩＴＨＣＲＯＷＤＳＯＵＲＣＩＮＧ ＷａｎｇＸｉａｏｐｉｎｇ　ＸｉＬｉｎｇｒａｎ （ＳｃｈｏｏｌｏｆＥｌｅｃｔｒｏｎｉｃｓａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＴｏｎｇｊｉＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０００９２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ａｉｍｉｎｇａｔｔｈｅｓｉｔｕａｔｉｏｎｔｈａｔｉｔｉｓｄｉｆｆｉｃｕｌｔｔｏｏｂｔａｉｎｔｈｅｌａｒｇｅｓｃａｌｅｔｒａｉｎｉｎｇｄａｔａｓｅｔｗｉｔｈｌａｂｅｌｓｆｏｒｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇｔｏｒａｎｋ，ｔｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｓｃｒｏｗｄｓｏｕｒｃｉｎｇ，ａｎｅｗｐｕｂｌｉｃｎｅｔｗｏｒｋａｇｇｒｅｇａｔｉｏｎｍｏｄｅｌ，ｔｏｃｏｍｐｌｅｔｅｔｈｅｌａｂｅｌｉｎｇ ｗｏｒｋ．Ｉｔｐｒｏｖｉｄｅｓａｎｅｗｗａｙｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｏｆｔｉｍｅｃｏｎｓｕｍｉｎｇａｎｄｌａｂｏｒｃｏｎｓｕｍｉｎｇｉｎｔｈｅｔｒａｉｎｉｎｇｄａｔａｓｅｔ．Ｗｅｆｉｒｓｔ ｉｎｔｒｏｄｕｃｅｔｈｅｃｒｏｗｄｓｏｕｒｃｉｎｇｌａｂｅｌｉｎｇｍｅｔｈｏｄ，ａｎｄｐｕｔｆｏｒｗａｒｄｔｗｏｐｅｒｓｏｎａｌｃｌａｓｓｉｆｉｅｒｓｍｏｄｅｌｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｏｆ ｃｒｏｗｄｓｏｕｒｃｉｎｇｑｕａｌｉｔｙｃｏｎｔｒｏｌ．Ａｔｔｈｅｓａｍｅｔｉｍｅ，ｗｅｃｏｎｓｉｄｅｒｔｈｅｔｗｏｆａｃｔｏｒｓｔｈａｔａｆｆｅｃｔｔｈｅｑｕａｌｉｔｙｏｆｔｈｅｃｒｏｗｄｓｏｕｒｃｉｎｇ， ｉｎｃｌｕｄｉｎｇｔｈｅｍａｒｋｅｒａｂｉｌｉｔｙａｎｄｔｈｅｄｉｆｆｉｃｕｌｔｙｏｆｃｒｏｗｄｓｏｕｒｃｉｎｇｔａｓｋｓ．ＲａｎｋｉｎｇＳＶＭｉｓｕｓｅｄｔｏｒａｎｋｌｅａｒｎｉｎｇｂａｓｅｄｏｎｔｈｅ ｔｒａｉｎｉｎｇｓｅｔ，ａｎｄｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｔｈｅｍｅｔｈｏｄｉｓｅｖａｌｕａｔｅｄｏｎＭｉｃｒｏｓｏｆｔＯＨＳＵＭＥＤｄａｔａｓｅｔｕｎｄｅｒｔｈｅＮＤＣＧ＠ｎ ｃｒｉｔｅｒｉｏｎ．Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｃｒｏｗｄｓｏｕｒｃｉｎｇｌａｂｅｌｉｎｇｍｅｔｈｏｄｃａｎａｃｈｉｅｖｅｍｏｒｅｔｈａｎ９５％ｃｏｒｒｅｃｔｎｅｓｓ， ａｎｄｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｔｈｅｒａｎｋｉｎｇｍｏｄｅｌｉｓｅｑｕａｌｔｏＲａｎｋｉｎｇＳＶＭａｌｇｏｒｉｔｈｍ，ｗｈｉｃｈｖｅｒｉｆｉｅｓｔｈｅｆｅａｓｉｂｉｌｉｔｙａｎｄ ｓｕｐｅｒｉｏｒｉｔｙｏｆｃｒｏｗｄｓｏｕｒｃｉｎｇｉｎｒａｎｋｉｎｇｌｅａｒｎｉｎｇ． Ｋｅｙｗｏｒｄｓ　　Ｌｅａｒｎｉｎｇｔｏｒａｎｋ　Ｃｒｏｗｄｓｏｕｒｃｉｎｇ　Ｃｒｏｗｄｓｏｕｒｃｉｎｇｑｕａｌｉｔｙｃｏｎｔｒｏｌ　ＲａｎｋｉｎｇＳＶＭ