混合型多示例學习算法.pptVIP

混合型多示例学习算法 张敏灵 周志华 zml@ai.nju.edu.cn zhouzh@nju.edu.cn 南京大学计算机软件新技术国家重点实验室 2003年11月 提纲 多示例学习 混合学习算法 实验 结论 多示例学习 Dietterich, T. G., Lathrop, R. H. and Lozano-Pérez, T.: Solving the multiple-instance problem with axis-parallel rectangles, Artificial Intelligence, 89(1-2) (1997), 31-71. 药物活性预测问题 多示例学习－续 在以往的学习框架下: 在多示例学习框架下： 混合学习(hybrid learning) 人工智能研究必须从其传统关注的特殊模式走出来。世界上并不存在一种最佳的知识表示或问题求解方法，……我们所需的多功能性只能在更大规模的结构中找到，这些结构应能同时利用和管理若干种知识表示的优势，使得各种类型的表示可以相得益彰。 ——M. Minsky. AIMag91 混合学习能够利用多种学习范式的优点,因此对混合学习算法的研究在近十年来一直是机器学习界的一个研究热点。 混合学习算法－混合成分 Iterated-discrim APR算法(T.G. Dietterich et al. AIJ97) 混合学习算法－混合成分（续） Diverse Density算法(O. Maron et al. NIPS98) 混合学习算法－混合成分（续） Citation-kNN算法(J. Wang J.-D. Zucker ICML00) 利用最小Hausdorff距离来衡量包之间的距离 借用科学文献中“引用”的概念 EM-DD算法(Q. Zhang S. A. Goldman NIPS02) 将EM算法和多样性密度算法相结合 混合学习算法－算法设计 五种混合学习算法 三种个体混合（四种可能） 四种个体混合（一种可能） 训练和预测方法 “直接投票”法 “神经网络合成”法 实验结果 各算法在Musk数据集上的十倍交叉验证精度 实验结果（续） 在使用“直接投票”法时，混合算法2、3、5在Musk1数据集上取得了比单个多示例学习算法更优的结果，但仅有混合算法1在Musk2数据集上取得了比单个多示例学习算法更优的结果。 在使用“神经网络合成”法时，所有的混合算法在Musk1和Musk2数据集上均取得了比单个多示例学习算法更优的结果。 结束语 提出了五种混合型多示例学习算法。基准数据集上的实验结果表明，混合学习算法可望比单个多示例学习算法更好地解决多示例学习问题。 设计出更有力的混合型多示例学习算法，不论对多示例学习还是混合学习这两个热点领域来说，都是值得深入研究的重要问题。