利用分层多重核学习探索大规模特征空间.pdfVIP

利用分层多重核学习探索大规模特征空间

FrancisBachINRIA‑Willow项目，Ecole´

NormaleSup´érieure45,rued’Ulm,75230

Paris,法国francis.bach@

对于监督和无监督学习，正定核允许使用大型且可能无限维的特征空间，

其计算成本仅取决于观测数量。这通常是通过对预测函数进行欧几里得范

数或希尔伯特范数惩罚来实现的。在本文中，我们探讨了通过稀疏诱导范

11

数（如ℓ‑范数或块ℓ‑范数）进行惩罚的方法。我们假设核可以分解为大

量单独的基础核，并且这些基础核可以嵌入到有向无环图中；我们展示了

在这种情况下，可以通过分层多重核学习框架在多项式时间内选择核，所

选核的数量是多项式的。该框架自然应用于非线性变量选择；我们在合成

数据集和UCI仓库中的数据集上进行了广泛的模拟，结果表明，通过稀疏

诱