自适应局部专家混合：神计算中新监督学习程序.pdfVIP

在神经计算，3，第79‑87页。

自适应局部专家混合

RobertA.JacobsMichaelI.

Jordan大脑与认知科学系麻省理工学院

，马萨诸塞州02139

StevenJ.Nowlan

GeoffreyE.Hinton计算机科

学系多伦多大学多伦多，加拿

大M5S1A4

我们提出了一种新的监督学习程序，用于由许多独立网络组成的系统，每个网络都

学习处理完整训练案例集的一个子集。这种新程序可以被视为多层监督网络的模块化版

本，也可以视为竞争学习的关联版本。因此，它为这两种看似不同的方法了一个新

的联系。我们展示了学习程序如何将元音辨别任务划分为适当的子任务，每个子任务都

可以由一个非常简单的专家网络解决。

1使联想学习具有竞争力

如果使用反向来训练单个、多层网络在不同场合执行不同的子任务，通常会产生强