DriftMoE: 处理概念漂移的专家混合方法-计算机科学-在线增量学习-专家混合.pdfVIP

DriftMoE:处理概念漂移的专家混合方法

MiguelAspis*,SebastiánA.Cajas

Ordoñez*(),

AndrésL.Suárez-Cetrulo,andRicardoSimón

Carbajo

Ireland’sNationalCentreforArtificialIntelligence(CeADAR)

UniversityCollegeDublin,Belfield,Dublin,D04V2N9Ireland’sCentreforApplied

AI(CeADAR)

UniversityCollegeDublin,Belfield,Dublin,D04V2N9,Ireland

本{miguel.aspis1,sebastian.cajasordonez,andres.suarez-cetrulo,

译ricardo.simoncarbajo}@ucd.ie

中

1

v

4

6摘要从受概念漂移影响的非平稳数据流中学习需要能够在实时适应的同

4时保持资源高效性的模型。现有的自适应集成方法通常依赖于粗粒度的适

8

1应机制或简单的投票方案，这些方案无法充分利用专门知识。本文介绍了

.DriftMoE，这是一种通过新颖的协同训练框架解决这些问题的在线专家混

7

0合（MoE）架构。DriftMoE具有一个紧凑的神经路由器，它与一组增量

5Hoeffding树专家一起进行联合训练。关键创新在于一种共生学习循环，使

2

:专家专业化：路由器选择最合适的专家进行预测，相关专家使用真实标签

v

i进行增量更新，并且路由器通过多热正确性掩码来精炼其参数，强化每一

x

r个准确的专家。这个反馈循环为路由器提供了清晰的训练信号，同时加速

a了专家的专业化。我们在跨越突发、渐进和现实世界漂移的九个最先进的

数据流学习基准上评估了DriftMoE的表现，测试了两种不同的配置：一

种是专家在数据制度（多类变体）上专业化，另一种是专注于单类专业化

（任务基础变体）。我们的结果显示，DriftMoE与最先进的流学习自适应集

成取得了具有竞争力的结果，提供了一种原理性和高效的应对概念漂移的

方法。所有代码、数据管道和可重复性脚本均可在我们的公共GitHub存

储库中获得：/miguel-ceadar/drift-moe。

Keywords:在线增量学习·概念漂移·数据流·专家混合。

*前两位作者对这项工作的开发做出了同等贡献。

2Aspis,CajasOrdoñez,etal.

1介绍

现实世界和生产数据架构的特点是高速数据流的大量产生，这些数据流

由不