基于在线深度网络的概念漂移适应方法研究.pdf

摘要

流数据作为数据挖掘领域中一种独具特性的数据类型，其持续产生、规模复杂、

实时性以及数据分布的动态变化等特点，对数据的收集、存储、分析、处理等各个环

节都提出了巨大的挑战，特别是在模型构建和算法设计方面，流数据的这些特性带来

了前所未有的困难。而概念漂移作为流数据挖掘在真实环境中的固有特性，是挖掘模

型和算法不可逃避的挑战，它意味着数据分布可能随时间线的前进而变化，使得原有

的挖掘模型和算法可能不再适用，从而需要不断地进行适应和调整。概念漂移问题已

引起广大研究者和实践者的广泛重视和关注，成为了当前数据挖掘分析的热点方向

之一。然而大多数模型难以处理复杂非线性分布的流数据挖掘任务，且概念漂移发生

时模型容易出现过拟合，从而影响漂移发生后模型适应于最新的数据分布。针对以上

问题，本文提出了基于在线深度网络的概念漂移适应方法研究，其中通过构建惩罚敏

感的在线深度网络，使得网络信息容量的调整与数据流分布变化协调一致；同时构建

基于目标解耦的在线深度网络，实现了适应性与泛化性的兼顾，增强数据分布动态变

化后网络的适应性。具体研究内容如下：

（1）针对大多数模型难以处理复杂非线性分布的流数据分类任务的问题，本文

提出了一种惩罚敏感的在线深度网络。该方法将数据流的分布变化作为门控信号，有

效融合深浅层特征构建自适应深度单元，将其作为基础构件组成在线网络，并对在线

网络不同层表征进行信息蒸馏，得到尽可能多地包含与任务相关的多级抽象特征表

示。在此基础上，将在线网络不同层表征与多级抽象特征表示之间的信息一致性作为

对齐惩罚，以忽略与任务不相关的特征，促进网络信息容量的调整。最后，对比重构

网络重新编码的历史信息与当前输入样本信息的相似程度，并将其作为对比惩罚，增

强了流数据分布动态变化后惩罚敏感的在线深度网络的应对能力。所提出的方法有

效结合对齐惩罚和对比惩罚，提高了模型总体惩罚项的敏感性，使得网络信息容量的

调整与数据流分布变化协调一致。

（2）在面对概念漂移时在线深度网络容易呈现一种严重的过拟合状态，本文提

出了一种基于目标解耦的在线深度网络。一方面，模型从历史数据中学习一个任务未

知型的特征提取器，实现目标任务未知的表示学习，然后通过在泛化能力较强的特征

提取器上添加目标任务的自适应参数，使得表示学习和权重学习的自适应融合，实现

了适应性与泛化性的有效平衡。另一方面，通过特定于目标任务的权重，使任务未知

I

的泛化性强的特征表示适应于目标任务，将网络不同层表征信息蒸馏为目标任务的

预测原型，集中提取与任务相关的特征，实现对目标任务的权重学习以提高网络应对

数据分布动态变化的能力。所提出的方法将目标任务未知的表示学习和目标任务的

权重学习相解耦，实现了适应性与泛化性的有效平衡，提高了在线深度网络对数据流

分布变化的适应性。

本文结合对齐惩罚和对比惩罚，提高了模型总体惩罚项的敏感性，使得网络信息

容量的调整与数据流分布变化协调一致；此外，将目标任务未知型的特征提取器与目

标任务的权重相解耦，实现了适应性与泛化性的有效平衡，加强了数据流分布变化后

在线深度网络的适应性能。本文提出的模型能够有效适应数据分布的动态变化，并为

流数据挖掘的有关任务提出了一种具有可操作性的研究途径。

关键词：流数据；概念漂移；在线深度网络；对齐惩罚；对比惩罚；表示学习；权重

学习

II

目录

摘要I

ABSTRACTIII

1绪论1

1.1研究背景1

1.2国内外研究现状2

1.3论文主要工作4

2背景知识7

2.1概念漂移7

2.2基于在线深度网络的漂移适应7

2.3本章小结9

3惩罚敏感的在线深度网络11

3.1模型总体框架11

3.2自适应的特征表示蒸馏12

3.2.1自适应深度单元12

3.2.2特征表示蒸馏13

3.3对齐和对比惩罚14

3.3