低代价的数据流分类算法①-计算机系统应用.PDFVIP

2016 年 第25 卷 第 12 期 计 算 机 系 统 应 用 低代价的数据流分类算法① 李 南 (福建农林大学 计算机与信息学院, 福州 350002) 摘 要: 现有数据流分类算法大多使用有监督学习, 而标记高速数据流上的样本需要很大的代价, 因此缺乏实用 性. 针对以上问题, 提出了一种低代价的数据流分类算法 2SDC. 新算法利用少量已标记类别的样本和大量未标 记样本来训练和更新分类模型, 并且动态监测数据流上可能发生的概念漂移. 真实数据流上的实验表明, 2SDC 算法不仅具有和当前有监督学习分类算法相当的分类精度, 并且能够自适应数据流上的概念漂移. 关键词: 概念漂移; 数据流; 分类; 低代价; 监督学习 Low-Cost Algorithm for Stream Data Classification LI Nan (College of Computer and Information Science, Fujian Agriculture and Forestry University, Fuzhou 350002, China) Abstract: Existing classification algorithms for data stream are mainly based on supervised learning, while manual labeling instances arriving continuously at a high speed requires much effort. A low-cost learning algorithm for stream data classification named 2SDC is proposed to solve the problem mentioned above. With few labeled instances and a large number of unlabeled instances, 2SDC trains the classification model and then updates it. The proposed algorithm can also detect the potential concept drift of the data stream and adjust the classification model to the current concept. Experimental results show that the accuracy of 2SDC is comparable to that of state-of-the-art supervised algorithm. Key words: concept drift; data stream; classification; low-cost; supervised learning 数据流分类现已成为数据挖掘领域的一个研究热 对现有模型进行增量式更新. 然而, 这种模型通常结 点, 涉及的实际应用包括网络入侵检测以及垃圾邮件 构复杂, 并且需要频繁地对模型进行繁琐的更新. 在 过滤等. 数据流上的样本持续、快速地到来, 使得传统 将数据流上的样本按照到来的时间划分为大小相同的 的一次性静态学习的数据挖掘算法无法适用. 此外, 数据块后, 集成分类模型用新数据块上建立的基分类 数据流上隐含的知识也有可能随着时间的推移而发生 器, 替换当前模型中分类性能较差或者已经过时的基 [1] 变化, 出现概念漂移 现象. 例如,