基于加权Bayes分类器的流数据在线分类算法研究.pdfVIP

基于加权Bayes分类器的流数据在线分类算法研究 卢惠林 (哈尔滨工业大学计算机学院 哈尔滨150001)(江苏省无线传感系统应用技术研发中心 无锡214153) 摘要传统的分类算法在对模型进行训练之前，需要得到整个训练数据集。然而在大数据环境下，数据以数据流的 形式源源不断地流向系统，因此不可能预先获得整个训练数据集。研究了大数据环境下舍有噪音的流数据的在线分 类问题。将流数据的在线分类描述成一个优化问题，提出了一种加权的N舡veBayes分类器和一种误差敏感的(Error Adaptive)分类器，并通过真实的数据集对提出的算法进行了验证。实验结果表明，文中提出的误差敏感的分类器算 法在系统没有噪音的情况下分类预测的准确性要优于相关的算法；此外，当流数据中含有噪音时，误差敏感的分类器 算法对噪音不敏感，仍然具有很好的预测准确性，因此可以应用于大数据环境下流数据的在线分类预测。 关键词大数据，决策树，分类算法，流数据 中图法分类号TP311文献标识码A W嘞ted咿俄Ised咖岫伽妇aassi撇油Al耐岫 LUHui-l协 of (sch00lG∞1puter，HarbinIr妇ust血1U11iversity，Harjbm150001，CIlim) Center∞Wirel鹤ssensorSystem，Wu菇214153，C抽腿) (JiangsuEnginedngTechnologyD电velopn抡nt A随价_ctTraditiomlclassificationneedt0obtainthewhole dataSetbefore modeL a190riths trailliIlg tr血iTlg小e are intothe itis toobtaiflmeWhole However，forbigdata，data n诅mng str枷ng syst锄sequendally，s0hpossible dataset the for firstdescribed beforehand．TKsstudiedominedassification da饥It paper pmbl咖iIlda协str朗mingbig orlhlle 出e daSsificadon a and锄Er- pmbl啪弱衄0ptimi趵tionprobl锄，th∞proposedWe近出ted№veBay髓classifier ror dassifier，卸dat the ofthe to肿realdat鹞ets．The Adap吐ve 1ast，validatedef6d啊cy accordiIlg proposed讪弦rith showt11att11e ofour is thanrelatedresearchesin e)币erim蜘ts pr甜ic曲naccmcy algorithhigher noI卜noisy proposed data