基于海量煤炭采集文本数据的可扩展SVM算法的研究与应用.pdfVIP

第32卷第5期 煤炭技术 V01．32,No．05 2013年5期 Coal May,2013 Technology ■■■■■■■■■■■●—●—●——■——■——■—■■■——■■■■■■■■■■■■■■■■■■■■■■■■■●■■●■●■■■lIll●———●———■■■■■■—■■■■—■●■■●——●■■■■■■■■■■—■■■■■■■■■■●——_ 基于海量煤炭采集文本数据的可扩展SVM算法的研 究与应用 刘国栋 (淄博职业学院，山东淄博255314) 摘要：文本分类是指在给定的分类系统下，根据文本的内容或属性，将大量文本归到一个或多个类别的过程。随 着煤炭产业韵高速发展，煤炭数据库中保存了大量煤炭采集文本数据，针对如此大规模的文本信息。传统的SVM 算法不能很好地对大规模海量煤炭文本数据进行有效的处理。文中基于现有流行的Hadoop分布式计算平台，提出了 分布式SVM文本分类算法。通过实验表明，文中提出的算法能够明显减小文本分类时间，并且具有很好的可扩展性。 关键i司：Hadoop；SVM；文本分类；分布式计算；煤炭数据采集 中图分类号：TP301．6；TP391文献标识码：A 文章编号：1008—8725(2013)05—0190-03 Researchand of ScaleCoalCollection ImplementationHuge TextDataBasedonScalableSVM Algorithm LIU Guo—dong (ZiboVocational Institute，Zibo255314，China) Abstract：Textclassificationmeansthe thatinfixedclassification to process system，according thecontentandattributesof amountoftextsareclassifiedinto text，huge oneormoreclasses． Withthe ofcoal storesa amountofcoalcollectiontext highlydevelopmentindustry．it huge this scaletextinformation．traditionalSVM couldnotdealwiththe data．Focusingbig algoritllm scaletexts this distributedSVMtextclassification huge effectively．Inpaper。wepropose basedon distributed resultsshowthatthe algorithm Hadoop platform．Theexperimental algorithm inthis could