st的林业文本并行分类方法研究.PDFVIP

２０１９年 ６月 农 业 机 械 学 报 第 ５０卷 第 ６期 ｄｏｉ：１０．６０４１／ｊ．ｉｓｓｎ．１０００１２９８．２０１９．０６．０３２ 基于Ｓｐａｒｋ框架ＸＧＢｏｏｓｔ的林业文本并行分类方法研究 崔晓晖　师栋瑜　陈志泊　许　福 （北京林业大学信息学院，北京 １０００８３） 摘要：针对当前“互联网＋”技术与林业的交叉融合，涌现出海量待挖掘的涉林文本，而林业文本分类的相关研究 尚不成熟的问题，使用网络爬虫技术面向互联网采集涉林文本，基于丰富的语料重新构建分类标签，提出基于 Ｓｐａｒｋ计算框架的ＸＧＢｏｏｓｔ并行化方法，对林业文本进行分类。经由交叉验证，构建的ＸＧＢｏｏｓｔ并行分类算法准确 率为０９２３４，在各类别中最低 Ｆ 为０８６０４，最高为０９９８４；其在２１万条、４２万条、８４万条数据集上的训练加 １ 速比分别为２１３、３４７、３８２。结果表明，基于该标签设定的分类模型对现存互联网中涉林文本的适应性较好； Ｓｐａｒｋ环境下实现的ＸＧＢｏｏｓｔ并行化算法的准确率显著优于其他 ４种机器学习（朴素贝叶斯、ＧＢＤＴ决策树、ＢＰ神 经网络和 ＥＬＭ神经网络算法）的并行化算法，算法执行效率远高于单机版本，且数据量越大，其加速比越高，能有 效应对海量林业文本的实时、准确分类。 关键词：林业文本；文本分类；大数据分析；Ｓｐａｒｋ；ＸＧＢｏｏｓｔ 中图分类号：ＴＰ３９１１ 文献标识码：Ａ 文章编号：１０００１２９８（２０１９）０６０２８００８ ＰａｒａｌｌｅｌＦｏｒｅｓｔｒｙＴｅｘｔＣｌａｓｓｉｆｉｃａｔｉｏｎＴｅｃｈｎｏｌｏｇｙＢａｓｅｄｏｎ ＸＧＢｏｏｓｔｉｎＳｐａｒｋＦｒａｍｅｗｏｒｋ ＣＵＩＸｉａｏｈｕｉ　ＳＨＩＤｏｎｇｙｕ　ＣＨＥＮＺｈｉｂｏ　ＸＵＦｕ （ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＢｅｉｊｉｎｇＦｏｒｅｓｔｒｙＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００８３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｔｐｒｅｓｅｎｔ，ｔｈｅｃｒｏｓｓｉｎｔｅｇｒａｔｉｏｎｏｆｃｏｍｐｕｔｅｒｔｅｃｈｎｏｌｏｇｙａｎｄｆｏｒｅｓｔｒｙｆｉｅｌｄｈａｄｅｍｅｒｇｅｄａｌａｒｇｅ ｎｕｍｂｅｒｏｆｆｏｒｅｓｔｒｙｔｅｘｔｓｔｏｂｅｅｘｐｌｏｒｅｄ，ａｎｄｔｈｅｓｈｏｒｔｃｏｍｉｎｇｓｏｆｒｅｌａｔｅｄｒｅｓｅａｒｃｈｃｏｕｌｄｂｅｓｕｍｍａｒｉｚｅｄｉｎ ｔｗｏａｓｐｅｃｔｓ：ｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｌａｂｅｌｓｉｎｔｈｅｅｘｉｓｔｉｎｇｃｌａｓｓｉｆｉｃａｔｉｏｎｓｙｓｔｅｍｗｅｒｅｓｅｔｕｎｓｃｉｅｎｔｉｆｉｃ，ｌｅａｄｉｎｇｔｏ ｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｍｏｄｅｌｌａｃｋｉｎｇｏｆａｂｉｌｉｔｙｔｏｃｌａｓｓｉｆｙｔｈｅｔｅｘｔｓｏｎｎｅｔ；ｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｌｇｏｒｉｔｈｍｗａｓ ｍｏｓｔｌｙｔｒａｉｎｅｄｉｎｔｈｅｓｉｎｇｌｅｍａｃｈｉｎｅｅｎｖｉｒｏｎｍｅｎｔｗｉｔｈｏｕｔｃｏｎｓｉｄｅｒｉｎｇｉｔｓｐａｒａｌｌｅｌｉｓｍ，ｔｈｅｎｔｈｅａｌｇｏｒｉｔｈｍ ｃｏｕｌｄｎｏｔｄｅａｌｗｉｔｈｔｈｅａｃｔｕａｌｌａｒｇｅｓｃａｌｅｄａｔａｃｌａｓｓｉｆｉｃａｔｉｏｎｐｒｏｂｌｅｍ．Ｔｈｅｒｅｆｏｒｅ，ｉｔｗａｓｐｒｅｔｔｙｒｅａｌｉｓｔｉｃ ａｎｄｕｒｇｅｎｃｙｔｏｄｅｓｉｇｎｍｏｒｅｓｃｉｅｎｔｉｆｉｃｃｌａｓｓｉｆｉｃａｔｉｏｎｌａｂｅｌｓａｎｄｃｌａｓｓｉｆｙｆｏｒｅｓｔｒｙｔｅｘｔｓｂａｓｅｄｏｎＳｐａｒｋ ｆｒａｍｅｗｏｒｋ．Ａｎｅｗｃｒａｗｌｅｒｔｅｃｈｎｏｌｏｇｙｗａｓｕｓｅｄｔｏｃｏｌｌｅｃｔｆｏｒｅｓｔｒｙｒｅｌａｔｅｄｔｅｘｔｓ，ａｎｄｒｅｃｏｎｓｔｒｕｃｔｌａｂｅｌｓｂｙ ｒｅｆｅｒｒｉｎｇｔｏｔｈｅｅｘｉｓｔｉｎｇｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌｓｙｓｔｅｍｏｆｆｏｒｅｓｔｒｙｔｏｉｍ