基于Spark的分层子空间权重树随机森林算法.PDFVIP

第３３卷　第 １０期 信 号 处 理 Ｖｏｌ．３３　Ｎｏ．１０ ２０１７年１０月 ＪＯＵＲＮＡＬＯＦＳＩＧＮＡＬＰＲＯＣＥＳＳＩＮＧ Ｏｃｔ．２０１７ 文章编号：１００３－０５３０（２０１７）１０－１３０１－０７ 基于Ｓｐａｒｋ的分层子空间权重树随机森林算法 牛志华　屈景怡　吴仁彪 （中国民航大学天津市智能信号与图像处理重点实验室，天津３００３００） 摘　要：高维数据的很多特征与类别的相关性弱，影响了随机森林的分类正确率。针对原始随机森林算法在高维 数据上的分类问题，提出了一种分层子空间权重树随机森林算法。同时，传统的单机模式无法满足高维数据计 算效率的需求，因此利用开源集群计算框架 Ｓｐａｒｋ在内存缓存和迭代计算上的优势，将所提算法在Ｓｐａｒｋ上实 现。所提算法采用以决策树为单位的分层抽样来生成特征子空间，在提高单棵决策树性能的同时，保证决策树 之间的多样性；并且采用权重