二十种特征变换方法及SparkMLlib调用实例(ScalaJavapython)(二).docVIP

二十种特征变换方法及Spark MLlib调用实例（Scala/Java/python）（二） 算法介绍： VectorIndexer解决数据集中的类别特征Vector。它可以自动识别哪些特征是类别型的，并且将原始值转换为类别指标。它的处理流程如下： 1.获得一个向量类型的输入以及maxCategories参数。 2.基于原始数值识别哪些特征需要被类别化，其中最多maxCategories需要被类别化。 3.对于每一个类别特征计算0-based类别指标。 4.对类别特征进行索引然后将原始值转换为指标。 索引后的类别特征可以帮助决策树等算法处理类别型特征，并得到较好结果。 在下面的例子中，我们读入一个数据集，然后使用VectorIndexer来决定哪些特征需要被作为非数值类型处理，将非数值型特征转换为他们的索引。 调用示例： Scala： [plain] view plain copy import org.apache.spark.ml.feature.VectorIndexer val data = spark.read.format(libsvm).load(data/mllib/sample_libsvm_data.txt) val indexer = new VectorIndexer() .setInputCol(features) .setOutputCol(indexed) .setMaxCategories(10) val indexerModel = indexer.fit(data) val categoricalFeatures: Set[Int] = indexerModel.categoryMaps.keys.toSet println(sChose ${categoricalFeatures.size} categorical features: + categoricalFeatures.mkString(, )) // Create new column indexed with categorical values transformed to indices val indexedData = indexerModel.transform(data) indexedData.show() Java： [java] view plain copy import java.util.Map; import org.apache.spark.ml.feature.VectorIndexer; import org.apache.spark.ml.feature.VectorIndexerModel; import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; DatasetRow data = spark.read().format(libsvm).load(data/mllib/sample_libsvm_data.txt); VectorIndexer indexer = new VectorIndexer() .setInputCol(features) .setOutputCol(indexed) .setMaxCategories(10); VectorIndexerModel indexerModel = indexer.fit(data); MapInteger, MapDouble, Integer categoryMaps = indexerModel.javaCategoryMaps(); System.out.print(Chose + categoryMaps.size() + categorical features:); for (Integer feature : categoryMaps.keySet()) { System.out.print( + feature); } System.out.println(); // Create new column indexed with categorical values transformed to indices DatasetRow indexedData = indexerModel.transform(data); indexedData.show();