第15课 Spark 特征抽取CountVectorizer——[Spark精品资源].pdfVIP

旗开得胜 Spark 特征抽取 CountVectorizer 【实验名称】 Spark 特征抽取 CountVectorizer 【实验目的】 （1）了解Spark 特征抽取 CountVectorizer 方法。 （2）掌握构建一个机器学习工作流。 【实验要求】 实验结束后，学生能够自行构建一个 CountVectorizer 机器学习模型，Cou ntVectorizerModel 指定一个先验词汇表来直接生成训练模型。 【实验环境】 1、1 台 Centos6.8 虚拟机 2、虚拟机上安装伪分布式或者分布式 hadoop3.0 3、集群下所有虚拟机上安装 spark 2.3.1 4、一台虚拟机上安装 scala 2.12.4 1 读万卷书 行万里路 旗开得胜 【实验步骤】 1.实验原理 CountVectorizer 和 CountVectorizerModel 的目标是帮助将一个文档集 合转换成一个包含 token 计数的向量当没有预先的字典可用时。 CountVectorizer 可用作估计器来提取词汇表，生成 CountVectorizerModel。 该模型为文档中的文档生成稀疏的词汇表示形式，然后将这些文档传递给 LDA 等其他算法。 在拟合过程中，CountVectorizer 将在语料库中选择由词频排序最高的词 汇。一个可选的参数 minDF 也通过指定一个词汇必须出现在词汇表中的最小值 (或小于 1.0)来影响拟合过程。另一个可选的二进制切换参数控制输出向量。如 果设置为真，所有非零计数都设置为 1。这对于离散的概率模型来说尤其有用， 模型是二进制的，而不是整数的。 2.实验过程 2.1 进入 Spark-shell 环境 [rootmaster ~]# /opt/spark-2.3.1-bin-hadoop2.7/bin/spark-shell 2 读万卷书 行万里路 旗开得胜 2.2 导入 CountVectorizer 所需要的包 1. import org.apache.spark.SparkConf 2. import org.apache.spark.SparkContext 3. import org.apache.spark.sql.SQLContext 4. import org.apache.spark.ml.feature.{ CountVectorizer, CountVe ctorizerModel} 3 读万卷书 行万里路 旗开得胜 2.3 创建一个 SQLContext 并导入 sqlContext.implicits._来实现 RDD 到 Dataframe 的隐式转换 scala val sqlContext = new SQLContext(sc) scala import sqlContext.implicits._ 2.4 假设我们有如下的 DataFrame 包含 id 和 words 两列，一共有 两个文档。 scala