20-0使用mllib机器学习库.pptVIP

Spark 大数据技术与应用 第七章 Spark 机器学习库 课前回顾 机器学习一般流程 ? （ 1 ）准备数据 ? （ 2 ）训练模型 ? （ 3 ）模型评估 03 使用 MLlib 机器学习库 ——实战 MLlib 搭建环境 ? Pycharm 编辑器 工具 ? import os ? os.environ[JAVA_HOME]=/usr/jdk64/jdk1.8.0_112/ 配置运行环境 ? os.environ[PYSPARK_PYTHON]=/anaconda/anaconda3/bin/python ? from pyspark import SparkContext,SparkConf,SQLContext 初始化 spark 集 群入口 ? sc=SparkContext.getOrCreate(SparkConf().setAppName(MLlib_demo)) ? spark=SQLContext(sc) 加载数据 import pyspark.sql.types as typ labels = [ (INFANT_ALIVE_AT_REPORT, typ.StringType()), … ] schema = typ.StructType([ typ.StructField(e[0], e[1], False) for e in labels]) # 加载数据并指定 schema births = spark.read.csv( /home/anaconda/spark/births_train.csv , header=True, schema=schema) 加载数据 字典映射： recode_dictionary = { YNU: { Y: 1 ， N: 0 ， 2018 U: 0 } } put Student, 0001, StuInfo:Name,Tom Green 加载数据 MOTHER_HEIGHT_IN ， selected_features = [ INFANT_ALIVE_AT_REPORT ， BIRTH_PLACE ， MOTHER_PRE_WEIGHT ， MOTHER_DELIVERY_WEIGHT ， MOTHER_WEIGHT_GAIN ， DIABETES_PRE ， DIABETES_GEST ， HYP_TENS_PRE ， MOTHER_AGE_YEARS ， FATHER_COMBINED_AGE ， CIG_BEFORE ， CIG_1_TRI ， CIG_2_TRI ， CIG_3_TRI ， ] HYP_TENS_GEST ， PREV_BIRTH_PRETERM births_trimmed = births.select(selected_features) 加载数据 特征字典映射： import pyspark.sql.functions as func #recode() 方法从 recode_dictionary 中 返回 key 对应的值 def recode(col ， key): return recode_dictionary[key][col] # correct_cig 方法 检查特征 feat 的值何时不等于 99 不等于 99 ，则返回特征的值 等于 99 ，则返回 0 def correct_cig(feat): return func \ .when(func.col(feat) != 99 ， func.col(feat))\ .otherwise(0) 函数调用 rec_integer = func.udf(recode ， typ.IntegerType()) 加载数据 births_transformed = births_trimmed \ .withColumn(CIG_BEFORE, correct_cig(CIG_BEFORE))\ .withColumn(CIG_1_TRI, correct_cig(CIG_1_TRI))\ 纠正与吸烟有关的特征 .withColumn(CIG_2_TRI, correct_cig(CIG_2_TRI))\ .withColumn(CIG_3_TRI, correct_cig(CIG_3_TRI)) 加载数据 cols = [(col.name, col.dataType) for col in births_trimmed.schema] YNU_cols = [] 找出哪些特征是 Yes/No/Unknown ： for i, s in enumerate(cols): if s[1] == typ.StringT