Spark大数据分析实务 课件 项目5 基于Spark SQL实现广告流量检测数据预处理 .pptx

基于SparkSQL实现广告流量检测数据预处理;教学目标;教学目标;思维导图;项目背景;项目目标;目标分析;掌握DataFrame行列表增、删操作;掌握DataFrame行列表增、删操作;新增数据列;新增数据列;新增数据列;删除数据列;删除数据列;掌握DataFrame行列表增、删操作;创建与使用用户自定义函数;UDFs使用介绍;UDFs使用介绍;使用UDFs;使用UDFs;使用UDFs;掌握DataFrame行列表增、删操作;掌握DataFrame表联合操作;掌握DataFrame表联合操作;join()五大重载方法说明;join()五大重载方法说明;根据特定字段进行表联合操作;根据特定字段进行表联合操作;根据特定字段进行表联合操作;指定类型进行表联合操作;使用Column类型进行表联合操作;掌握DataFrame行列表增、删操作;掌握DataFrame行列表输出操作;保存为文件;保存为文件;保存为文件;保存为持久化的表;基于SparkSQL实现广告流量检测数据预处理;使用drop语句删除数据;使用drop语句删除数据;使用drop语句删除数据;使用drop语句删除数据;自定义函数构建关键特征;划分时间区间;构建关键特征并保存至Hive表中;构建关键特征并保存至Hive表中;使用drop语句删除数据;保存DataFrame数据至Hive表;保存DataFrame数据至Hive表;小结;基于SparkSQL实现广告流量检测数据预处理;技能拓展;技能拓展;技能拓展;技能拓展;知识测试;知识测试;知识测试;知识测试;知识测试;技能测试;技能测试;技能测试;技能测试;技能测试;技能测试;技能测试