二零二三年 优质公开课SparkonHive案例分析.pptx

Spark on Hive案例分析 导语01 导语 现有如下student_infos、student_scores两个文件的数据，现要查询每个学生的姓名、年龄、分数信息，并将查询的结果保存到Hive表result中。两个文件内容如下： Spark on Hive案例分析02 Spark on Hive案例分析 首先需要设置SparkSession对象开启对Hive的支持。 SparkSession.builder.enableHiveSupport()是开启对Hive的支持，这样就可以使用Spark读取Hive中的数据。此外，还需创建表student_infos、student_scores。 对应的代码如下： Spark on Hive案例分析 其次，需要将对应的student_infos、student_scores两个文件上传到mynode4客户端节点/root/test路径下，并加载到创建的两张表中。 代码如下： Spark on Hive案例分析最后，查询业务，将结果保存到表result中，代码如下： Spark on Hive案例分析 以上代码需要打包提交到Yarn资源调度框架中执行，将打包后的代码提交到mynode4客户端。 执行如下提交任务的命令： Spark on Hive案例分析在Hive中查询result结果表，结果如下： 通过案例加深理解Spark on Hive