Spark大数据技术与应用 课件 37.DataFrame简介与创建.pptx

DataFrame简介与创建

课程导入：从RDD到DataFrame01RDD的核心局限性?无结构化定义：RDD是“黑盒”对象集合，框架无法感知数据内部Schema，如同散装货物。?优化天花板低：因缺乏元数据，难以进行编译期的逻辑优化与物理执行计划优化。?开发效率受限：API偏底层，处理结构化数据需编写大量重复的算子逻辑，不够直观。02为什么需要DataFrame？在企业级场景中，我们处理的日志、数据库表、JSON等数据几乎都是结构化的。为了打破RDD的限制，Spark引入了DataFrame——它不仅保留了RDD的分布式弹性，更融入了关系型数据库的Schema特性，让数据处理像写SQL