Spark机器学习技术及应用 课件 第4章 Spark数据结构基础.pptx

Spark数据结构基础第4章

本章将介绍与数据处理密切相关的部分，即数据结构。从SparkRDD到带有schema的DataFrame，大大提升了开发效率。本章着重介绍DataFrame。Spark的运行和计算都慢慢转向围绕DataFrame来进行。DataFrame可以看成一个简单的“数据矩阵（数据框）”或“数据表”，对其进行操作也只需要调用有限的数组方法即可。它与一般“表”的区别在于：DataFrame是分布式存储，可以更好地利用现有的云数据平台，并在内存中运行。本章将详细介绍RDD、DataFrame结构，尽量使用图形方式讲解。同时还将与编程实战结合起来介绍DataFrame的常用方法