《Spark大数据技术与应用案例教程》 项目六： GraphFrames——图计算框架.pptxVIP

Spark大数据技术与应用案例教程主讲教师：

目录项目一Spark入门项目二SparkRDD——弹性分布式数据集项目三SparkSQL——结构化数据处理项目四SparkStreaming——实时计算框架

目录项目五SparkMLlib——机器学习库项目六GraphFrames——图计算框架项目七综合案例——分析银行个人信贷 业务数据

项目六GraphFrames——图计算框架

任务一配置GraphFrames任务二分析社交网站的用户影响力

第6页传统的数据处理框架在处理图数据时面临一些挑战，如处理效率低、顶点和边的高关联性无法体现、复杂关系无法直接表示等。为了解决这些问题，高效、可扩展的图计算框架GraphFrames出现了。本项目结合分析社交网站的用户影响力案例，首先介绍图的基本概念和类型，然后介绍GraphFrames的优点、功能和应用场景，接着详细介绍图的创建方法与数据操作，最后介绍图的常用算法。

第7页掌握图的基本概念和类型。熟悉GraphFrames的优点和功能。了解GraphFrames的应用场景。

第8页能读取数据创建图。能使用GraphFrame类的属性和图的数据操作方法处理图数据。能使用图的常用算法解决实际问题。

第9页运用图算法处理日常生活中的数据关联性问题。加强自身观察能力，发掘事物之间的关联性。

任务一配置GraphFrames

第11页Spark的GraphX组件可用于图并行计算，该组件目前只支持Scala语言和Java语言。由于本书以Python作为开发语言，不能使用SparkGraphX组件实现图计算，因此选用Spark的第三方库GraphFrames来讲解图计算。

第12页使用GraphFrames之前需要在编程环境中引入其依赖，即配置GraphFrames。配置GraphFrames之前我们先了解一下图的基本概念和类型，学习GraphFrames的优点、功能和应用场景。

第13页一、认识图图（Graph）是一种数学结构，用于描述不同对象或实体之间的关联关系。图由一组顶点（又称为节点）和连接顶点对的边所构成。

第14页图的基本概念提供了图计算的核心理论，能够帮助我们更好地描述和解释实体间的关系。图的基本概念如下。（1）顶点（vertex）。顶点表示实体或对象。（2）边（edge）。边是连接顶点的线段或弧线，表示顶点之间关系或连接。1．图的基本概念一、认识图

第15页（3）度（degree）。顶点的度表示与该顶点相连的边的数量。（4）路径（path）。路径是由边连接的一系列顶点的序列，描述了从源顶点到目标顶点的经过的边的序列。图的基本概念提供了图计算的核心理论，能够帮助我们更好地描述和解释实体间的关系。图的基本概念如下。1．图的基本概念一、认识图

第16页（5）连通性（connectivity）。连通性描述了图中顶点之间的关联性和可达性。（6）子图（subgraph）。子图是从原始图中提取一部分顶点和边，形成的一个新的图。图的基本概念提供了图计算的核心理论，能够帮助我们更好地描述和解释实体间的关系。图的基本概念如下。1．图的基本概念一、认识图

第17页2．图的类型根据图的特征和属性，可以将图分为多种类型，如图所示。一、认识图

第18页（undirectedgraph）图中任意两个顶点之间的连接是双向的，没有明确的起点和终点。（1）无向图一、认识图

第19页（directedgraph）图中的每条边均有方向，即从一个顶点到另一个顶点存在指定的起点和终点。（2）有向图一、认识图

第20页（weightedgraph）图中每条边被赋予一个称为权重的数值。这些权重可以表示各种数量，如距离、成本或关系强度。（3）带权图一、认识图

第21页（bipartitegraph）图中的顶点可以分为两个独立的集合，使得同一个集合中的顶点之间没有边。（4）二分图一、认识图

第22页（completegraph）图中任意两个顶点之间都存在边。（5）完全图一、认识图

第23页二、GraphFrames概述GraphFrames是一个用于计算图数据的框架，它建立在DataFrame的基础上，扩展了Spark的功能，提供了方便的图计算和图分析工具。

第24页1．GraphFrames的优点二、GraphFrames概述由于GraphFrames建立在DataFrame的基础上，因此GraphFrames与GraphX相比具有以下优点，如图所示。

第25页2．GraphFrames的功能GraphFrames提供了一系列的功能，用于操作和分析图数据。