大数据计算服务MaxCompute图模型.PDFVIP

大数据计算服务MaxCompute 图模型 大数据计算服务MaxCompute/图模型 图模型 MaxCompute GRAPH是一套面向迭代的图计算处理框架。图计算作业使用图进行建模，图由点(Vertex)和边 (Edge)组成，点和边包含权值(Value)，MaxCompute GRAPH支持下述图编辑操作： - 修改点或边的权值； - 增加/删除点； - 增加/删除边； 备注： - 编辑点和边时，点与边的关系需要用户维护。 - 目前，Graph功能仍处于公测中，想使用这部分功能的用户可以通过工单系统提交申请。申请时 请指明您的项目空间名称，我们会在7个工作日内处理。 通过迭代对图进行编辑、演化，最终求解出结果，典型应用：PageRank ，单源最短距离算法 ，K-均值聚类算 法 等等。用户可以使用 MaxCompute GRAPH 提供的接口Java SDK编写图计算程序。 Graph数据结构 MaxCompute GRAPH能够处理的图必须是是一个由点(Vertex)和边(Edge)组成的有向图。由于 MaxCompute仅提供二维表的存储结构，因此需要用户自行将图数据分解为二维表格式存储在 MaxCompute中，在进行图计算分析时，使用自定义的GraphLoader将二维表数据转换为MaxCompute Graph引擎中的点和边。至于如何将图数据分解为二维表格式，用户可以根据各自的业务场景做决定。在 示例 程序 中，我们给出的示例分别使用不同的表格式来表达图的数据结构，仅供大家参考。 点的结构可以简单表示为 ID, Value, Halted, Edges ，分别表示点标识符(ID)，权值(Value)，状态(Halted, 表示是否要停止迭代)，出边集合(Edges，以该点为起始点的所有边列表)。边的结构可以简单表示为 DestVertexID, Value ，分别表示目标点(DestVertexID)和权值(Value)。 例如，上图由下面的点组成： Vertex ID, Value, Halted, Edges v0 0, 0, false, [ 1, 5 , 2, 10 ] v1 1, 5, false, [ 2, 3, 3, 2, 5, 9] v2 2, 8, false, [1, 2, 5, 1 ] v3 3, Long.MAX_VALUE, false, [0, 7, 5, 6] v5 5, Long.MAX_VALUE, false, [3, 4 ] 1 大数据计算服务MaxCompute/图模型 Graph 程序逻辑 1. 加载图： 图加载：框架调用用户自定义的GraphLoader将输入表的记录解析为点或边；分布式化：框架调用用户自定义 的Partitioner对点进行分片(默认分片逻辑：点ID哈希值然后对Worker数取模)，分配到相应的Worker； 例如，上图假设Worker数是2，那么v0, v2会被分配到Worker0，因为ID