分布式图计算GraphLab分析1.docxVIP

GraphLab准备阶段的研究与分析GraphLab的准备阶段即从加载图文件到GAS计算之前的GraphLab内部准备过程。共分为三个阶段:图的加载、图的构建和图的完成。下图为GraphLab准备阶段的流程图:图的加载Load图的加载即从外部将图文件加载到GraphLab中。该过程分为两步：加载图文件和解析图文件。加载图文件通过load_format()函数将图文件以用户指定的格式加载到GraphLab中。在load()函数中判断文件的存储路径，即NFS（网络文件系统）和HDFS（分布式文件系统），根据图文件的存储位置不同，可调用函数load_from_hdfs()或者load_from_posixfs()加载图文件。GraphLab支持的标准图文件格式如下：解析图文件GraphLab利用内置的行解析器对不同类型的图文件采取不同的解析方式。首先对加载的图文件进行类型判断，即tsv,snap,bintsv4等几种标准图文件类型。再根据图文件类型调用不同的行解析器对图文件解析，如果图文件类型是用户自定义的，需自行编写解析器。如果该文件类型为snap，则调用行解析器snap_parser()对该文件解析。通过解析可获得每条边的源节点和目标节点对。在图加载过程中涉及到的函数及其简单分析如下：//以标准图文件格式加载图,并且构建一个行解析器，使它指向该图文件类型的行解析函数{line_parser_type line_parser;//行解析器 2414? if (format == snap) {//指向解析snap类型的行解析函数 2415? line_parser = builtin_parsers::snap_parserdistributed_graph;//调用load()函数 2416? load(path, line_parser);} //在文件系统或者HDFS中加载所有文件名匹配[prefix]*的文件{rpc.full_barrier();if (prefix.length() == 0) return;//判断路径名，选择不同的加载方式if(boost::starts_with(prefix, hdfs://)) {load_from_hdfs(prefix, line_parser);} else {load_from_posixfs(prefix, line_parser);? }rpc.full_barrier();} // end of load//根据指定的存储路径加载图文件，将第一个文件分配给machine 0，依次类推，将所有的文件均分给所有机器。（每个文件只能被一台机器读取）for(size_t i = 0; i graph_files.size(); ++i) { //将第一个文件分配给machine 0，以此类推if(i % rpc.numprocs() == rpc.procid()) { 3431? logstream(LOG_EMPH) Loading graph from file: graph_files[i] std::endl; 3432? // 判断是否有压缩文件 3433? constbool gzip = boost::ends_with(graph_files[i], .gz); 3434? // 打开文件流 3435? graphlab::hdfs::fstream in_file(hdfs, graph_files[i]); 3436? boost::iostreams::filtering_streamboost::iostreams::input fin;//以gzip方式解压 3437? if(gzip) fin.push(boost::iostreams::gzip_decompressor());//从in_file中读出 3438? fin.push(in_file); 3439? constbool success = parser(this, boost::ref(fin));//调用parser，从输入流中加载一行//if(!success) { 3441? logstream(LOG_FATAL) 3442? \n\tError parsing file: graph_files[i] std::endl; 3443? }/* 3217? templatetypename Fstream 3218? bool load_from_stream(std::string filename, Fstream fin, 3219? line_parser_type line_parser) { 3220? size_t linecoun