larbin源码分析.jake.pdfVIP

larbin 源码分析(一) gloabl 文件 Connexion 结构 larbin 源码分析(一) 从gloabl 文件分析每一个结构 一 本系列主要是分析larbin 开源爬虫的源代码，主要思路是先从global 文 件中的各个重要的结构开始。 1 Connexion 此处为一个结构体 该结构体主要的作用是进行连接服务器的操作。其中析构函数基本不执 行，因为此结构是循环利用的，在 程序中保持一定的数量。小扩展：FetchOpen 类主要用来建立连接， 而FetchPipe 类主要用来进行连接之后的数据交换。 结构体中成员变量 struct Connexion{ char state ; //表示socket 的状态EMPTY , CONNECTING , WRITE . OPEN int pos ; //请求被发送到的位置 FetchError err ; //查询如何终止的 int socket ; // number of the fds int timeout ; //链接的超时值 LarbinString request ; //http 请求报头 file * parser ; //对下载的网页进行解析 char buffer[maxPageSize] ; //存储下载的网页数据 Connexion() ; ~Connexion() ; //recycle void recycle() ; //此处主要进行循环使用 } ; 2 具体成员函数的实现 Connexion::Connexion() //具体将socket 的状态变为emptyC { //将文件解析句柄变为空 state = emptyC ; parser = NULL ; } Connexion::~Connexion() //保证一旦调用，即报告错误 { assert(false) ; } /*recycle a connexion*/ void Connexion::recycle() //循环使用该结构体 { delete parser ; //删除解析对象 request.recycle() ; //对LarbinString 调用recycle 函数。 } 3 utils 包下的connexion.h 和 connexion.cc 的具体代码实现 // Larbin // Sebastien Ailleret // 15-11-99 - 14-12-99 #ifndef CONNEXION_H #define CONNEXION_H /* make write until everything is written * return 0 on success, 1 otherwise * Dont work on non-blocking fds */ int ecrire (int fd, char *buf); /* make write until everything is written * return 0 on success, 1 otherwise * Dont work on non-blocking fds */ int ecrireBuff (int fd, char *buf, int count); /** Write an int on a fds * (uses ecrire) */ int ecrireInt (int fd, int i); int ecrireInt2 (int fd, int i); int ecrireInti (int fd, int i, char *f); int ecrireIntl (int fd, long i, char *f); /** Write an int on a fds * (uses ecrire) */ int ecrireLong (int fd, long i); /* Write a cha