C语言编写一个电商网络蜘蛛.docVIP

用 C 语言编写一个网络蜘蛛来搜索网上出现的电子邮件地址 作者：zhoulifa 来源：/viewthread.php?tid=821361 可能大家经常要去互联网上搜索特定的内容，比如收集大量邮件地址，如果用 google 之类的搜索引擎是没法实现这种特定功能的，所以用 C 语言来写一个吧。它的功能就是不断去取得网络上的页面，然后分析出网页上出现的邮件地址保存下来。象个蜘蛛一样，从网络上一个网页爬向另一个网页，不停止地搜索邮件地址。 即：分析程序运行时的参数，把各网页地址作为根节点加入到链表，然后从链表头开始处理各节点 对整个链表的处理是先处理兄弟节点，流程图如下： 然后再处理各节点的子节点，流程图如下： 当然，这里采用了递归调用方法，处理子节点的数据时和处理整个链表一样循环处理就是了。 /************关于本文档******************************************** *filename: 用 C 语言编写一个网络蜘蛛来搜索网上出现的电子邮件地址 *purpose: 一个邮址搜索程序的雏形 *wrote by: zhoulifa(zhoulifa@163.com) 周立发() Linux爱好者 Linux知识传播者 SOHO族 开发者 最擅长C语言 *date time:2006-08-31 21:00:00 *Note: 任何人可以任意复制代码并运用这些文档，当然包括你的商业用途 * 但请遵循GPL *Hope:希望越来越多的人贡献自己的力量，为科学技术发展出力 *********************************************************************/ 程序在运行的过程中要建立一个树形链表结构，结构图如下： 程序启动时分析所带参数，把各参数加入到根网页节点，如果有多个参数则这个根网页有兄弟节点。 然后从根节点开始处理这一级上各节点，把各节点网页上出现的网页链接加到该节点的子节点上，处理完当前这一级后处理子节点这一级。 当然这只是一个原理展示程序，并没有进行优化。 这个程序的 main 函数流程图如下： 源代码如下： #include sys/types.h #include sys/stat.h #include fcntl.h #include sys/mman.h #include unistd.h #include stdio.h #include string.h #include stdlib.h #include netdb.h #include errno.h #include locale.h #define USERAGENT Wget/1.10.2 #define ACCEPT */* #define ACCEPTLANGUAGE zh-cn,zh;q=0.5 #define ACCEPTENCODING gzip,deflate #define ACCEPTCHARSET gb2312,utf-8;q=0.7,*;q=0.7 #define KEEPALIVE 300 #define CONNECTION keep-alive #define CONTENTTYPE application/x-www-form-urlencoded #define MAXFILENAME 14 #define DEBUG 1 typedef struct webnode { char * host; /* 网页所在的主机 */ int port; /* 网络服务器所使用的端口 */ char * dir; /* 网页所在的目录 */ char * page; /* 网页文件名 */ char * file; /* 本地保存的文件名 */ char IsHandled; /* 是否处理过 */ struct webnode * brother; /* 兄弟节点链表指针 */ struct webnode * child; /* 子节点链表指针 */ } WEBNODE; struct sockaddr_in server_addr; int sockfd = 0, dsend = 0, totalsend = 0, nbytes = 0, reqn = 0, i = 0, j = 0, re