如何查看网站日志中搜索引擎蜘蛛的来访记录整理.pdfVIP

对于很多做网站的新手来说，都没有经过系统地授课进行网络技术和建站知识学习， 做网站都是靠自学，遇到难题在论坛发帖提问，更不会懂得网站优化，对于较基本操作 —— 通过网站日志看蜘蛛来访情况都不知到哪里看， 怎么看。 前两天看到很多人发帖提问， 回复 者的答案却比较精炼， 不具体， 提问者还是云里雾里的， 现我就以自己的网站来系统地操作 一次，提交给大家参考，有说错的地方，请批评指正。 1、打开 FTP 登录软件，我用的是 FlashFXP ，登录空间 FTP 登录 FTP 后，你会发现根目录下有一个 wwwlogs 文件夹， ( 有的是 weblog ，注：不同 的服务器空间生成的日志文件目录名称不一样，仅供参考，一般文件夹中包含 Log 字符的 就是日志文件夹 ) 。 2 、打开 wwwlogs 文件夹后， 里面有一些以日期格式特征为文件名的 .gz 后缀结尾的文 件，这些就是我们需要下载到本地的日志文件。 3 、下载到电脑桌面后，解压缩打开，里面是一个记事本格式的文件，打开文件，看到 的是下图这样的代码，我下载的是 3 月 7 日的那个文件。 4 、分析代码 上图 1 是百度蜘蛛的 IP 地址 ; 2 是蜘蛛来访日期时间 (2012 年 3 月 6 日 1 时 21 分 22 秒) ，3 月 7 日的日志文件记录 的是从 3 月 6 日凌晨开始，至 3 月 7 日 1 时 11 分 39 秒整个时间段的 n 多次来访记录 ); 3 是百度蜘蛛 baiduspider 4 是我网站被访问的网页地址 ; 5 是 sogou 搜狗蜘蛛的来访，同样也能看到时间和被访网页。 如果是简单的查看，您可以在记事本中搜索 baiduspider ，如果想精确分析，可借助 一些专用的分析软件。 分析下哪些时间段百度蜘蛛来的最频繁， 那么我们就在这个时间段更 新我们的网站内容，很容易被百度收录的。 通过分析蜘蛛来访纪录，可以了解本站的大体情况，而不用再为百度不放出内页或者 不收录的问题而苦恼了。 蜘蛛来访正常，可以确切的说，搜索引擎对你的站很友好的，坚持更新自己的网站， 会有不错的收录的。 注：有些共享 IP 空间可能不支持日志功能， 对于独立 ip 虚拟主机则提供每天的日志下 载，而实在没有可以日志功能的空间可以参考使用蜘蛛爬行插件的一些方法进行分析。