IIS日志的重要作用-蜘蛛爬行与网站优化.pdfVIP

网络营销中心 IIS日志的重要作用-蜘蛛爬行与网站优化 从iis日志的我们不但可以了解到访问网站的信息，比如说访问者的ip，浏览器，是 否访问成功等等的信息。同时还可以发掘有利于我们网站优化的重要脚印--搜索蜘蛛的爬行 记录。 一、搜索蜘蛛对iis日志的爬行分析 1.通过IIS日志可以了解蜘蛛对网站的基本爬取情况，可以知道蜘蛛的爬取轨迹和爬 取量，通过我们的IIS日志，外链的多和少和网站蜘蛛的爬取量是有直接影响的，我们所说 的链接诱饵就是如果你做了一个外链，蜘蛛在爬取这个外链页面并把页面放出来时，蜘蛛可 以通过你留的这个链接来爬取你的网站，而IIS日志正是会记录下蜘蛛的这次爬取行动。 2.网站的更新频率也和IIS日志中蜘蛛抓取的频率有关，一般来说更新频率越高，蜘蛛的 抓取频率越高，而我们网站的更新不仅仅只是新内容的添加同时还有我们的微调操作。 3.我们可以根据IIS日志的反应情况，对我们的空间的某些事情和问题提前进行预警，因 为服务器如果出问题的话在IIS日志中会第一时间反映出来，要知道服务器的稳定速度和打 开速度两者都会直接影响我们的网站。 4.通过IIS日志我们可以知道网站的那些页面是很受蜘蛛欢迎的，而哪些页面是蜘蛛连碰 都不去碰的，同时我们还能发现有一些蜘蛛由于是过度爬取对我们的服务器资源损耗是很大 的，我们要进行屏蔽工作。 搜索蜘蛛爬行记录案例分析： 查看日志的后缀名是log。我们可以用记事本打开（或者用第三方工具进行查看），选择格式 里的自动换行这样看起来方便，同时用搜索功能搜索BaiduSpider和Googlebot这两个蜘蛛。 例如： 百度蜘蛛 2012-03-13 00:47:10 W3SVC177 7 GET / - 80 - 44 Baiduspider-favo+(+ baidu /search/spider )200 0 0 15256 197 265? 谷歌机器人 2012-03-13 08:18:48 W3SVC177 7 GET /robots.txt - 80 - 6 Googlebot/2.1+(+ google /bot )200 0 0 985 200 31? 我们分段来解释 2012-03-13 00:47:10蜘蛛爬取的日期和时间点 W3SVC177 这个是机器码这个是惟一的我们不去管它 7 这个IP地址是服务器的IP地址 GET代表事件 GET后面就是蜘蛛爬取的网站页面，斜杠就代表首页 80是端口的意思 44 这个IP则是蜘蛛的IP，这里告诉大家一个鉴别真假百度蜘蛛的方法， 我们电脑点击开始运行输入cmd打开命令提示符，输入nslookup空格加蜘蛛IP点击回车，一 般真百度蜘蛛都有自己的服务器IP而假蜘蛛则没有。 拓宽卫士 竞价推广防恶意点击网络营销中心 网络营销中心 二、如何下载日志及日志设置注意事项 1.首先我们的空间要支持IIS日志下载，这一点是很重要的，在我们购买空间之前必 须要先问好支不支持IIS日志下载，因为有的服务商是不提供这项服务的，如果支持的话空 间后台一般都有日志WebLog日志下载这个功能把它下载到根目录在用FTP传到本地就可以， 服务器的话可以设置将日志文件下载到指定路径。 2.这里有个很重要的问题，IIS日志强烈建议设置成每小时生成一次，小型的企业站和 页面内容较少的网站可以设置成一天，它默认是一天，如果内容多或者大型站设置成一天生 成一次，那么一天只生成一个文件，这个文件会相当的大，我们有时电脑打开是会造成死机， 设置的话找空间商协调设置即可。 拓宽卫士 竞价推广防恶意点击网络营销中心