九头鸟告诉你与googbot的第一约会表头与压缩.docVIP

九头鸟告诉你与googbot的第一约会：表头与压缩 谷歌机器人 -- 多么神奇的梦幻之舟！他了解我们的灵魂和各个组成部分。或许他并不寻求什么独一无二的东西；他阅览过其它数十亿个网站（虽然我们也与其他搜索引擎机器人分享自己的数据:)），但是就在今晚，作为网站和谷歌机器人，我们将真正地了解对方。 我知道第一次约会的时候，过分地分析从来就不是什么好主意。我们将通过一系列的文章，一点点地了解谷歌机器人： 我们的第一次约会（就在今晚）：谷歌机器人发出的数据标头和他所留意到的文件格式是否适于被进行压缩处理；判断他的反应：响应代码（301s、302s），他如何处理重定向和If-Modified-Since；下一步：随着链接，让他爬行得更快或者更慢（这样他就不会兴奋地过了头）。今晚只是我们的第一次约会…… ***************谷歌机器人： 命令正确应答网站： 谷歌机器人，你来了！谷歌机器人：是的，我来了！ GET / HTTP/1.1Host: Connection: Keep-aliveAccept: */*From: googlebot(at)User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +/bot.html)Accept-Encoding: gzip,deflate 网站： 这些标头太炫了！无论我