利用网站日志和robots来合理优化网站重点.pptVIP

排名建立在收录的基础，收录建立在抓取的基础。 如何看有没有被抓取？ 抓取了不被收录【过滤】 /wiki/9 抓取 Baiduspider，或称百度蜘蛛，会通过搜索引擎系统的计算，来决定对哪些网站施行抓取，以及抓取的内容和频率值。搜索引擎的计算过程会参考您的网站在历史中的表现，比如内容是否足够优质，是否存在对用户不友好的设置，是否存在过度的搜索引擎优化行为等等。 （新站1-2月原创和高质量的外链 ，上线之前准备高质量的内容。） 过滤 互联网中并非所有的网页都对用户有意义，比如一些明显的欺骗用户的网页，死链接，空白内容页面等。这些网页对用户、站长和百度来说，都没有足够的价值，因此百度会自动对这些内容进行过滤，以避免为用户和您的网站带来不必要的麻烦。 （文不对题 、文不对站 、 ） 建立索引 百度对抓取回来的内容会逐一进行标记和识别，并将这些标记进行储存为结构化的数据，比如网页的tagtitle、metadescripiton、网页外链及描述、抓取记录。同时，也会将网页中的关键词信息进行识别和储存，以便与用户搜索的内容进行匹配。 输出结果 用户输入的关键词，百度会对其进行一系列复杂的分析，并根据分析的结论在索引库中寻找与之最为匹配的一系列网页，按照用户输入的关键词所体现的需求强弱和网页的优劣进行打分，并按照最终的分数进行排列，展现给用户。 模板页面 重复单页 网站后台 导航图片 背景图片 JS User-agent: * 中间有空格意识说明允许所有引擎抓取！ Disallow: /plus/ad_js.php Disallow: /plus/advancedsearch.php Disallow: /plus/car.php Disallow: /plus/carbuyaction.php Disallow: /plus/shops_buyaction.php Disallow: /plus/erraddsave.php Disallow: /plus/posttocar.php Disallow: /plus/disdls.php Disallow: /plus/feedback_js.php Disallow: /plus/mytag_js.php Disallow: /plus/rss.php Disallow: /plus/search.php Disallow: /plus/recommend.php Disallow: /plus/stow.php Disallow: /plus/count.php Disallow: /include Disallow: /templets Sitemap:/sitemap.html Sitemap:/sitemap.xml 以上信息的意思是，禁止所有搜索引擎蜘蛛抓取和索引以上目录及文件， Disallow: 是定义禁止搜索引擎收录的地址， 例如：Disallow: /plus/ad_js.php 意思是，禁止蜘蛛抓取收录plus文件夹下的ad_js.php文件里的内容， 再例如：Disallow: /templets， 意思是禁止蜘蛛索引收录templets文件夹下的所有文件内容！ 如果允许所有搜索引擎蜘蛛访问和抓取网站所有内容， 可以建立一个空的robots.txt的文件放在根目录， 或者把robots.txt内的原有命令改为：User-agent: * 说明下Robots.txt文件的写法 我们都不打算让搜索引擎的蜘蛛爬取。在这种情况下，我们就有必要会用到Robots.txt文件，来与搜索引擎沟通。 1.如果你站点中的所有文件，都可以让蜘蛛爬取、收录的话，那么语法这样写: User-agent: * Disallow: 如果你网站中全部的文件都可以让搜索引擎搜索的话，你也可以不管这个文件。 2.完全禁止搜索引擎来访的Robots.txt文件写法: User-agent: * Disallow: / 2.1.要禁止掉某个搜索引擎来访的Robots.txt文件写法: User-agent: Googlebot Disallow: / 3.网站中某个文件夹不希望让搜索引擎收录的Robots.txt文件写法: User-agent: * Disallow: /admin/ Disallow: /images/ 4.禁止Google抓取网站中的图片文件: User-agent: Googlebot Disallow: /*.gif$ Robots.txt文件，是网站与搜索引擎沟通的比较重要的一个方式。 * 利用网站日志和