1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 工业设计

robots.txt文件作用与语法说明.pdfVIP

  • 0
  • 0
  • 约1.07万字
  • 约 14页
  • 2025-10-22 发布于北京
  • 举报

robots.txt文件作用与语法说明.pdf

    robots.txt文件的作用和语法介绍

    1、什么是robots.txt文件

    搜索引擎有自己的搜索习惯，当它对一个进行搜索时，哪些目录和文件要看，

    哪些不用看，它有自己的算法。我们也可以自己建立一个robots.txt文件，告诉搜索引擎

    的机器人哪些可以被收录，哪些不需要收录。这样可以节约自己的资源，提高被搜索引

    擎收录

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >