首页

robots.txt是放置在网站根目录的协议文件，用于规范搜索引擎爬虫的访问权限。文件由多条独立记录组成，记录间以空行分隔，支持#号注释。本文将通俗讲解该文件的标准书写格式、User-agent、Disallow、Allow核心指令用法，以及百度爬虫支持的通配符使用和匹配注意事项。

文件内可使用#符号添加注释，使用规范和UNIX系统惯例一致。整体书写逻辑固定，一般先通过一行或多行User-agent定义爬虫对象，再搭配对应的Disallow、Allow指令，明确爬虫的访问权限，各指令具体规则如下：

1.User-agent指令：该指令用于指定受规则约束的搜索引擎爬虫名称。文件中可设置多条User-agent记录，对应约束不同爬虫，且文件必须至少包含一条该指令。若设置为User-agent:*，则规则对所有爬虫生效，且该通用规则在文件中仅能出现一次。如果单独设置User-agent:SomeBot，那么后续的Disallow、Allow规则仅对SomeBot爬虫生效。

2.Disallow指令：主要用来禁止爬虫访问指定的URL地址，参数可以是完整路径，也可以是路径前缀，所有以该参数开头的URL都会被爬虫拦截。例如Disallow:/help，会禁止爬虫访问/help.html、/helpabc.html、/help/index.html等所有相关页面；而Disallow:/help/仅禁止访问/help目录下的页面，不会拦截/help.html、/helpabc.html这类页面。若填写Disallow:，代表放行网站所有URL。该文件必须至少包含一条Disallow记录，若网站无robots.txt文件或文件为空，默认对所有搜索引擎爬虫开放全部访问权限。

3.Allow指令：用于指定允许爬虫访问的URL地址，参数格式和Disallow一致，支持完整路径或路径前缀，匹配规则同理。比如Allow:/hibaidu，可放行/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html等相关页面。网站所有URL默认处于允许访问状态，因此Allow指令大多配合Disallow使用，实现“封禁大部分路径、放行指定路径”的权限管控效果。

4.通配符使用规则：百度爬虫Baiduspider支持*和$两种通配符实现URL模糊匹配，其中*可以匹配0个或多个任意字符，$代表匹配URL行结束符。

最后需要注意，百度爬虫会严格遵循robots协议执行抓取规则，且匹配方式为精确匹配，区分目录和文件大小写。若大小写设置有误，会导致robots协议无法正常生效，无法实现页面、目录的屏蔽收录需求。