首页

robots.txt 是网站和爬虫程序沟通的核心文件，爬虫访问站点前会先读取这份文件，站长能通过它划定搜索引擎可抓取、不可抓取的页面范围。只有网站存在不想被收录的内容时才需要配置该文件，全站内容都允许收录的话无需创建，文件必须存放于网站根目录才能被爬虫正常识别。

一：什么是robots文件

robots.txt 是网站和 spider 交互的关键载体，网站运营者可借助这份文件，标注站内不希望搜索引擎抓取收录的板块，或是限定爬虫仅抓取指定页面内容。

搜索引擎依靠 spider 程序自动遍历全网页面、抓取页面数据。spider 进入任意站点时，第一步都会检索站点根目录是否存在 robots.txt 纯文本文件，这份文件的作用就是划定爬虫在本站的抓取权限。你可以自行搭建 robots.txt，通过文件内容告知爬虫哪些页面禁止收录、哪些仅开放抓取。

需要留意一点：只有站内存在不希望被搜索引擎抓取的内容，才有必要配置 robots.txt。若你希望网站全部页面都能被检索收录，就不用新建这份文件。

二：robots.txt 文件存放位置

robots.txt 必须存放在网站根目录。举个例子，爬虫访问http://www.abc.com这类站点时，会优先访问http://www.abc.com/robots.txt校验文件；一旦检索到文件，爬虫就会依照文件规则执行抓取操作。

举例：极客跨境站点的 robots.txt 访问地址为：https://www.geekdtc.com/robots.txt