首页

提交了页面却不被谷歌收录，是做 SEO 时经常遇到的问题。谷歌在 GSC 的 Pages 页面中列出了页面未被索引的常见原因，每一种原因都对应相应的解决办法，这里逐一拆解。

首先是两个与抓取节奏相关的原因：Crawled - currently not indexed（已抓取，尚未编入索引）和 Discovered - currently not indexed（已发现，尚未编入索引）。

第一个原因是用户的网页已经被爬虫成功抓取，但谷歌可能因为时间关系还没有完成收录。这种情况不需要做任何技术处理，耐心等几天即可。但如果用户发现网页在等待了很长时间后仍然没有被谷歌收录，可能就是因为谷歌认为页面的内容质量不高——此时应该回头优化网页内容，优化完成后再重新提交。

第二个原因是谷歌已经发现了用户的页面，但还没有抓取它。一般来说，谷歌对每个网站的抓取数量都有限制，如果用户在短时间内提交大量页面，就可能会遇到这个问题。值得注意的是，这个数量限制与网站本身的权重有关：如果用户的网站访问量大、内容多、存在时间长，谷歌会给出更多的抓取配额；如果是一个新网站，抓取配额就会相应减少。所以新站更要控制提交节奏，先把权重做起来。

其次，还有两个与内容重复相关的原因：Duplicate without user-selected canonical（重复页面，用户未设置规范标签）和 Duplicate, Google chose different canonical than user（重复页面，谷歌选择了与用户不同的规范页面）。第一个原因是爬虫发现了重复的页面，但用户没有设置 canonical 规范标签告诉爬虫应该以哪个页面为准，导致爬虫不知道该收录哪一个；第二个原因是用户虽然添加了规范标签，但谷歌爬虫自己选择了另一个页面作为规范页面。这两个问题的解决方案是一致的：修改页面内容，让每个页面都有独立的价值，或者直接删除重复的页面。

然后是 Server error（服务器错误）问题。遇到这个原因，用户可以重点检查网页是否能正常打开——服务器不稳定或响应超时，爬虫就无法顺利抓取内容。

此外还有三类原因：URL blocked by robots.txt（网址被 robots.txt 文件屏蔽）、Not found (404)（未找到网页）和 Excluded by 'noindex' tag（被"不索引"标签排除）。robots.txt 文件在网站上的作用是"引导"爬虫——告诉它哪些页面可以抓取、哪些不能抓取，如果不想屏蔽的页面出现在这里，就要检查 robots.txt 的规则是否写错了。出现 Not found (404) 问题，通常是由于网站错误或页面被删除，用户可以通过修正网站链接或恢复页面内容来解决。最后，Excluded by 'noindex' tag 问题与 URL blocked by robots.txt 有点相似：如果用户在页面代码中添加了 noindex 标签，就等于明确告诉爬虫不要抓取这个页面；反过来，如果用户希望爬虫抓取该页面，就需要修改页面代码、删除 noindex 标签。

排查这些原因的通用路径是：在 GSC 的 Pages 页面找到未被收录的原因分类，单击具体原因查看受影响的网址列表，再按照上述对应方案逐个解决。