网站搭建完毕之后,有很多人会迫不及待地想投入网站内部优化的工作上。但是,不管是初学者还是有经验的谷歌SEO从业人员,在对网站优化之前,都要先看一遍谷歌官方对SEO方面的要求。
在自己的网站放开收录之前,不管是做了指向自己网站的外链还是在Google Search Console后台提交了站点地图,谷歌都不能正常抓取网站。因为WordPress网站的“设置”中有一个“阅读”项目,里面有一个功能叫“对搜索引擎的可见性”。一般情况下,在完成对网站内容的优化之前,建议开启此功能。
开启之后,搜索引擎是不会将网站页面内容添加到其索引数据库中的,可以使用“site:”指令(注意:site后面的冒号必须是英文状态)进行验证。
如果这时候查看某个网页的源代码,就会在该页面的<head>部分找到noindex标记。
但有些时候放开了网站的索引权限,在使用“site:”指令的时候也不一定能查询到自己网站的相关信息,原因如下。
(1)自己的网站和网络上的其他网站没有紧密关联(从侧面说明了外链的重要性,除了提升权重外,还能加快网页被谷歌抓取索引的速度)。
(2)网站建立时间太短,作为小网站,谷歌可能短时间内并没有关注到网站,所以谷歌蜘蛛并没有来网站进行内容爬取。
(3)网站的设计导致谷歌蜘蛛难以有效抓取其中的内容。
(4)谷歌蜘蛛在尝试抓取网站内容的时候遇到问题,比如,对网站页面的固定链接进行了修改,导致谷歌蜘蛛在爬取之前的链接时得到的是404报错。
(5)Robots.txt文件阻止了谷歌蜘蛛爬取网站。Robots.txt文件规定了允许搜索引擎抓取网站上的网页或者规定了抓取的范围,其目的是避免网站收到过多的访问请求,但是它并不是一种阻止谷歌抓取某个网页的机制。