搜索引擎会把这些处理好的信息放到搜索引擎的索引库中。下面重点介绍Google搜索引擎。

Google 搜索引擎使用两个爬行器来抓取网页内容,分别是:Freshbot和Deepbot。深度爬行器(Deepbot)每月执行一次,其受访的内容在Google的主要索引中,而刷新爬行器(Freshbot)则是昼夜不停地在网络上发现新的信息和资源,之后再频繁地进行访问和更新。因为,一般Google第一次发现的或比较新的网站就在Freshbot的名单中进行访问了。

Freshbot的结果是保存在另一个单独的数据库中的,由于Freshbot是不停地工作,不停地刷新访问内容,因此,被它发现或更新的网页在其执行的时候都会被重写。而且这些内容是和Google主要索引器一同提供搜索结果的。而之前某些网站在一开始被Google收录,但是没过几天这些信息就在Google的搜索结果中消失了,直到一两个月过去了,结果又重新出现在Google的主索引中。这就是由于Freshbot在不停地更新和刷新内容,而Deepbot要每月才出击一次,所以这些在Freshbot里的结果还没有来得及更新到主索引中,又被新的内容代替掉了。直到Deepbot重新来访问这一页,进行收录,才真正进入Google的主索引数据库中。


(本文内容根据网络资料整理,出于传递更多信息之目的,不代表连连国际赞同其观点和立场)
*连连国际 (LianLian Global) 是连连数字旗下跨境支付核心品牌