搜索引擎会把这些处理好的信息放到搜索引擎的索引库中。下面重点介绍Google搜索引擎。

Google 搜索引擎使用两个爬行器来抓取网页内容，分别是:Freshbot和Deepbot。深度爬行器(Deepbot)每月执行一次，其受访的内容在Google的主要索引中，而刷新爬行器(Freshbot)则是昼夜不停地在网络上发现新的信息和资源，之后再频繁地进行访问和更新。因为，一般Google第一次发现的或比较新的网站就在Freshbot的名单中进行访问了。

Freshbot的结果是保存在另一个单独的数据库中的，由于Freshbot是不停地工作，不停地刷新访问内容，因此，被它发现或更新的网页在其执行的时候都会被重写。而且这些内容是和Google主要索引器一同提供搜索结果的。而之前某些网站在一开始被Google收录，但是没过几天这些信息就在Google的搜索结果中消失了，直到一两个月过去了,结果又重新出现在Google的主索引中。这就是由于Freshbot在不停地更新和刷新内容，而Deepbot要每月才出击一次，所以这些在Freshbot里的结果还没有来得及更新到主索引中，又被新的内容代替掉了。直到Deepbot重新来访问这一页,进行收录,才真正进入Google的主索引数据库中。


（本文内容根据网络资料整理，出于传递更多信息之目的，不代表连连国际赞同其观点和立场）