网络机器人是一种网络软件,它遍历Web空间,能够扫描一定IP地址范围内的网站,并沿着网络上的链接从一个网页到另一个网页,从一个网站到另一个网站采集网页资料。为保证采集最新的资料,还会回访已抓取过的网页。网络机器人采集的网页,还要由其他程序分析,根据一定的相关度算法进行大量的计算,建立网页索引,才能添加到索引数据库中。平时看到的全文搜索引擎,实际上只是一个搜索引擎系统的检索界面,当输入关键词查询时,搜索引擎会从庞大的数据库中找到符合该关键词的所有相关网页的索引,并按一定的排名规则呈现出来。不同的搜索引擎,网页索引数据库不同,排名规则也不尽相同，所以，同一关键词用不同的搜索引擎查询时,搜索结果也就不尽相同。
和全文搜索引擎一样,分类目录的整个工作过程也同样分为收集信息、分析信息和查询信息三部分,只不过分类目录的收集、分析信息两部分主要依靠人工完成。分类目录一般都有专门的编辑人员,负责收集网站的信息。随着收录站点的增多,现在一般都是由站点管理者递交自己的网站信息给分类目录，然后由分类目录的编辑人员审核递交的网站,以决定是否收录该站点。如果该站点审核通过,分类目录的编辑人员还需要分析该站点的内容,并将该站点放在相应的类别和目录中。所有这些收录的站点同样存放在索引数据库中。用户在查询信息时,可以选择按照关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟全文搜索引擎一样，也是根据信息关联程度排列网站。要注意的是，分类目录的关键词查询只能在网站的名称、网址、简介等内容中进行,它的查询结果也只是被收录网站首页的URL地址,而不是具体的页面。分类目录就像一个电话号码簿一样,按照各个网站的性质把其网址分门别类排在一起,大类下面套着小类,一直到各个网站的详细地址，一般还会提供各个网站的内容简介，用户不使用关键词也可进行查询,只要找到相关目录就完全可以找到相关的网站。
搜索引擎并不真正搜索互联网,它搜索的实际上是预先整理好的网页索引数据库。真正意义上的搜索引擎,通常指的是收集了因特网上几千万到几十亿个网页并对网页中的每一个词(即关键词)进行索引,建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候,所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法排序后,这些结果将按照与搜索关键词的相关度高低，依次排列。
