一般采用以广度优先搜索策略为主

fsdsfdg

一般采用以广度优先搜索策略为主、线性搜索策略为辅的搜索策略。
1、广度优先搜集策略
广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让网络蜘蛛并行处理，提高其抓取速度。
2、深度优先搜集策略
深度优先搜索顺着HTML文件上的超链走到不能再深入为止，然后返回到上一个接点的HTML文件，再继续选择该HTML文件中的其他超链。当不再有其他超链可选择时，说明搜索已经结束。深度优先搜索适宜遍历一个指定的站点或者深层嵌套的HTML文件集，但对于大规模的搜索，由于Web结构相当深，也许永远也出不来了
3、线性搜集策略
线形搜索策略的基本思想是从一个起始的IP地址出发，按IP地址递增的方式搜索后续的每一个IP 地址中的信息，完全不考虑各站点的HTML文件中指向其他Web站点的超链地址。此策略不适用于大规模的搜索（主要原因在于IP可能是动态的），但可以用于小范围的全面搜索，利用此种策略的搜集器可以发现被引用较少或者还没有被其他HTML文件引用的新HTML文件信息源。
4、收录搜集策略
有些网页可以通过用户提交的方式进行搜集，搜集器就可以定向搜集提交申请网站的网页信息并加入到搜索引擎的索引数据库中。搜索引擎通过一种程序 robots（又称spider），搜集器的功能是在互联网中漫游，发现并搜集信息，它搜集的信息类型多种多样，包括HTML页面、XML文档、FTP文件、字处理文档、多媒体信息等。
Web Spider 根据一定规则扫描存在于互联网上的网站。通过网页的链接地址来寻找网页：从网站某一个页面开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去。为保证采集的资料最新，它还会回访已抓取过的网页。
网页搜集的过程中要保证每个网页不要被重复的抓取，由于一篇网页可能被多个网页链接，搜索引擎蜘蛛爬取过程中就有可能多次得到该网页的url, 所有解决这个问题的有效方法是使用两个数据表分别为unvisited_table和visited_table。前者包含尚未访问的url，后者记录已访问的url。
系统首先将要搜集的种子url放入unvisited_table，然后spider从其中获取要搜集网页的url，搜集过的网页url放入visited_table中，新解析出的并且不在visited_table中的url加入unvisited_table。
互联网上的信息太多，即使功能强大的搜集器也不可能搜集互联网上的全部信息。因此，搜集器采用一定的搜索策略对互联网进行遍历并下载文档，例如，桔秀网http://www.juxiuw.com/blog