robots如何控制Yahoo! Slurp蜘蛛的抓取频度

upring

上周末豆瓣的阿北给我电话：最近你们雅虎的蜘蛛（Yahoo! Slurp）对豆瓣网的抓取频度非常高，导致服务器的速度有些慢，如何才能让Slurp降低抓取频度呢？

我首先想到的建议是在网站的robots.txt中增加Crawl-delay: 设置，这个设置是目前Slurp独有的，用来告诉Slurp蜘蛛2次访问之间的间隔，单位是秒。

剩下的问题就是Crawl-delay的值该设置多大，这个要看网站自身可以承受的负载，假设你希望Slurp每10秒来访问一次，这个设置就是：

User-agent: *
Crawl-delay: 10

我推荐使用 User-agent: * 万一有其他引擎逐步也支持这个配置呢，而不支持这个配置的引擎也会跳过这句。

可实际上我从自己网站的日志中看到：Slurp的压力却不止10秒一次，原因是这样：雅虎美国和雅虎中国有2套蜘蛛在运行，因此实际的访问可能是这样：

1.1.1.1 30/Jun/2006:00:00:03 Yahoo! Slurp China
2.2.2.2 30/Jun/2006:00:00:04 Yahoo! Slurp
1.1.1.1 30/Jun/2006:00:00:13 Yahoo! Slurp China

每个蜘蛛都是遵循Crawl-delay间隔的，因此为了进一步降低Slurp压力，希望达到10秒一次请求的频道 实际的Crawl-delay配置就要*2。

但是实际上我看到的雅虎的蜘蛛是分布在很多台服务器上的：而多个服务器集群之间也是不相互协调同一网站的抓取频度的

1.1.1.1 30/Jun/2006:00:00:03 Yahoo! Slurp China
2.2.2.2 30/Jun/2006:00:00:04 Yahoo! Slurp
1.1.1.1 30/Jun/2006:00:00:13 Yahoo! Slurp China
1.1.1.2 30/Jun/2006:00:00:13 Yahoo! Slurp China
1.1.1.1 30/Jun/2006:00:00:23 Yahoo! Slurp China
1.1.1.2 30/Jun/2006:00:00:27 Yahoo! Slurp China

我统计了一下：Slurp来源于40多个IP网段，同网段内的蜘蛛协调抓取频度。因此：实际的Slurp设置，需要设置为10*40 = 400秒，才能达到期望的Slurp每10秒访问一次频度。

给豆瓣推荐的Crawl-delay: 100 平均2.5秒访问一次，应该没有问题了。

choovin

路过，来看看！顺便留下个脚印

choovin

说的好 来学一下咯