百度蜘蛛微服私访记

upring

第一节

20分钟前，百度蜘蛛停止了访问，下面是最后一次访问，被访问页面是首页。

61.135.166.101 - - [26/Feb/2008:14:08:38 +0800] "GET / HTTP/1.1" 200 92571 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"

平时每秒都会有BaiduSpider的访问，这次不知道是什么原因，居然这么长时间停止了访问。给易价网做SEO这么长时间，第一次遇到这样的事情，总之应该不是什么太好的消息。

密切观察！

第二节

220.181.5.33 - - [26/Feb/2008:14:48:34 +0800] "GET /c76/b2746 HTTP/1.1" 200 565070 "http://www.yijiawang.com.cn/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322, Baidu-Transcoder/1.0.6.0, gate.baidu.com)"

近一个小时百度依然停止访问，接着又来了这样一条Baidu-Transcoder访问。

搜索了一下，很多人说了拔毛蜘蛛。

倒吸一口凉气。

“为人不做亏心事 半夜不怕鬼敲门”，想了想，不怕，从做SEO开始的第一天，我就没有用过任何作弊手段。

假如真的被K，无非是去光顾一下百度总部而已，反正公司报销~

第三节

3：10分，停止访问一个小时后，百度Spider 终于再次光临！

并且抓取速度有了质的提高。

易价网最近一个月搜索引擎带来的点击数成数量级上升，也难怪百度会派遣拔毛蜘蛛来一次视察。

gate.baidu.com可能百度的手机站，可能只是拔毛蜘蛛的“羊皮”。我估测，百度会派遣不同Use-Agent来视察，Transcoder只是其中一个。



第四节

61.135.162.15 - - [26/Feb/2008:15:17:44 +0800] "GET /web/product/496/t127947/product_review_reply.html HTTP/1.1" 200 27430 "http://www.yijiawang.com.cn/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322, Baidu-Transcoder/1.0.6.0, gate.baidu.com)"

随着Transcoder这条记录，spider再次停止访问。

我已经感觉到，百度总部的某人正在对易价网进行人工审核。

再次提醒自己，我没作弊，什么也不怕。

第五节

220.181.38.195 - - [26/Feb/2008:15:31:05 +0800] "GET /price/68825.html HTTP/1.1" 200 27933 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"

随着这条记录，百度终于在半小时后又开始访问了。

一直持续到现在。速度也趋于稳定。

一切终于结束！

总结：
这次事件给我的启发是，不要根据User-Agent来做SEO的文章，能进百度的人肯定比你的智商要高点，不是吗？呵呵

choovin

好帖，顶一下，支持楼主