|
|
楼主 |
发表于 2013 年 8 月 22 日 11:26:45
|
显示全部楼层
今天我们仍用自己的网站服务器日志，教大家清晰掌握服务器与蜘蛛是怎么互动的，这些都是日志中不太明显的信息，需要你细心的去观察的。新站起用被使用过的老域名，反而没有直接用没有被使用过的新域名收录来得快，最近上线的这个新站，因为域名选取的原因，必须使用被使用过的老域名，上线已经9天， 仍没有快照与收录，但我们是不是就应该要选择放弃了呢？
/ H) [1 e2 f# U- n% |# a4 L) E9 y# r4 L! t3 k8 _8 b% _' U/ Q' A
好吧，我们仍拿出几条蜘蛛爬行记录来分析:
$ o- x3 u/ l/ j2 a3 k5 e. }6 k( A/ P. e
123.125.71.116 - - [10/Sep/2012:05:41:23 +0800] "GET / HTTP/1.1" 200 5858 "-" "Mozilla/5.0 (compatible； Baiduspider/2.0； +http://www.baidu.com/search/spider.html)
2 a K, c2 y; ?9 j5 M, V- S+ { B7 ^4 k% G1 Q1 Z, Y7 _, Z3 G
通过上一次的讲解，我们知道IP为123.125.71.116的蜘蛛，在2012年9月10日凌晨05点41分23秒的时候，爬行了我们首页信息，HTTP返回状态值200，爬行字节数5858。1 _8 S5 _# x+ w2 ~" [! F3 S( S+ X
- Z3 H( W* a3 @
今天我们要重点讲解的就是这个HTTP返回状态值，什么是返回状态值？都有哪些返回状态值？它们都分别代表什么意思？
4 D+ G( n) t% J9 g; s/ |3 @1 X. \9 p2 q% t1 T6 z
什么是HTTP返回状态值呢？当用户或搜索引擎向网站服务器发出浏览请求的时候，服务器返回的HTTP数据流中头信息中的状态码，它是一种服务器与访问者交互的语言。- u* @4 T/ P8 n- N& Q1 L+ Z
1 M/ Q( t1 i' r4 H 都有哪些返回状态值呢？返回状态值有很多，根据其含义，以1开头的返回值表示临时响应并需要请求者继续执行操作。以2开头的返回值表示成功处理了请 求。以3开头的返回值要求完成请求需要进一步操作，通常这些状态码用来重定向。以4开头的返回值表示请求可能出错，妨碍了服务器的处理。以5开头的返回值 表示服务器在处理请求时发生内部错误，这些错误可能是服务器本身的错误，而不是请求出错。
" d% s8 a5 }. Z/ s; Y* C: f3 ?9 K- @. ~+ X) e f _9 D
好吧，纯粹的理论让人看得是不是有点头晕了，我们下面用实例来分析一下常见的返回状态值都有哪些！: t# q) J5 f/ S
" P/ o9 l3 t9 N 背景:我们分析的这个网站是老域名，之前被人用过，存在搜索引擎收录数据，现在域名被我用来重新建站。/ T) p0 P3 g+ {
% B. h! D8 w$ Y% z) h 我们来几条记录来看一看:
0 N& x* _7 K2 Z0 {0 O, y2 a! \8 ?
/ s% `. M, ]9 M m& N' Z( q 123.125.71.98 - - [10/Sep/2012:01:02:33 +0800] "GET /news/disp.php？id=302 HTTP/1.1" 404 1107 "-" "Mozilla/5.0 (compatible； Baiduspider/2.0； +http://www.baidu.com/search/spider.html)
% r% G+ e/ I3 K+ a8 C8 p! r# {; |( R |8 ?" \" s
这条记录HTTP返回状态值是404，原因是因为百度蜘蛛爬行了一条本网站根本不存在的路径，HTTP返回404代表:服务器找不到请求的网页。# D% y8 }6 E- M9 f6 |
" C+ ]! G- W3 L! B, A
123.125.71.116 - - [10/Sep/2012:05:41:23 +0800] "GET / HTTP/1.1" 200 5858 "-" "Mozilla/5.0 (compatible； Baiduspider/2.0； +http://www.baidu.com/search/spider.html)
6 H ~9 B- F9 V2 w# q* a& H) E8 K; m( O& c4 X, K7 _
这条记录HTTP返回状态值是200，原因是因为百度蜘蛛爬行了真实存在的网站首页，HTTP返回200代表:服务器已经成功处理了请求。
: z% r) c" B" L2 ?" }8 A! G% D4 E" t6 n8 Z
220.181.51.113 - - [10/Sep/2012:08:44:22 +0800] "GET /product/disp.php？id=85 HTTP/1.1" 301 250 "-" "Mozilla/5.0 (compatible； Baiduspider/2.0； +http://www.baidu.com/search/spider.html)
' Y- |, v: R& k+ @4 d# B7 v4 a' j+ E9 _& }1 f
这条记录HTTP返回状态值是301，原因是因为百度蜘蛛爬行了在网站中不存在的文件路径，HTTP返回301代表:请求的网页已永久移动到新位置。9 o* z6 P# Z# g2 a- T; ~4 Y5 T8 ~3 w# T
9 [& w- S6 I3 D( z1 y: g: F* s6 u HTTP返回状态值还有很多，如果你遇到其它的可以随时百度一下就能找到它代表的意思。本文的目的是希望通过我们网站的文章，帮助到其他和我们遇到同样问题的人。目前本文新上线的网站大量存在HTTP返回状态404，主要原因是老域名存在使用情况，百度收录数据库中存在大量原有收录数据，现在百度蜘蛛仍按原收录文章路径进行爬行，导致HTTP返回状态值出现404码，根据笔者的经验，此时新站处于百度审核期，只有通过百度一个月到三个月的审核期，收录数据才能得到释放，此时的404应该越多越好，蜘蛛爬行不通，自然会将该条原收录数据删掉，只是这样一来会延长新站的审核通过周期。0 M+ N+ }$ D0 B7 q1 L! v5 Z/ R
9 N! c3 Q J1 Y" a 新站起用被使用过的老域名，就会遇到像我一样的情况，但是怎么观察隐藏在日志的访问秘密，是做为站长的你必须要学会的。只有这样，才能让你看到希望，只有这样，才能让你有坚持的动力，只有这样，才能让你不再疑惑！网站优化 |
|
IP卡
狗仔卡
发表于 2013 年 8 月 22 日 11:26:27
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
显身卡