写了一半的图片采集程序

winsock

只写了一半，不想再写了

采的是http://dlc.pcgames.com.cn/list.jsp?dltypeid=3&taxis=0&kindid=1302&pn=25所有列表中的动漫图片
全采集了保存到服务器上,主要部分完成了，只差一些界面以及数据校验和入庫部分的程序，本来我是想把太平洋
采爆，把上面的图片全采到free.fr上，奈何free.fr狂晕，10分钟才采了2张图片。

main.php

1. 
   
2. 
   
3. <?php
   
4. 
   
5. $root=dirname(__FILE__);
   
6. $page=$_GET['page'];
   
7. 
   
8. if (!isset($page))
   
9. { echo '正在初始化采集内容<br />';
   
10.          $url="http://dlc.pcgames.com.cn/list.jsp?dltypeid=3&taxis=0&kindid=1302&pn=25";
    
11.          $contents=file_get_contents($url);
    
12.    $pattern='/<DL_herf>(.*?)<\/DL_herf>\n<DL_Name>(.*?)<\/DL_Name>\n<DL_Version>(.|\n)*?<\/DL_Counter>\n<DL_Intro><\!\[CDATA\[(.*?)\]\]><\/DL_Intro>/i';
    
13.    preg_match_all($pattern,$contents,$out);
    
14.    $cache="<?php\n \$list = array (\n";
    
15.    for($i=0;$i<(count($out[1])-1);$i++)
    
16.     { $cache=$cache."  array('url' =>'".$out[1][$i]."',\n";
    
17.             $cache=$cache."        'title'=>'".$out[2][$i]."',\n";
    
18.             $cache=$cache."        'intro'=>'".$out[4][$i]."'\n),\n\n";        
    
19.     }
    
20.    $cache=$cache."  array('url' =>'".$out[1][$i]."',\n";
    
21.    $cache=$cache."        'title'=>'".$out[2][$i]."',\n";
    
22.    $cache=$cache."        'intro'=>'".$out[4][$i]."'\n)\n\n);\n?>";
    
23. 
    
24.    $fp=fopen("$root/data/cache.php",'wb');
    
25.    fwrite($fp,$cache);
    
26.    fclose($fp);
    
27.    echo '初始化完成<br /><a href="main.php?page=0">开始采集图片</a><br />';
    
28. }else
    
29.   {
    
30.     require_once './data/cache.php';
    
31.     $num=count($list);
    
32.     echo '一共'.$num.'条<br />';
    
33.     if ($page=='all')
    
34.       echo '采集完成';
    
35.      else
    
36.        if ($page<$num)
    
37.         {
    
38.                  mkdir("$root/pic/$page");
    
39.                  chmod ("$root/pic/$page/", 0777);
    
40.            $url_forward='list.php?page='.$page.'&lid=0';
    
41.         }else
    
42.         {  
    
43.                  $url_forward='main.php?page=all';
    
44.          }
    
45.       $message="<script>setTimeout("window.location.replace('$url_forward');", 800);</script>";
    
46.       echo $message;
    
47. 
    
48.   }
    
49. 
    
50. 
    
51. 
    
52. ?>
    

复制代码

list.php

1. 
   
2. <?php
   
3. $page=$_GET['page'];
   
4. $lid=$_GET['lid'];
   
5. 
   
6. if (!isset($page)||!isset($lid))
   
7. { echo '非法操作，退出程序';
   
8.          exit;
   
9. }else
   
10. {
    
11.   require_once './cai_func.php';
    
12.   require_once './data/cache.php';
    
13.   $url=$list[$page]['url'];
    
14.   $url=str_replace('&','&',$url);
    
15.   $contents=file_get_contents($url);
    
16.   $pattern="/a[ .]*href *= *'(http:\/\/dlc\.pcgames\.com\.cn\/imgcounter\.jsp.*?)' *target=_blank>/i";
    
17.   preg_match_all($pattern,$contents,$out);
    
18.   $num=count($out[1]);
    
19.   
    
20.    if ($lid=='all')
    
21.     { echo '一共'.$num.'张图片，采集<br /><br />';
    
22.             $connstr=file_get_contents('./data/result.txt');
    
23.             echo $connstr;
    
24.             unlink('./data/result.txt');
    
25.             $page=$page+1;
    
26.             $url_forward='main.php?page='.$page;
    
27.             $message="<script>setTimeout("window.location.replace('$url_forward');", 15000);</script>";
    
28.       echo $message;
    
29.     }
    
30.    else
    
31.     {
    
32.             $purl=$out[1][$lid];
    
33.             $purl=str_replace('&','&',$purl);
    
34.             caipic($purl,$lid,$page);
    
35.             $caistr='图片'.$purl.'采集成功<br />';
    
36.       echo $caistr;
    
37.       @ $fp=fopen('./data/result.txt','ab');
    
38.       if(!$fp)
    
39.        {echo '错误：请将pic目属的属性设置为777';
    
40.         exit;
    
41.       }
    
42.       fwrite($fp,$caistr,strlen($caistr));
    
43.       fclose($fp);
    
44.       $lid=$lid+1;
    
45.       if ($lid<$num)
    
46.         {
    
47.            $url_forward='list.php?page='.$page.'&lid='.$lid;
    
48.         }else
    
49.         {  $lid='all';
    
50.                  $url_forward='list.php?page='.$page.'&lid='.$lid;
    
51.          }
    
52.       $message="<script>setTimeout("window.location.replace('$url_forward');", 3000);</script>";
    
53.       echo $message;
    
54.    }
    
55. }
    
56. 
    
57. ?>
    

复制代码

cai_func.php

1. 
   
2. <?php
   
3. function caipic($theurl,$pg,$dir)
   
4. {
   
5. $root=dirname(__FILE__);
   
6. $contents=file_get_contents($theurl);
   
7. 
   
8. 
   
9. $pattern3='/<img src="(http:\/\/(.*?)\.pconline\.com\.cn\/games\/cartoon\/photo\/.*?)">/';
   
10. preg_match($pattern3,$contents,$quote);
    
11. $picurl=$quote[1];
    
12. 
    
13. if($quote[2]=='www')
    
14.   $picurl=str_replace('www','arch',$picurl);
    
15. 
    
16. $picurl=str_replace(' ','%20',$picurl);
    
17. @ $fp=fopen($picurl,'rb');
    
18. if(!$fp)
    
19.   { echo '远程文件读取失败，请检查链接或者正则表达式<br />';
    
20.   }
    
21.   else
    
22.   {
    
23.     $content='';
    
24.     while (!feof($fp)) {
    
25.        $content .= fread($fp, 8192);
    
26.       }
    
27.       
    
28.   fclose($fp);  
    
29.   }
    
30. 
    
31. @ $fp=fopen("$root/pic/$dir/$pg.jpg",'wb');
    
32.   if (!$fp)
    
33.     { echo '图片写入失败，请检查文件夹属性';
    
34.     }else
    
35.      {
    
36.       fwrite($fp,$content);
    
37.       
    
38.       fclose($fp);
    
39.      }
    
40. 
    
41. echo '图片地址'.$picurl.'<br />';
    
42. }
    
43. 
    
44. 
    
45. 
    
46. ?>
    

复制代码

[ 本帖最后由 winsock 于 2006-7-4 14:24 编辑 ]

xinke

;

winsock

要用的，自己修改下。 建立一个data和pic文件夹，属性0777

winsock

我狂晕，怎么多了那么多\\??

xinke

VBVS呢?快射精

可樂

天书!!!

njf911

不懂

OYIdo

+分+分～
抽抽抽～

nickybin

不明白！

GoTop

强贴留名

有空学习