找回密码
 注册
广告投放 虚位以待【阿里云】2核2G云新老同享 99元/年,续费同价做网站就用糖果主机-sugarhosts.comJtti.com-新加坡服务器,美国服务器,香港服务器
查看: 836|回复: 25

写了个垃圾采集,与各位分享下

[复制链接]
发表于 2007 年 6 月 26 日 12:36:42 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?注册

×
是一个漫画站的采集,很垃圾,也没优化速度,只是给大家做为参考,哈哈~~
漫画站地址:http://www.dmzzz.com
只要在程序里修改下要采集的漫画地址就可以了!
平台要求:PHP5

  1. <?php
  2. $url = "http://www.dmzzz.com/ComicInfo/BaDao/Dmzzz_Url.htm";
  3. $r = file_get_contents($url);

  4. preg_match_all("/href='\/ComicInfo\/BaDao\/([\d]+)\.htm'>(.+)<\/a><\/div>/isU", $r, $c);
  5. $count = count($c[1]);
  6. for($i=0;$i<=$count;$i++) {
  7.         $url1 = "http://www.dmzzz.com/ComicInfo/BaDao/" . $c[1][$i] . ".htm";
  8.         $r1 = file_get_contents($url1);
  9.         preg_match_all("/Dmzzz_img_path\[([\d]+)\] = '\/comicdate2\/comicabcd\/a-d\/bd\/([\d]+)\/(.+)';/isU", $r1, $c1);
  10.         $count1 = count($c1[3]);
  11.         $path = "./霸刀/" . $c[2][$i] . "/";
  12.         if(!file_exists($path)) {
  13.                 if(mkdir($path)) {
  14.                         ob_flush();
  15.                         flush();
  16.                         sleep(1);
  17.                         echo $path . " <font color="blue">建立成功</font><br>";
  18.                 } else {
  19.                         ob_flush();
  20.                         flush();
  21.                         sleep(1);
  22.                         echo $path . " <font color="red">建立失败</font><br>";
  23.                 }
  24.         }
  25.         for($j=0;$j<=$count1;$j++) {
  26.                 $url2 = "http://60.191.239.185/comicdate2/comicabcd/a-d/bd/" . $c1[2][$j] . "/" . $c1[3][$j];
  27.                 $r2 = file_get_contents($url2);
  28.                 $file = $path . $c1[3][$j];
  29.                 if(file_exists($file)) break;
  30.                 if(file_put_contents($file, $r2)) {
  31.                         ob_flush();
  32.                         flush();
  33.                         sleep(1);
  34.                         echo $file . " <font color="green">采集成功</font><br>";
  35.                 } else {
  36.                         ob_flush();
  37.                         flush();
  38.                         sleep(1);
  39.                         echo $file . " <font color="red">采集失败</font><br>";
  40.                 }
  41.         }
  42. }
  43. ?>
复制代码


我记得金光是有干扰码的,所以,附上一份附件啦

评分

参与人数 1兑换券 +10 威望 +10 收起 理由
java + 10 + 10 原创内容

查看全部评分

Jgwy.Com - Free Web Hosting Guide & Directory In China since 2001! Jgwy.Net-Jglt.Net
 楼主| 发表于 2007 年 6 月 26 日 12:41:33 | 显示全部楼层
【腾讯云】2核2G云服务器新老同享 99元/年,续费同价
采集过程图片:



不足之出:没有提交表单,不方便自己修改,没有做太多判断,所以会出现把目录做为图片采集的情况而出现错误



还有就是没有做目录判断,所以如果已经有了目录,那么就会出现错误
Jgwy.Com - Free Web Hosting Guide & Directory In China since 2001! Jgwy.Net-Jglt.Net
回复

使用道具 举报

发表于 2007 年 6 月 26 日 12:42:58 | 显示全部楼层
呵呵~~~
我都人肉更新的
Jgwy.Com - Free Web Hosting Guide & Directory In China since 2001! Jgwy.Net-Jglt.Net
回复

使用道具 举报

发表于 2007 年 6 月 26 日 12:44:17 | 显示全部楼层
LZ还是挺强的!
Jgwy.Com - Free Web Hosting Guide & Directory In China since 2001! Jgwy.Net-Jglt.Net
回复

使用道具 举报

 楼主| 发表于 2007 年 6 月 26 日 12:45:01 | 显示全部楼层
呵呵,其实我也不是为了更新我的站,我现在采集东西很多都是采集到我的本本里,在本地看啦
以前也是人肉弄,但是现在学了PHP了,再人肉可真能说是白学了
Jgwy.Com - Free Web Hosting Guide & Directory In China since 2001! Jgwy.Net-Jglt.Net
回复

使用道具 举报

 楼主| 发表于 2007 年 6 月 26 日 12:46:13 | 显示全部楼层
Jgwy.Com - Free Web Hosting Guide & Directory In China since 2001! Jgwy.Net-Jglt.Net
回复

使用道具 举报

 楼主| 发表于 2007 年 6 月 26 日 12:47:13 | 显示全部楼层
【腾讯云】2核2G云服务器新老同享 99元/年,续费同价
又发现一个问题,就是PHP的超时问题。。。郁闷,因为为了能够时时观察采集情况,所以用了逐行输出
但是却会引起超时问题。。。。郁闷
Jgwy.Com - Free Web Hosting Guide & Directory In China since 2001! Jgwy.Net-Jglt.Net
回复

使用道具 举报

发表于 2007 年 6 月 26 日 12:51:44 | 显示全部楼层
  继续 努力啊
Jgwy.Com - Free Web Hosting Guide & Directory In China since 2001! Jgwy.Net-Jglt.Net
回复

使用道具 举报

 楼主| 发表于 2007 年 6 月 26 日 12:53:27 | 显示全部楼层
。。。。偶一直在努力,8过现在考试了,木时间呀
Jgwy.Com - Free Web Hosting Guide & Directory In China since 2001! Jgwy.Net-Jglt.Net
回复

使用道具 举报

发表于 2007 年 6 月 26 日 12:59:58 | 显示全部楼层
本地的话
set_time_limit(0);
Jgwy.Com - Free Web Hosting Guide & Directory In China since 2001! Jgwy.Net-Jglt.Net
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|金光论坛

GMT+8, 2025 年 2 月 5 日 08:07 , Processed in 0.025773 second(s), 26 queries .

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表