var urls = [...];
var index = 0;
var visited_cnt = 0;
// 主要是使用 casper.each 方法
casper.each(urls, function(){
var url = urls[index++];
casper.thenOpen(url, function(){
console.log('Open ' + url);
visited_cnt += 1;
if(visited_cnt >= urls.length) {
casper.evaluate(function(){
// 通知结束
$('body')[0].dataset['crawlerover'] = 'yes';
});
}
});
});
// 等待直到循环结束
casper.waitForSelector('[data-crawlerover]', function(){
logging.info('over');
});
casper.run();
casperjs 循环抓取页面
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
推荐阅读更多精彩内容
- 我们在开发网络程序时,往往需要抓取非本地文件,一般情况下都是利用php模拟浏览器的访问,通过http请求访问url...
- 一般来说爬虫类框架抓取Ajax动态页面都是通过一些第三方的webkit库去手动执行html页面中的js代码, 最后...
- 1. Node.js 安装配置: http://www.runoob.com/nodejs/nodejs-inst...
- The world is changing once again ,and it's time to pick o...