百度图片爬虫(根据关键词和页数)

目标:根据输入的关键词和页数,爬取百度图片
思路参考:http://www.cnblogs.com/voidsky/p/5490800.html

#-*- coding:utf-8 -*-
import re
import requests

def get_page(page, keyword):
    url = 'http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=' + keyword +'&ct=201326592&v=flip'
    html = requests.get(url).text
    pic_url = re.findall('"objURL":"(.*?)"',html,re.S)
    print 'here we go'
    urls = []
    while len(urls) < page:
        next_page = re.search('<a href="(.*?)" class="n">下一页</a>',html).group(1).encode('utf-8').replace('&','')
        next_page_full = 'http://image.baidu.com' + next_page
        urls.append(next_page_full)
    i = 0
    for each in urls:
        print '网页链接'
        print each
        pic_html = requests.get(each, timeout = 10).text
        pic_urls = re.findall('"objURL":"(.*?)",', pic_html)
        print '图片链接'    
        for each_pic in pic_urls:
            print each_pic
            try:
                pic = requests.get(each_pic,timeout = 10)
                string = 'E:\\pythonExercises\\20160607\\'+str(i) + '.jpg'
                fp = open(string,'wb')
                fp.write(pic.content)
                fp.close()
                i += 1
            except requests.exceptions.ConnectionError:
                print '【错误】当前图片无法下载'
                continue
keyword = raw_input("Input key word: ")
page = int(raw_input("Input page: "))           
get_page(page, keyword)

关键:
1.找到这个正则"objURL":"(.*?)",
2.re.search('下一页',html).group(1)
3.定位文件夹输出:string = 'E:\pythonExercises\20160607\'+str(i) + '.jpg'
遇到的问题:
1.sublime可以run:
用Sublime Text2运行python代码:
当用Sublime Text2写完代码之后通常都需要运行一下看看是否有错误或者说代码是否正常;
如果用LDIE的时候直接按F5就可以开始了、但是在Sublim Text2下 需要额外注意
1、设置环境变量、添加python到环境变量中;
2、Sublime Text2要运行的代码路径不能为中文、否则不能挑食;
3、以上2个条件满足之后,在写完代码后直接按Ctrl+B 就可以调试了。

2.sublime不能输入
解决参考:
http://blog.csdn.net/bravelee2009/article/details/9364737
http://www.unicac.cn/share/Sublime-Package-Control.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,458评论 4 363
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,454评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,171评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,062评论 0 207
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,440评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,661评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,906评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,609评论 0 200
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,379评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,600评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,085评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,409评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,072评论 3 237
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,088评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,860评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,704评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,608评论 2 270

推荐阅读更多精彩内容

  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    aimaile阅读 26,298评论 6 428
  • Sublime Text:一款具有代码高亮、语法提示、自动完成且反应快速的编辑器软件,不仅具有华丽的界面,还支持插...
    晚晴幽草阅读 710,334评论 149 1,114
  • Sublime Text:一款具有代码高亮、语法提示、自动完成且反应快速的编辑器软件,不仅具有华丽的界面,还支持插...
    xiaotao123阅读 9,422评论 0 27
  • 突然想起那时候我们三个一起到广州的那天。 我们大概是九点多到的吧,表嫂表哥来接我们,提着行李,也不记得自己到了...
    朕要用膳阅读 156评论 0 0
  • 随着现代人工作生活压力的激增,大家都慢慢意识到跑步健身的重要性。 我刚开始练习跑步是在大四,那时候工作定下来了,自...
    一如既往加油阅读 300评论 0 1