Python 爬虫 1 快速入门

Python 爬虫 快速入门

参考资料:极客学院: Python定向爬虫

代码:1.crawler-basic.ipynb

本文内容:

  1. 正则表达式
  2. 用正则表达式抓取 html 内容
  3. 半自动爬虫实战:抓取网页上的图片

1. 正则表达式

#-*-coding:utf8-*-

# 导入re,正则表达式库文件
import re
# from re import findall,search,S

secret_code = 'hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'
print secret_code

hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse

# .的使用举例:.就是占位符,几个 . 就是几个符号
# 在 a 中找 x.
a = 'xy123'
b1 = re.findall('x.',a)
print b1

b2 = re.findall('x..',a)
print b2

['xy']
['xy1']

# *的使用举例:* 可以匹配前一个字符 0 次或者 无数次
a = 'xyxyxxx123'
b = re.findall('x*',a)
print b

['x', '', 'x', '', 'xxx', '', '', '', '']

# ?的使用举例:? 可以匹配前一个字符 0 次或者 1次
a = 'xyxyxxx123'
b = re.findall('x?',a)
print b

['x', '', 'x', '', 'x', 'x', 'x', '', '', '', '']

'''上面的内容全部都是只需要了解即可,需要掌握的只有下面这一种组合方式(.*?)'''
# .*的使用举例:.* 像个胖子,能吃多少吃多少,从第一个xx到最后一个xx只要满足条件就都吃掉
# secret_code = 'hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'
b = re.findall('xx.*xx',secret_code)
print b

['xxIxxfasdjifja134xxlovexx23345sdfxxyouxx']

# .*?的使用举例:.*?像个婴儿,少量多餐,只要满足xx~xx就可以,找到尽量多的满足条件的组合
c = re.findall('xx.*?xx',secret_code)
print c

['xxIxx', 'xxlovexx', 'xxyouxx']

# #使用括号与不使用括号的差别:需要的内容放在括号里面,不需要的放在括号外面
d = re.findall('xx(.*?)xx',secret_code)
print d
for each in d:
    print each

['I', 'love', 'you']
I
love
you

# .的使用举例:.可以匹配任意字符,但是换行符 \n 除外,所以第一行没有找到结尾的xx,第一行信息丢失
s = '''sdfxxhello
xxfsdfxxworldxxasdf'''

d = re.findall('xx(.*?)xx',s)
print d

['fsdf']

# .的使用举例:re.S 让 .包括\n
s = '''sdfxxhello
xxfsdfxxworldxxasdf'''

d = re.findall('xx(.*?)xx',s,re.S)
print d

['hello\n', 'world']

# 对比findall与search的区别: search 后面的 group(i), 有几个括号,就可以写到几
s2 = 'asdfxxIxx123xxlovexxdfd'
f1 = re.search('xx(.*?)xx123xx(.*?)xx',s2).group(1)
f2 = re.search('xx(.*?)xx123xx(.*?)xx',s2).group(2)
print f1
print f2

I
love

# findall:如果有3个括号,那么元组里就有3个元素。当有第二串满足下面匹配格式时,就会有两个元组
f2 = re.findall('xx(.*?)xx123xx(.*?)xx',s2)
print f2     # f2是个列表list,里面有一个元素且是个元组tuple,这个元组里有两个元素 I 和 love
print f2[0][1]

[('I', 'love')]
love

# sub的使用举例: 替换 s 中符合匹配规律的地方
s = '123abcssfasdfas123'
# s = '123rrrrr123'
output1 = re.sub('123(.*?)123','123789123',s)
output2 = re.sub('123(.*?)123','123%d123'%789,s)
print output1
print output2

123789123
123789123

# 匹配数字:更方便的方法匹配出数字
a = 'asdfasf1234567fasd555fas'
b = re.findall('(\d+)',a)
print b

['1234567', '555']

2. 用正则表达式抓取 html 内容


# 要抓取的网址,20页面
old_url = 'http://www.jikexueyuan.com/course/android/?pageNum=2'
total_page = 20

# 读取txt的内容放在 html 变量里
f = open('text.txt','r')
html = f.read()
f.close()

#爬取标题:用 search 因为只要找到一个匹配的就不会再去找了,而findall会一直遍历找到尽可能多的,在确定内容只有一个时,用search省时间
title = re.search('<title>(.*?)</title>',html,re.S).group(1)
print title
极客学院爬虫测试

#爬取链接
links = re.findall('href="(.*?)"',html,re.S)
print links
for each in links:
    print each
    

# 抓取部分文字,先大再小
# 为了避免符合格式,但是不想要的内容去掉,先放大匹配范围
text_field = re.findall('<ul>(.*?)</ul>',html,re.S)[0]
print text_field


# 再在 the_text 中找到文字的格式
the_text = re.findall('">(.*?)</a>',text_field,re.S)

for every_text in the_text:
    print every_text
    

#sub实现翻页
for i in range(2,total_page+1):
    new_link = re.sub('pageNum=\d+','pageNum=%d'%i,old_url,re.S)
    print new_link


for i in range(2,total_page+1):
    new_link = re.sub('pageNum=\d+','pageNum=%d'%i,old_url,re.S)
    print new_link

3. 半自动爬虫实战:抓取网页上的图片


import re
import requests

# 读取源代码文件:手动把目标网页的源代码copy到txt里,读文件,赋值给变量 html
f = open('source.txt','r')
html = f.read()
f.close()

#匹配图片网址
pic_url = re.findall('img src="(.*?)" class="lessonimg"',html,re.S)
i = 0
print pic_url


for each in pic_url:
    print each


for each in pic_url:
    print 'now downloading:' + each
    pic = requests.get(each)                       # 用requests的get方法 下载图片
    fp = open('pic2\\' + str(i) + '.jpg','wb')     # 事先建立好文件夹 pic2,保存到本地文件,文件名是 序号.jpg
    fp.write(pic.content)
    fp.close()
    i += 1

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,511评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,495评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,595评论 0 225
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,558评论 0 190
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,715评论 3 270
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,672评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,112评论 2 291
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,837评论 0 181
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,417评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,928评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,316评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,773评论 2 234
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,253评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,827评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,440评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,523评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,583评论 2 249

推荐阅读更多精彩内容