都说人生苦短，我用python。为了找点乐趣，不如写个爬虫？
那爬什么呢？
宇宙条是爬虫界行家，它的很多信息都是从其它网站爬来的，那就拿它练练手吧。
网上类似的文章其实不少，但是大多是很久之前的，在这期间头条已经做了改版，因此还必须自己动手。
具体原理不多说了，直接简单介绍下步骤：
1.首先，打开头条首页，搜索关键词「美景」，可以得到搜索结果页面链接为https://www.toutiao.com/search/?keyword=美景，搜索结果如下：
image
2.同时注意到这是一个Ajax请求，因此我们需要拿到其真实的请求url，就是图中红框标出来的部分。
3.第一次发起搜索请求时，头条有一个滑块验证，这里我们就不模拟这个过程了，手动验证，拿到cookie就好，同时将自己的浏览器信息，请求参数都复制出来：
image
连续向后翻页，发现变化的参数只有offset一个，也就是偏移量。
4.观察请求结果，最关键的是article_url这个字段，根据这个链接重定向，就可以跳转到列表中每篇文章的详情页。
image
5.进入详情页，查看网页源码，可以发现图片链接都是以下图标出来的形式记录的，这就好办了，简单正则匹配一下就好
image
6.拿到图片链接，保存到本地，大功告成。
image
应该说头条相对来说做得比较简单一些，毕竟是新闻类网站，总共差不多100行代码就搞定了，不像淘宝，要爬它的数据就要困难很多。
当然了，除了爬美景，其它照片你想爬啥就怕啥，修改下搜索关键字就好了。第一次写爬虫，还有很多可以优化的地方。简单贴下代码，需要的自取，鬼晓得头条啥时候又改版了，同时欢迎大家review😆。
最后，祝各位大小宝宝节日快乐~~~~
更多技术文章，咱们公众号见，我在公众号里等你~
image.png
# -*- coding: utf-8 -*-
import os
import re
import threading
import time
from hashlib import md5
from urllib import urlencode
import requests
# 这里设置你想查询的关键字
keyword = '美景'
# 这里替换成你自己的浏览器信息
user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'
# 头条图片搜索需要滑动验证，因此简单处理，先手动验证，然后设置cookie
cookie = 'tt_webid=6696746174420534791; WEATHER_CITY=%E5%8C%97%E4%BA%AC; UM_distinctid=16b0805ea6f31d-02830a8210d05a-37627e03-1fa400-16b0805ea705fd; tt_webid=6696746174420534791; __tasessionId=znvodagrm1559207733945; csrftoken=7201998104473d4e2ad8302bb74ae401; s_v_web_id=600eabfd649cb7a70f3d80b981411bfc; CNZZDATA1259612802=1444442826-1559202415-%7C1559207815'
headers = {
'Host': 'www.toutiao.com',
'Referer': 'https://www.toutiao.com/search/?keyword=' + keyword,
'User-Agent': user_agent,
'X-Requested-With': 'XMLHttpRequest',
'Cookie': cookie
}
start_offset = 0
end_offset = 20
step = 20
# 根据偏移量获取每页文章列表
def get_page_by_offset(offset):
params = {
'aid': '24',
'app_name': 'web_search',
'offset': offset,
'format': 'json',
'keyword': keyword,
'autoload': 'true',
'count': '20',
'en_qc': '1',
'cur_tab': '1',
'from': 'search_tab',
'pd': 'synthesis',
}
url = 'https://www.toutiao.com/api/search/content/?' + urlencode(params)
try:
resp = requests.get(url, headers=headers)
if resp.status_code == 200:
return resp.json()
except requests.ConnectionError:
return None
# 获取每篇文章的重定向链接
def get_article_url(article):
if article.get('data'):
for item in article.get('data'):
article_url = item.get('article_url')
title = item.get('title')
yield {
'article_url': article_url,
'title': title
}
# 将图片保存到文件
def save2file(title, url):
if not os.path.exists(title):
os.mkdir(title)
resp = requests.get(url)
file_name = './' + title + '/' + md5(resp.content).hexdigest() + '.jpg'
if not os.path.exists(file_name):
with open(file_name, 'wb') as f:
f.write(resp.content)
else:
print('Already Downloaded', file_name)
# 获取每篇文章的图片列表
def get_image_by_article(article):
article_url = article.get('article_url')
title = article.get('title')
print title
print article_url
if article_url:
try:
# 这里需要使用session的方式，否则会因为重定向次数太多而报错
session = requests.Session()
session.headers['User-Agent'] = headers['User-Agent']
resp = session.get(article_url)
if resp.status_code == 200:
# soup = BeautifulSoup(resp.text, 'lxml')
# result = soup.find_all(name='script')[6]
regex = '.*?img src="(.*?)".*?'
items = re.findall(regex, resp.text, re.S)
if items:
for item in items:
print item
save2file(title, item)
except requests.ConnectionError:
print 'Get image fail.'
if __name__ == '__main__':
for offset in range(start_offset, end_offset, step):
article_list = get_page_by_offset(offset)
for article in get_article_url(article_list):
# 每篇文章单独起一个线程进行抓取
t = threading.Thread(target=get_image_by_article(article))
t.start()
t.join()
# get_image_by_article(article)
end_time = time.time()
print('=====Done=====')
