最近正在参加单位组织的FineReport报表编程培训，对于帆软提出的“无码编程”的理念，实在是让我无感，我想对于每一个编程爱好者来说，敲代码给我们带来的乐趣，不用我多说大家都有深刻的体会。所以就在培训时开了个小差，写了个简单的爬虫练习，爬取《视觉中国设计师社区》编辑推荐的图片。下面附上网站爬虫的分析思路和代码。
1.网站爬取分析思路：
（1）登录网站：

视觉中国网站URL

视觉中国作品截图

异步加载图片集分析

单个图片集网页

返回值为null

每张图片的URL

2.爬虫代码及注释解析：

import requests
from bs4 import BeautifulSoup
import json
from pathlib import Path
import re

class ShijueSpider():
    def __int__(self):
        pass

    #请求URL的类方法
    def request(self,url):
        headers = {
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3135.4 Safari/537.36'
        }
        return requests.get(url,headers=headers)
    
    #创建存储路径的文件夹的类方法
    def create_dir(self,name):
        directory = Path(name)
        if not directory.exists():
            directory.mkdir()
        return directory

    #获取图片链接地址的类方法
    def get_photo(self):
        #创建图片的存储文件夹
        root_dir = self.create_dir('./视觉中国')
        #循环构建网页异步请求数据的URL,并请求
        for i in range(1,12):
            url = 'https://www.shijue.me/community/search?type=json&page='+str(i)+'&size=20&license=-1&orderby=recommendTime'
            json_str = self.request(url).text
            #利用json.load函数将请求的数据转换成字典类型
            ids = json.loads(json_str)
            #循环得到每个图片集名称和图片集的URL
            for i in range(1,len(ids['dataArray'])):
                #将图片集名称赋值给变量album_name
                album_name = ids['dataArray'][i]['title']
                #正则过滤掉了标题中在 windows 下无法作为目录名的特殊字符
                album_name = re.sub(r'[\\/:*?"<>|]', '', album_name)
                #在视觉中国文件夹下以图片集名称分别存储图片的子文件夹
                dir_name = self.create_dir(root_dir / album_name)
                #构建图片集的URL
                url_id = "https://www.shijue.me/community/photo-details/"+ids['dataArray'][i]['id']
                html = self.request(url_id).text
                #正则匹配图片集中每张图片的URL，返回列表
                pattern = re.compile(r"http://img\.shijue\.me/.{30,50}!dp5")
                response = pattern.findall(html)
                i = 1
                for res_url in response:
                    #从图片的URL中提取图片的后缀名并给图片的名称编号
                    photo_name = str(i) + res_url[-9:-4] if res_url[-8:-4] == 'jpeg' else str(i) + res_url[-8:-4]
                    try:
                        #调用下载并保存图片的类的方法(传入的参数为图片的URL,图片的名称及储存路径)
                        self.save_photo(res_url,photo_name,dir_name)
                    except:
                        continue
                    i+=1
    
    #保存图片文件的类方法     
    def save_photo(self,url,photo_name,save_dir):
        data = self.request(url)
        save_path = save_dir / photo_name
        fp = open(save_path,'wb')
        fp.write(data.content)
        fp.close()

if __name__=="__main__":
    #实例化ShijueSpider()爬虫的类
    shijue = ShijueSpider()
    #调用累的get_photo()方法
    shijue.get_photo()

3.爬取完成效果展示：

图片集文件夹

图片文件夹