1. 花开正好，我们也要充满希望

又是一年春暖花开的时候，

image.png

山河温暖，

image.png

万物可爱，

image.png

一切都是那么的生机勃勃，而我们也到了我们该努力勃发的时候了。
今天还谈学习技术，
为避免单调，咱们这里以本地下载保存一个App漂亮小姐姐的视频为例。

接下来咱们进入正题，又到了愉快地学技术的时候啦。

2. 准备环境

工欲善其事必先利其器，我们需要的环境有：fiddler抓包工具、手机模拟器或手机、六间房秀场App，python环境。

这里提一下，六间房秀场App历史版本下载安装，可以本地去豌豆荚网站下载六间房秀场APP的历史版本，地址：https://www.wandoujia.com/apps/7450760/history

打开往下拉，尽量选择较低版本，我下的版本是v7.1.5.0713的，注意下的时候取消勾选优先下载豌豆荚安装，点普通下载就行了。

下载之后直接拖到手机模拟器里点击安装就🆗了。

3. 开始分析

打开fiddler监控请求，并打开六间房秀场App，点开小视频开始查看fiddler：

image.png

成功找到数据包，把url复制粘贴一下，看看

https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=1

看着url，估计翻页只需要变一下page就行了。

模拟器里视频再往下翻翻看，验证一下猜想，
先清理一下fiddler会话，再往下翻视频：

image.png

把url复制粘贴一下，再看看：

https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=2

两个放一块对比：

https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=1
https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=2

可以看到就page变了，每次翻页加1，证明我们的猜想正确，接下来我们就尝试写代码发请求了。

4. 初次测试

先用requests测试一下看看能不能用：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author  : 冰履踏青云
# @File    : 01.py
import requests
from requests.packages.urllib3.exceptions import InsecureRequestWarning


#关闭安全请求警告
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)
urls = 'https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=1'
headers = {
    'User-Agent': 'Xc27CgIxEEbhJ3L5ZyaZXDorG8FCEKyWJDvRFdZOsMjDq62c4ivPe321e3netvJYy3w9z35Kk46oAnWClMK3NC6nw25)JAwGMw)5CSgTBa)Ou8hMi4XqakiCYh1dG2MxKm0RAyGKt27OOtXqR8zIHLLWXChr)P99AA@@'
}

response = requests.get(urls, headers=headers, verify=False).json()
print(response)

结果：

image.png

成功返回json数据包，接下来我们用jsonpath直接提取视频标题和播放地址：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author  : 冰履踏青云
# @File    : 01.py


import requests
from requests.packages.urllib3.exceptions import InsecureRequestWarning
import jsonpath



#关闭安全请求警告
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)
urls = 'https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=1'
headers = {
    'User-Agent': 'Xc27CgIxEEbhJ3L5ZyaZXDorG8FCEKyWJDvRFdZOsMjDq62c4ivPe321e3netvJYy3w9z35Kk46oAnWClMK3NC6nw25)JAwGMw)5CSgTBa)Ou8hMi4XqakiCYh1dG2MxKm0RAyGKt27OOtXqR8zIHLLWXChr)P99AA@@'
}

response = requests.get(urls, headers=headers, verify=False).json()
# print(response)
title_list = jsonpath.jsonpath(response,'$..title')
playurl_list = jsonpath.jsonpath(response,'$..playurl')

print(title_list,len(title_list))
print(playurl_list,len(playurl_list))

image.png

一页视频标题和播放地址都是20个，没啥问题。接下来我们就只需要给播放地址playurl发请求保存视频就🆗了。

5. 第一版 ——requests版本

我们还是先对上面的程序稍微改造一下使其更具有可读性再保存，先下3页看看效果：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author  : 冰履踏青云
# @File    : 02.py


import requests
from requests.packages.urllib3.exceptions import InsecureRequestWarning
import jsonpath
import os
import time


#关闭安全请求警告
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)

def get_url(url,headers):
    '''获取视频标题和播放地址'''
    response = requests.get(url, headers=headers, verify=False).json()
    # print(response)
    title_list = jsonpath.jsonpath(response,'$..title')
    playurl_list = jsonpath.jsonpath(response,'$..playurl')

    # print(title_list,len(title_list))
    # print(playurl_list,len(playurl_list))
    return (title_list,playurl_list)


def save_videos(url):
    '''保存视频'''
    res = get_url(url, headers)
    # print(res)
    print(res[0])
    for i in range(len(res[0])):
        content = requests.get(res[1][i],headers=headers).content
        path = './Video/'
        if not os.path.exists(path):
            os.makedirs(path)
        title = res[0][i].replace('/','_') # 有的标题带表情的是这样的：我们意念合一/大笑/  “/”会影响文件存储，用_替换掉
        with open(path + title + '.mp4', 'ab') as f:
            f.write(content)
        print(title + '.mp4' + '已经下载完成！')


if __name__ == '__main__':
    url = 'https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page={}'

    headers = {
        'User-Agent': 'Xc27CgIxEEbhJ3L5ZyaZXDorG8FCEKyWJDvRFdZOsMjDq62c4ivPe321e3netvJYy3w9z35Kk46oAnWClMK3NC6nw25)JAwGMw)5CSgTBa)Ou8hMi4XqakiCYh1dG2MxKm0RAyGKt27OOtXqR8zIHLLWXChr)P99AA@@'
    }
    start_time = time.time()
    # save_videos()
    for i in range(1,4):
        save_videos(url.format(str(i)))

    end_time = time.time()
    print('全部下载完成，用时：%s'%(end_time-start_time))

运行结果：

image.png

看一下视频文件：

image.png

具体里面的内容我就不展示了，其实就是正常的小姐姐小视频而已，
三页，一页20个视频，总共60个视频也是没问题的。

唯一有点不美的是用了114秒，用的时间看着有点长，下面我们改进一下。

6. 第二版——requests版升级

我们这里为了少改动代码，直接用ThreadPoolExecutor ，代码示例：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author  : 冰履踏青云
# @File    : 02.py

import requests
from requests.packages.urllib3.exceptions import InsecureRequestWarning
import jsonpath
import os
import time
from concurrent.futures import ThreadPoolExecutor



#关闭安全请求警告
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)

def get_url(url,headers):
    '''获取视频标题和播放地址'''
    response = requests.get(url, headers=headers, verify=False).json()
    # print(response)
    title_list = jsonpath.jsonpath(response,'$..title')
    playurl_list = jsonpath.jsonpath(response,'$..playurl')

    # print(title_list,len(title_list))
    # print(playurl_list,len(playurl_list))
    return (title_list,playurl_list)

    # for i in range(len(title_list)):



def save_videos(url):
    '''保存视频'''
    res = get_url(url, headers)
    # print(res)
    # print(res[0])
    for i in range(len(res[0])):
        content = requests.get(res[1][i],headers=headers).content
        path = './Video/'
        if not os.path.exists(path):
            os.makedirs(path)
        title = res[0][i].replace('/','_') # 有的标题带表情的是这样的：我们意念合一/大笑/  用_替换掉
        with open(path + title + '.mp4', 'ab') as f:
            f.write(content)
        print(title + '.mp4' + '已经下载完成！')


if __name__ == '__main__':
    url0 = 'https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page={}'

    headers = {
        'User-Agent': 'Xc27CgIxEEbhJ3L5ZyaZXDorG8FCEKyWJDvRFdZOsMjDq62c4ivPe321e3netvJYy3w9z35Kk46oAnWClMK3NC6nw25)JAwGMw)5CSgTBa)Ou8hMi4XqakiCYh1dG2MxKm0RAyGKt27OOtXqR8zIHLLWXChr)P99AA@@'
    }
    start_time = time.time()
    with ThreadPoolExecutor(3) as t:
        for i in range(1,4):
            url = url0.format(i)
            t.submit(save_videos,url)
    end_time = time.time()
    print('全部下载完成，共用时：%s'%(end_time-start_time))

image.png

稍微好了一些，在翻页数比较少的情况下requests开线程池效率提升并不是很明显（我嫌耗时太长，没有设置很大的页数对比），我们试着再优化一下，再换一种方案。

7. 第三版 ——异步版

接下来我们不用requests了，用支持异步的asyncio，aiohttp开整：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author  : 冰履踏青云
# @File    : 3.py
import os
import time

import requests
import aiohttp
import asyncio
import jsonpath
import aiofiles
from requests.packages.urllib3.exceptions import InsecureRequestWarning

#关闭安全请求警告
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)

# 先用requests把前三页视频地址拿到，也可以用async 
# 我这边懒省事儿，直接复制粘贴，反正就三个请求对时间影响不大,主要耗时的是视频流的下载
def get_url():
    '''获取视频标题和播放地址'''
    url = 'https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page={}'
    ls = []
    title_lists = []
    playurl_lists = []

    for i in range(1,4):
        response = requests.get(url.format(str(i)), headers=headers, verify=False).json()
        # print(response)
        title_list = jsonpath.jsonpath(response,'$..title')
        playurl_list = jsonpath.jsonpath(response,'$..playurl')
        title_lists.extend(title_list) # 在原基础上扩展列表
        playurl_lists.extend(playurl_list)
    # print(len(title_lists),len(playurl_lists))
    return (title_lists,playurl_lists)

async def save_video(title,url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url,headers=headers) as resp:
            async with aiofiles.open(f"Video/{title.replace('/','_')+'.mp4'}", mode="wb") as f:
                await f.write(await resp.content.read())  # 把下载到的内容写入到文件中
        print(f"{title.replace('/','_')+'.mp4'}下载完毕")


if __name__ == '__main__':
    headers = {
        'User-Agent': 'Xc27CgIxEEbhJ3L5ZyaZXDorG8FCEKyWJDvRFdZOsMjDq62c4ivPe321e3netvJYy3w9z35Kk46oAnWClMK3NC6nw25)JAwGMw)5CSgTBa)Ou8hMi4XqakiCYh1dG2MxKm0RAyGKt27OOtXqR8zIHLLWXChr)P99AA@@'
    }

    start = time.time()
    path = './Video/'
    if not os.path.exists(path):
        os.makedirs(path)
    res = get_url()
    tasks = []
    for i in range(len(res[0])):
        title = res[0][i]
        url = res[1][i]
        c = save_video(title,url)
        task = asyncio.ensure_future(c)
        tasks.append(task)
    loop = asyncio.get_event_loop()
    loop.run_until_complete(asyncio.wait(tasks))
    end = time.time()
    print('全部下载完成，总用时：%s'%(end-start))

运行结果：

image.png

好了一些，二三百兆的资源下83秒应该是正常的，像这种可能就是受限于网速吧。

本来还想再写个scrapy版本的，仔细想想也没必要，感兴趣的朋友可以自己写一下看看，这里我主要提两个需要注意的点：

1. 第一点就是scrapy保存文件的逻辑可以在管道端写，不想写管道的也可以直接在主爬虫程序里面（不过这样感觉这个框架也是没咋利用好，不提倡哈）。
2. 第二点就是要注意scrapy响应接收视频字节流用response.body,相当于requests的response.content和异步的response.content.read()。

其他的应该没啥需要注意的了，如果你写了遇到了问题欢迎来砸我，我最喜欢炒bug吃，嘎嘣脆，还是鸡肉味，咳咳咳。

贫瘠的荒漠会开满鲜花，尽头的街角，也会有人等你回家

本文改动了好多，试了稍微改一丢丢文章就审核不通过了，真难呀。

文章到此结束，欢迎三连，点个赞，收个藏啥的，有问题的尽管砸来，我有故事你有酒，好好交流不分手！哈哈哈！下次见！