一.什么是异步加载？
在之前的学习笔记中，爬取的网页是需要手动翻页的网址，但是一些网站是通过自动加载翻页的，如knewone网页。浏览knewone的官网就能发现，当下拉到网页最下端时，网站会自动加载新的数据，这样的网站加载方法，称为异步加载。
异步加载又称之为非阻塞模式，当向网页提出请求（request）时，其实网站只是返回了主要样式和部分数据，而持续加载的网页数据是由JS控制，这时新加载出的网页数据与之前的请求是没有关系的，因此称之为异步加载。
二.如何抓取异步加载数据？
以爬取knewone的数据为例，学习连续爬取异步加载网页的方法。
分为以下步骤：
1、观察网页
右键点击网页 —— 点击检查打开监视器 —— 在打开的窗口中选择Network（Network中可查看动态加载数据）—— 选择XHR —— 下拉加载数据，记录数据信息
通过观察可以发现，往下下拉加载的数据越多，动态加载就会陆续出现新的加载成功的页码。点击任意一个新加载的页码，可查询动态加载的数据。点击之后，在新弹出窗口的Headers中，便能找到网页的网址。例如下面的knewone.com网页，新加载的网页在后面添加了page=?的后缀。
在Headers右侧的Response中，是网页的结构，包含了网页的链接、图片地址等相关信息。
2、编写代码
以爬取https://knewone.com/discover为例，爬取网站的图片链接、标题等数据。编写代码的过程如下：
①引入第三方库
第一步同样是引入第三方库，引入BeautifulSoup和requests。
from bs4 import BeautifulSoup #引入BeautifulSoup第三方库import requests #引入requests第三方库
②通过解析网页抓取数据。
首现随意先抓取一个网页的信息，通过解析网页和数据抓取，确保能全部获得我们所需要的相关数据后，再连续抓取网页数据。解析网页和抓取数据的方法和Python学习笔记3 中的方法一样，这里就不再赘述。在编写的过程中，可以每写一步，就通过print()输出查看我们自己编写的程序是否正确，这个对于像我一样的新手来说，虽然麻烦了一点，但还是很有必要的。
url = 'https://knewone.com/discover?page=2'wb_data = requests.get(url)#向网页发送请求
soup = BeautifulSoup(wb_data.text,'lxml')#解析网页
titles = soup.select('#wrapper > div > section > div > div.hits_group-things.clearfix > article > section > h4 > a')#抓取标题
imgs = soup.select('#wrapper > div > section > div > div.hits_group-things.clearfix > article > header > a > img')#抓取图片
links = soup.select('#wrapper > div > section > div > div.hits_group-things.clearfix > article > header > a')#抓取链接#
③整理数据
将抓取出的数据，通过for循环进行整理，装入data{}列表中，最终输出数据。
for title,img,link in zip(titles,imgs,links):
data = {
'title':title.get('title'),
'img':img.get('src'),
'link':link.get('href')
}
print(data)
输出结果为：
④定义函数
为了方便，我们可以将以上写的代码，通过def，定义一个新的函数，方便我们调取。最终函数如下：
关于Python的函数：
函数是组织好的，可重复使用的，用来实现单一或相关联功能的代码段。
Python本身就提供了许多内建函数，比如print()，但也可以自己创建函数。定义一个函数可以定义一个由自己想要功能的函数
函数代码块以 def 关键词开头，后接函数标识符名称和圆括号 ()。任何传入参数和自变量必须放在圆括号中间，圆括号之间可以用于定义参数。函数内容以冒号起始，并且缩进。return [表达式] 结束函数。
def：即define，含义是创建函数
function：即函数名，最好与函数本身的使用相联系
arg：即argument，输入的参数
return即返回结果
以定义计算三角形面积为例：
def triangle_area(bottom,height):
return bottom*height*1/2
调用函数
print(triangle_area(4,5))
输出为10
⑤连续爬取异步加载网页
利用学习笔记3.1 中的方法，通过for循环和format函数，找出异步加载的前9页网址链接。
urls = [ 'https://knewone.com/discover?page={}'.format(str(i)) for i in range(1,10)]#找出异步加载前9页的网址链接
for single_url in urls:#通过for循环将urls中的异步加载数据信息，放入single_url中 get_info(single_url)#调取我们自己定义的get_info(url)函数
最终会有源源不断的数据被爬取出来。
完整的代码如下：
总结：
1.异步加载又称之为非阻塞模式，与常见的翻页网站略有不同，需进入网页监视器的network中查询加载的网址；
2.爬取异步加载网页的步骤与之前爬取常见翻页网站的方法几乎相同，同样需要经过：引入第三方库、通过解析网页抓取数据、整理数据等步骤；
3.可以通过定义函数，凸显出编程的层次感，并且方便将来调用；
4.需要注意的坑：def定义时，之后的冒号必不可少，且之后的内容必须缩进。
