爬取网址：https://www.lagou.com/
爬取信息：工作岗位等信息
爬取方式：json数据
存储方式：MongoDB
拉勾网采用了异步加载技术和提交表单，可通过逆向工程爬取招聘信息，并存储在MongoDB数据库中。
①拉勾网上关于Python的招聘信息如下：
image.png
②通过“查看网页源代码”，可以看出网页元素不在网页源代码中，说明网页采用了Ajax技术。
image.png
③此时可打开Chrome的开发者工具，选择Network选项卡，选中XHR项，就可以看到加载招聘信息的文件。在Headers中可以看到请求的网址，在Response中可以看到返回的信息，信息为Json格式。Json数据需要登录后才能访问，若未登录，看不到相关信息。
image.png
image.png
image.png
④json信息比较复杂，还可以使用Preview标签来观察。
image.png
⑤点击“下一页”或者指定页数，网址并未改变，即网页也使用了Ajax技术。
image.png
⑥打开Chrome的开发者工具，选择Network选项卡，选中XHR项，可以看到翻页后的请求URL也没变化。究其原因，是因为网页使用了Post的请求方法，可在提交表单数据中观察到pn字段发生变化。
image.png
image.png
⑦通过Preview标签，还可以看到Json数据中的招聘信息总数1414，以及每页显示的招聘信息为15个。目前拉勾网默认只有30页信息。
image.png
代码为：
import requests
url = "https://www.lagou.com/jobs/positionAjax.json"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3294.6 Safari/537.36',
'Cookie':'XXXX',
'Connection':'keep-alive',
'Host':'www.lagou.com',
'Origin':'https://www.lagou.com',
'Referer':'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput='
}
params = {'first':'true',
'pn':'1',
'kd':'python'
}
r = requests.post(url,data=params,headers=headers)
print(r.status_code)
import json
json_data = json.loads(r.text)
print(json.dumps(json_data, indent=4, sort_keys=False, ensure_ascii=False)) ##结构化json数据
结果为：
image.png
image.png
通过观察json结构，可以很简单地获取相关信息：
import json
json_data = json.loads(r.text)
# ok = json_data['success'] ##测试是否获取了正确的json数据。若正确，返回True
# print(ok)
totalcount = json_data['content']['positionResult']['totalCount'] #获取招聘总数量
totalpage = int(totalcount/15) #获取总页数
pagenum = totalpage if totalpage<30 else 30 #通过计算得到需要获取的页数，用于改变pn值。
print(totalpage,pagenum)
results = json_data['content']['positionResult']['result']
for result in results:
companyId = result['companyId']
position_name = result['positionName']
workyear = result['workYear']
jobNature = result['jobNature']
financeStage = result['financeStage']
industryField = result['industryField']
city = result['city']
salary = result['salary']
positionId = result['positionId']
positionAdvantage = result['positionAdvantage']
companyShortName = result['companyShortName']
district = result['district']
createTime = result['createTime']
companyFullName= result['companyFullName']
print(companyFullName,companyShortName,companyId,position_name,salary)
结果为：
image.png
多页面，存放进MongoDB的代码：
import requests
import json
import pymongo
import time
client = pymongo.MongoClient('localhost',27017)
mydb = client['mydb']
lagouzhaopin_info = mydb['lagouzhaopin_info']
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3294.6 Safari/537.36',
'Cookie':'xxxx',
'Connection':'keep-alive',
'Host':'www.lagou.com',
'Origin':'https://www.lagou.com',
'Referer':'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput='
}
def get_page(url):
params = {'first':'true','pn':'1','kd':'python'}
r = requests.post(url,data=params,headers=headers)
json_data = json.loads(r.text)
totalcount = json_data['content']['positionResult']['totalCount'] #获取招聘总数量
totalpage = int(totalcount/15) #获取总页数
pagenum = totalpage if totalpage<30 else 30 #通过计算得到需要获取的页数，用于改变pn值。
return pagenum
def get_info(url,params):
r = requests.post(url,data=params,headers=headers)
json_data = json.loads(r.text)
results = json_data['content']['positionResult']['result']
for result in results:
companyFullName= result['companyFullName']
companyShortName = result['companyShortName']
city = result['city']
district = result['district']
position_name = result['positionName']
workyear = result['workYear']
jobNature = result['jobNature']
industryField = result['industryField']
salary = result['salary']
positionAdvantage = result['positionAdvantage']
info = {'公司全名':companyFullName,
'公司简称':companyShortName,
'城市':city,
'地区':district,
'职位':position_name,
'工作年限':workyear,
'职业性质':jobNature,
'职业分类':industryField,
'工资':salary,
'公司优势':positionAdvantage
}
lagouzhaopin_info.insert_one(info)
#print(companyFullName,companyShortName,city,district,position_name,workyear,jobNature,industryField,salary,positionAdvantage)
if __name__ == '__main__':
url = "https://www.lagou.com/jobs/positionAjax.json"
pagenum = get_page(url)
for pn in range(1,pagenum+1):
params = {'first':'true','pn':str(pn),'kd':'python'}
get_info(url,params)
time.sleep(2) #记得设置睡眠时间，否则运行可能会报错。
