本人是一个漫画迷，也是一个爬虫新手，由于很不喜欢动漫之家的阅览体验，进而有了这一次的动漫之家漫画下载的小项目，也是由于懒惰的原因选择了selenium来爬取动态页面。
首先：
选择想要爬取的漫画，这里我随便选择了一个漫画来做实验。
获取这个漫画的URL地址：https://www.dmzj.com/info/jinglingzhidan.html
在这个章节页面中使用开发者工具，查看网页的源代码获取章节的URL所在的xpath路径备用
//div[contains(@class,"tab-content zj_list_con ")]/ul[contains(@class,"list_con_li")]/li/a/@href
章节列表.png
章节列表-标签.png
进入漫画页面，获取所有图片地址的xpath路径，以及图片的数量为拼接地址备用
//div[@class="btmBtnBox"]/select[@id="page_select"]/option
漫画页.png
直接访问图片地址发现报403错误
403报错.png
使用开发者工具检查请求头发现无法直接访问图片，服务器需要验证来源页
referer: https://www.dmzj.com/view/jinglingzhidan/60957.html
验证来源页.png
开始敲代码：
下面是我们需要用到的库
from selenium import webdriver
from selenium.webdriver.common.by import By
import requests
from lxml import etree
import os
import time
from random import uniform
构思一下大概的工作流程
def main():
url = "https://www.dmzj.com/info/jinglingzhidan.html"
html = getMainPage(url)
page = getChapters(html)
image = getImage(page)
saveImage(image)
if __name__ == "__main__":
main()
获取章节页面（这里因为不是动态页面，所以直接用requests读取）
def getMainPage(url):
'''获取章节页面'''
headers = {
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) \
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36',
}
'''异常管理'''
try:
response = requests.get(url, headers = headers)
if response.status_code == 200:
return response.text
except:
print(response.status_code)
使用lxml中的etree进行网页的解析，然后使用xpath获取所有的章节地址
def getChapters(html):
'''获取章节URL地址'''
html = etree.HTML(html)
chapters = html.xpath('//div[contains(@class,"tab-content zj_list_con ")]/ul[contains(@class,"list_con_li")]/li/a/@href')
return chapters
拿到所有的的章节地址之后，因为是动态页面，所以偷懒使用了selenium进行网页的抓取。然后使用xpath定位章节中所有的图片地址，章节名，书名等信息，使用生成器返回所需要的数据。最后，关闭浏览器。
def getImage(pages):
'''获得章节图片页数'''
browser = webdriver.Chrome()
for page in pages:
# print(str(page))
browser.get(str(page))
page_num = browser.find_elements_by_xpath('//div[@class="btmBtnBox"]/select[@id="page_select"]/option')
# wait = WebDriverWait(browser,10)
# wait.until(EC.presence_of_element_located((By.XPATH,'//div[@class="btmBtnBox"]/select[@id="page_select"]')))
print(len(page_num)) #获取页面数用来计数
'''使用for循环遍历所有的图片'''
for num in range(1, len(page_num)+1):
'''拼接图片URL地址，获取书名，章节名'''
image_page = str(page)+ "#@page={num}".format(num=num)
browser.get(image_page)
image_url = browser.find_element_by_xpath('//div[contains(@class,"comic_wraCon")]/img')
book_title = browser.find_element_by_xpath('//div[@class="head_title"]/h1/a')
chapter_title = browser.find_element_by_xpath('//div[@class="head_title"]/h2')
page_image = image_url.get_attribute('src')
book_name = book_title.text
chapter_name = chapter_title.text
print("+" *60)
'''因为是犯懒所以没有使用代理池，为了不被封IP地址，所以使用了随机的0到3秒的休眠'''
t = uniform(0,3)
print(t)
time.sleep(t)
# print(page_image)
# print(book_name)
# print(chapter_name)
yield page_image, book_name, chapter_name, num, page
# break
browser.close()
这里因为不是动态页面，所以继续使用requests节省资源，把获取到的数据使用os库写入到本地文件夹
def saveImage(image):
for im, name, title, page, referer_page in image:
'''注意referer，动漫之家的图片是不能直接访问图片的，需要验证来源页'''
headers = {
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) \
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36',
'referer': referer_page,
}
image_response = requests.get(im, headers=headers)
'''把获取到的文件写入文件夹'''
if not os.path.exists('/Users/admin/Desktop/HOMEWORK/python3教程/spider/images/{name}'.format(name=name)):
os.mkdir('/Users/admin/Desktop/HOMEWORK/python3教程/spider/images/{name}'.format(name=name))
if not os.path.exists('/Users/admin/Desktop/HOMEWORK/python3教程/spider/images/{name}/{title}'.format(name=name, title=title)):
os.mkdir('/Users/admin/Desktop/HOMEWORK/python3教程/spider/images/{name}/{title}'.format(name=name, title=title))
if image_response.status_code == 200:
file_path = '/Users/admin/Desktop/HOMEWORK/python3教程/spider/images/{name}/{title}/{page}.{jpg}'\
.format(name=name, title=title, page=page, jpg='jpg')
if not os.path.exists(file_path):
with open(file_path,"wb") as f:
f.write(image_response.content)
else:
print(image_response.status_code)
最后把文件储存为dmzj_selenium.py文件，然后在终端中直接运行
python3 dmzj_selenium.py
爬下来的文件
文件.png
