今天用 requests + BeautifulSoup 抓取 aliexpress 的时候， 在模拟登录时候出现了很多问题， 提交数据时会对密码等一些字段加密， 而且提交一大堆不知名的字段， 大概有二十多项。 看到那么多字段， 整个人就不好了， 作为一个懒人， 准备绕过这个坑。
大概思路是这样， 通过 selenium 打开浏览器， 模拟登录。 获取cookies ，并将cookies以文件的形式保存到本地。 当我们使用requests打开页面的时候就可以用本地的cookies。 因为 通过selenium打开浏览器的方式登陆没有那么多限制， 只需要模拟登录流程（ 输入帐号密码， 点击登录即可登陆）。 而且selenium可以模拟各种浏览器， 亦可以在命令行下实现浏览器功能。
1: 通过selenium 登录
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
def login(username, password browser=None):
browser.get("https://login.example.com/")
pwd_btn = browser.find_element_by_name("password")
act_btn = browser.find_element_by_name("loginId")
submit_btn = browser.find_element_by_name("submit-btn")
act_but.send_keys(username)
pwd_btn.send_keys(password)
submint_btn.send_keys(Keys.ENTER)
return browser
2: 保存Cookie
通过seleum 模拟登陆， 然后将cookie打包保存到本地
- 将获取的cookies 存放在变量cookies中
import requests
request = requests.Session()
headers = {
"User-Agent":
"Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36"}
request.headers.update(headers)
cookies = browser.get_cookies()
- cookie保存在本地
# save the current cookies as a python object using pickle
import selenium.webdriver
import pickle
pickle.dump( cookies , open("cookies.ini","wb"))
- 我们可以用同样的方法将cookies重新载入
# add them back:
browser = selenium.webdriver.Firefox()
browser.get("http://www.example.com")
cookies = pickle.load(open("cookies.pkl", "rb"))
for cookie in cookies:
browser.add_cookie(cookie)
3: 使用本地的cookie
import pickleimport selenium.webdriver
import pickle
import requests
cookies = pickle.load(open("cookies.pkl", "rb"))
request = requests.Session()
headers = {
"User-Agent":
"Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36"}
request.headers.update(headers)
for cookie in cookies:
request.cookies.set(cookie['name'], cookie['value'])
# 加载cookies后登录网站
request.get("www.example.com")
完整的例子
import pickle
import requests
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
def setup():
browser = webdriver.Firefox()
return browser
def login(username, password browser=None):
browser.get("https://login.example.com/")
pwd_btn = browser.find_element_by_name("password")
act_btn = browser.find_element_by_name("loginId")
submit_btn = browser.find_element_by_name("submit-btn")
act_but.send_keys(username)
pwd_btn.send_keys(password)
submint_btn.send_keys(Keys.ENTER)
return browser
def set_sessions(browser):
request = requests.Session()
headers = {
"User-Agent":
"Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36"
}
request.headers.update(headers)
cookies = browser.get_cookies()
for cookie in cookies:
request.cookies.set(cookie['name'], cookie['value'])
return request
if __name__ == "__main__":
browser = login("textusername", "tespassword", setup())
rq = set_sessiond(browser)
re.get("http://www.example.com")
友情提示
由于selenium 下的phantomJS在使用过程中出现了不知原因的各种坑。 所以在Python中我们可以用下面的方法，在命令行打开Chrome、FireFox。
from pyvirtualdisplay import Display
from selenium import webdriver
display = Display(visible=0, size=(1024, 768))
display.start()
chromedriver = "/root/project/driver/chromedriver"
os.environ["webdriver.chrome.driver"] = chromedriver
browser = webdriver.Chrome(chromedriver)
