有时web页面太复杂，无法找到API请求。这是我们就可以使用selenium了。（selenium类似于phantomjs无头浏览器一样，是一个自动化的浏览器，可用于自动化测试和爬虫开发）

Selenium-python模块

1.selenium介绍

注意：appnium的核心就用到了selenium的使用。
selenium通过浏览器驱动驱动浏览器，就好像一个真正的用户在操作一样，支持大部分的主流浏览器，包括IE，Firefox，Safari，Chrome，Opera等。我们可以利用它来模拟用户访问页面，点击按钮等，可以绕过一些复杂的认证场景，和js参数构造等反爬措施。
selenium官方文档：https://seleniumhq.github.io/selenium/docs/api/py/index.html
selenium官方网站：https://www.seleniumhq.org/
注意：selenium本身不是浏览器，它是一个浏览器驱动

2.安装

2.1 selenium的安装

selenium的安装非常简单，一般情况下在命令行运行：

pip install selenium

2.2 浏览器驱动安装

selenium是通过浏览器驱动来操作浏览器的。不同的浏览器需要下载不同的驱动。

上表是主要的几大浏览器的驱动下载地址。
注意：https://blog.csdn.net/yoyocat915/article/details/80580066-------2019 Selenium Chrome版本与chromedriver兼容版本对照表。
注意：https://jingyan.baidu.com/article/fea4511a2a5270f7bb9125dc.html----搭建python下selenium驱动google chrome环境

我们以chrome为例，驱动和浏览器版本对应，所以首先你要看你电脑中的浏览器什么版本。

3.开始使用

3.1简单案例

安装好环境后，我们就可以开始使用了

import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

# 打开谷歌浏览器并且创建谷歌浏览器的实例
driver = webdriver.Chrome('D:\\Pycharm\\high_spider\\chromedriver.exe')
# 访问页面
driver.get('http://www.python.org') #等到页面加载完毕，onload事件触发才会返回，但是对于ajax请求不知道何时进行加载。
# 获取属性name='q'的元素
elem = driver.find_element_by_name('q')
# 清空它的text值，如果它是一个可以输入text的元素
elem.clear()
# 模拟输入'pycon'
elem.send_keys('pycon')
# 模拟回车键进行搜索
elem.send_keys(Keys.ENTER)

time.sleep(3)
# 关闭浏览器
driver.close()

上面的代码会代开谷歌浏览器，然后访问http://www.python.org,在搜索框输入pycon,然后回车，最后关闭浏览器，这一切就像有人操作一样。

3.2代码解释

selenium.webdriver模块提供了所有的浏览器驱动实现。目前支持的浏览器有，Firefox, Chrome,IE等主流浏览器。Keys类提供了键盘按键例如Enter,F1,ALT等等。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

接下来，创建谷歌浏览器驱动的实例

driver = webdriver.Chrome()

driver.get方法将会访问提供的URL的页面。WebDriver会等到页面完全加载(也就是说，“onload”事件已经触发)之后才会返回。值得注意的是，如果您的页面在加载时使用了大量AJAX，那么WebDriver可能不知道它何时完全加载完毕。

driver.get("http://www.python.org")

WebDriver提供了一些通过find_element_by_*的方法来查找元素。例如，元素input text能够被方法find_element_by_name方法通过它的name属性定位。

elem = driver.find_element_by_name("q")

接下来，我们发送键，这类似于使用键盘输入键。可以使用selenium.webdriver.common.keys导入的Keys类来发送特殊的功能键。为了安全，我们首先清空任何input标签输入框中预填充的文本（例如“Search”）以免它会影响我们的搜索结果：

elem.clear()
elem.send_keys("pycon")
elem.send_keys(Keys.RETURN)

最后，关闭浏览器窗口。您还可以调用quit方法而不是close。退出将退出整个浏览器（quit），而关闭将关闭一个标签页（close），但如果只有一个标签页是打开的，默认情况下，大多数浏览器将完全退出。

driver.close()  

补充点：
chromedriver.exe下载好后进行相应的环境配置有3种方式：
（1）直接将chromedriver.exe所在的绝对路径配置到系统环境变量path中去。
（2）将chromedriver.exe放到和虚拟环境下的python.exe同级目录下即可。

from selenium import webdriver
webdriver.Chrome('d:\\ji\\chromedriver.exe')