关于 Selenium
什么是 Selenium
Selenium 是支持 web 浏览器自动化的一系列工具和库的综合项目。
它提供了扩展来模拟用户与浏览器的交互，用于扩展浏览器分配的分发服务器，以及用于实现 W3C WebDriver 规范 的基础结构，该 规范 允许您为所有主要 Web 浏览器编写可互换的代码。
Selenium 可以做什么
使用 Selenium 可以操作浏览器从而实现自动化测试，一般 selenium 可用于以下场景：
- 对你开发的网站进行自动化测试，检查网页的表现是否符合预期设计
- 完成一些自动化任务，如自动签到、自动下单等
- 爬虫（虽然 Selenium 可用于爬虫，但一般不单独使用 selenium 爬取信息，尤其是对效率要求较高的情况，见下文对比）
和传统爬虫工具的差异
对于爬虫，python 一般使用 Requests 获取网页内容，然后使用 Beautiful Soup 进行分析和抓取数据。
Selenium 也可以完成类似的功能。相对传统方法，Selenium 是操纵浏览器，可以运行页面的 Javascript 脚本，因此如果网页是由客户端渲染的（如使用 Vue ，React 等渲染），Selenium 也可以渲染出内容，而且还可以和网页交互，这个是传统方法无法做的（传统方法只获取 html 的原始内容，并不会运行任何 Javascript）。
但也正因为需要启动浏览器和运行 Javascript，Selenium 的启动时间较长，而且在爬取数据的效率方面远远也比不上传统方法。
Selenium 也可以和 Beautiful Soup 结合使用，如使用 Selenium 完成登录、渲染动态页面的工作，然后把得到的 html 内容传给 Beautiful Soup 进行分析或获取数据。
根据目的、渲染方式、和是否需要和页面交互，可以总结如下：
| 目的 | 网页渲染方式 | 需要和网页交互 | 建议的方案 |
|---|---|---|---|
| 自动化任务 | - | 是 | Selenium |
| 爬取数据 | 服务端渲染 | 否 | Requests + Beautiful Soup |
| 爬取数据 | 客户端渲染 | 是 | Selenium + Beautiful Soup |
当然，自动任务、爬取数据也可以考虑直接分析网站的接口，通过直接请求接口的方式完成，效率也更高，不过这种方式暂不在本文的讨论范围 :) 。
安装
安装 WebDriver
Selenium 通过使用 WebDriver 支持市场上所有主流浏览器的自动化。 Webdriver 是一个 API 和协议，它定义了一个语言中立的接口，用于控制 web 浏览器的行为。 每个浏览器都有一个特定的 WebDriver 实现，称为驱动程序。 驱动程序是负责委派给浏览器的组件，并处理与 Selenium 和浏览器之间的通信。
Selenium 通过 WebDriver 控制不同浏览器，因此使用 selenium前必须安装浏览器对应的 WebDriver。
Selenium 目前支持的浏览器及其 WebDriver 下载地址：
| 浏览器 | 支持的操作系统 | 维护者 | 下载 | 问题追踪 |
|---|---|---|---|---|
| Chromium/Chrome | Windows/macOS/Linux | 谷歌 | 下载 | 问题 |
| 火狐 | Windows/macOS/Linux | Mozilla | 下载 | 问题 |
| Edge | Windows 10 | 微软 | 下载 | 问题 |
| Internet Explorer | Windows | Selenium 项目组 | 下载 | 问题 |
| Safari | macOS El Capitan 及更高版本 | 苹果 | 内置 | 问题 |
| Opera | Windows/macOS/Linux | Opera | 下载 | 问题 |
可以根据自己的需要选择要安装的 WebDriver。
目前使用最为广泛的浏览器是 Chrome，下文以 Chrome 作为例子展示在 Windows 系统下安装 WebDriver 的过程。
安装 ChromeDriver
下载 ChromeDriver
从 官网 下载 ChromeDriver（国内也可以通过 淘宝镜像 下载），注意 ChromeDriver 的版本必须要与本机安装的 Chrome 大版本一致。
要查看 Chrome 版本，可以打开 Chrome 的选项，点击帮助 -> 关于 Google Chrome：
选择对应的版本下载：
根据操作系统类型选择合适的文件下载：
Windows 系统下载 chromedriver_win32.zip，解压后得到 chromedriver.exe。
建议新建一个 webdriver 目录（如 C:\webdriver）存放 chromedriver.exe，这样后续如果安装其他 WebDriver 也可统一放在此目录下。
添加到环境变量 Path
把 webdriver 目录加入到环境变量 Path：
测试 ChromeDriver
在命令行输入 chromedriver，出现以下内容则表示安装成功：
安装 Python
这里略过 Python 的安装，可以自行参考别的文章。本文使用 Python 3.8.4.
安装 Selenium
python 可以 pip 安装 Selenium 库：
pip install selenium
编写脚本
编写一个简单的脚本测试下：
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 配置chromedriver
options = Options()
# 非沙盒模式，不使用此配置在部分情况下可能无法启动
options.add_argument('--no-sandbox')
# 最大化
options.add_argument('--start-maximized')
options.add_argument('--disable-gpu')
with webdriver.Chrome(options=options) as driver:
# 打开百度首页
driver.get('https://www.baidu.com')
# 设置等待，超时时间为10秒
wait = WebDriverWait(driver, 10)
# 根据id找到输入框
input_field = driver.find_element_by_id('kw')
input_field.send_keys('selenium')
# 根据id找到搜索按钮
search_button = driver.find_element_by_id('su')
search_button.click()
# 等待搜索结果出现，这里通过判断content_left是否可见来确定
content = wait.until(
EC.visibility_of_element_located((By.ID, 'content_left')))
# 获取搜索结果
items = content.find_elements_by_css_selector(
'.result.c-container.new-pmd')
for item in items:
# 获取标题的文本
title = item.find_element_by_css_selector('h3 a').text
print(title)
以上脚本完成了打开百度自动搜索，并获取第一页的搜索结果（不含广告ヽ(✿ﾟ▽ﾟ)ノ）：
最后总结下使用 Selenium 编写脚本的基本流程是：
- 打开目标网页
- 根据 id，class，css 选择器、xpath 等，获取目标元素
- 获取目标元素的内容，或者和目标元素互动（点击、拖动等）
- 等待网页渲染出想要的内容
- ...
基本流程和真人使用浏览器的过程相同，只是从人手操作改成使用代码操作。
总结
Selenium 的功能相当强大，可操作浏览器完成各种任务。上手也比较容易，如果掌握一点前端知识使用起来会更加方便。
