python爬虫刷博客访问量教程三:使用Selenium让Chrome浏览器自动化

一、前言

前面两篇文章介绍了两种简单的刷流量方法,但是在实际应用上总会碰到许许多多的问题。比如,《python爬虫刷博客访问量教程二:欺骗第三方统计服务》的方法不是很完美,很多大型网站请求数非常多,请求的数据也许会加密混淆,这样的话,逐一分析会浪费很多时间。而且前面两种方法还不是模拟真正的浏览器,这时,就有了浏览器自动化的需求。使用代码控制浏览器访问某个链接,甚至可以设置不同的代理。这样不仅能够使网站的资源请求完整,还能节省很多工作量。这样做的缺点就是,速度慢,不能后台运行。而且网站打开速度取决于代理的速度。

二、安装必要插件

测试环境:Windows 10 + python 3.6.2

1. 安装Selenium

pip install selenium

2. 安装Requests

pip install requests

3. 安装配置Chrome WebDriver

每个版本支持的chrome版本是不一样的,必须要用支持的版本才能驱动浏览器。

官方网站被墙,用这个镜像可以下载全版本的:http://npm.taobao.org/mirrors/chromedriver

下面给出的是目前最新的2.3.7版本,支持的chrome版本是v64-66。其他版本可以自行去下载。

Windows版本:chromedriver_win32

Windows 安装方法:

下载压缩包,解压到任意文件夹,将该文件夹添加到系统PATH环境变量中。

Linux 安装方法:

把解压的文件放到 /usr/bin 目录下,并且修改好权限。

三、代码测试

目标:使用代码控制浏览器访问指定的链接。并且每次访问使用不同的代理。

代理:同样使用的是大象代理的api接口提取代理IP


import random

import requests

import time

from selenium import webdriver

import sys

import os

# 随机获取浏览器标识

def get_UA():

    UA_list = [

        "Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19",

        "Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30",

        "Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P1000 Build/FROYO) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",

        "Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0",

        "Mozilla/5.0 (Android; Mobile; rv:14.0) Gecko/14.0 Firefox/14.0",

        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36"

    ]

    randnum = random.randint(0, len(UA_list)-1)

    h_list = UA_list[randnum]

    return h_list

# 获取代理IP

def get_ip():

    # 这里填写大象代理api地址,num参数必须为1,每次只请求一个IP地址

    url = 'http://tvp.daxiangdaili.com/ip/?tid=你的订单号&num=1&delay=5&category=2'

    response = requests.get(url)

    response.close()

    ip = response.text

    print(ip)

    return ip

if __name__ == '__main__':

    url = "https://pingxonline.com/"

    # 无限循环,每次都要打开一个浏览器窗口,不是标签

    while 1:

        # 调用函数获取浏览器标识, 字符串

        headers = get_UA()

        # 调用函数获取IP代理地址,这里获取是字符串,而不是像前两个教程获得的是数组

        proxy = get_ip()

        # 使用chrome自定义

        chrome_options = webdriver.ChromeOptions()

        # 设置代理

        chrome_options.add_argument('--proxy-server=http://'+proxy)

        # 设置UA

        chrome_options.add_argument('--user-agent="'+headers+'"')

        # 使用设置初始化webdriver

        driver = webdriver.Chrome(chrome_options=chrome_options)

        try:

            # 访问超时30秒

            driver.set_page_load_timeout(30)

            # 访问网页

            driver.get(url)

            # 退出当前浏览器

            driver.close()

            # 延迟1~3秒继续

            time_delay = random.randint(1, 3)

            while time_delay > 0:

                print(str(time_delay) + " seconds left!!")

                time.sleep(1)

                time_delay = time_delay - 1

                pass

        except:

            print("timeout")

            # 退出浏览器

            driver.quit()

            time.sleep(1)

            # 重启脚本, 之所以选择重启脚本是因为,长时间运行该脚本会出现一些莫名其妙的问题,不如重启解决

            python = sys.executable

            os.execl(python, python, *sys.argv)

        finally:

            pass


效果图:


这段代码稳定性还不错,超时等错误就会重启脚本继续获取新的代理IP。保证脚本能够长时间运行。



系列教程:

python爬虫刷博客访问量教程二:欺骗第三方统计服务

python爬虫刷博客访问量教程一:直接请求

推荐阅读更多精彩内容