前言
爬虫还有一个很好玩的地方就是可以刷访问量/浏览量。对于不同的网站有不同的统计访问量的方法。有的会限制同一个IP的统计，有的是条件触发的统计（如视频播放网站，点击播放算一次）。这个系列教程会结合web技术尝试解决这些问题，实现稳定刷访问量。
分析原理
一些小型网站会把统计代码写进php里面，每次访问都会执行一遍增加访问量。那就可以直接用爬虫抓取相关的页面，让它执行一遍统计代码。
测试环境
爬虫环境
Windows 10
python 3.6.2
服务器测试环境
自己动手写了个模拟的网站环境，每次访问该页面，浏览次数就会+1 .
<?php
/**
* Created by PhpStorm.
* User: http://pingxonline.com
* Date: 2018/2/19 0019
* Time: 18:44
*/
include_once 'connect.php';
$db = new connectDataBase();
// 初始化
$visit = 0;
$time = null;
// 获取当前的时间
$mtime = date("Y-m-d h:i:s");
// 对ID为1 的文章进行访问量+1
$sql = "UPDATE `original` SET `visit`=`visit`+1, `mtime` = '{$mtime}' WHERE `article_id` = 1";
if (mysqli_query($db->link, $sql)){
// 获取ID为1 的文章最新数据，输出到前端
$sql = 'SELECT * FROM `original` WHERE `article_id` = 1';
$result = mysqli_query($db->link, $sql);
while($row = mysqli_fetch_assoc($result)){
$visit = $row['visit'];
$time = $row['mtime'];
}
}else{
echo mysqli_error($db->link);
die('执行失败');
}
?>
<!doctype html>
<html lang="zh-CN">
<head>
<meta charset="UTF-8">
<meta name="viewport"
content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0">
<meta http-equiv="X-UA-Compatible" content="ie=edge">
<title>访问量测试</title>
</head>
<body style="text-align: center">
<p>
访问量：<?php echo $visit ?>次
</p>
<p>
最后访问时间：<?php echo $time ?>
</p>
</body>
</html>
python 代码
首先需要安装python的一个Requests扩展插件。
Requests 是用 Python 语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。
通过 pip 安装
pip install requests
或者，下载代码后安装：
$ git clone git://github.com/kennethreitz/requests.git
$ cd requests
$ python setup.py install
源代码
import requests
import time
# 目标url地址
url = 'http://localhost/TrafficGenerator/original.php'
while 1:
response = requests.get(url)
response.close()
print(response.text)
# 间隔1秒
time.sleep(1)
这就是比较简单的方法。但是实际的应用可能并不会这么简单。很多网站往往会过滤想通IP的访问，这个时候就需要IP代理。
使用代理
requests对代理的设置方法非常的简单。深入学习可以参考这里：https://www.cnblogs.com/zhaof/p/6915127.html
注意：本篇文章是在本地测试，本地测试使用的是本地地址，使用代理是无效的。
import requests
import time
import random
# 随机获取浏览器标识
def get_UA():
UA_list = [
"Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19",
"Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30",
"Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P1000 Build/FROYO) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
"Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0",
"Mozilla/5.0 (Android; Mobile; rv:14.0) Gecko/14.0 Firefox/14.0",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36"
]
randnum = random.randint(0, len(UA_list)-1)
h_list = {
'user-agent': UA_list[randnum]
}
return h_list
# 获取代理IP
def get_ip():
# 这里填写大象代理api地址，num参数必须为1，每次只请求一个IP地址
url = 'http://tvp.daxiangdaili.com/ip/?tid=你的订单号&num=1&delay=5&category=2'
response = requests.get(url)
response.close()
proxy = {
"http":"http://"+response.text
}
print(proxy['http'])
return proxy
if __name__ == '__main__':
# 目标url地址
url = 'http://localhost/TrafficGenerator/original.php'
while 1:
try:
# 开启一个会话
s = requests.session()
# 调用函数获取浏览器标识
headers = get_UA()
# 调用函数获取IP代理地址
proxy = get_ip()
# 开始请求, 注意本地测试使用的是本地地址，使用代理是无效的
web_data = s.get(url, headers=headers, proxies=proxy)
# 输出网页内容
print(web_data.content)
# 间隔1秒
time.sleep(1)
finally:
print('error')
系列教程：
