Tor 是什么
先来看看维基百科的介绍：
Tor是实现匿名通信的自由软件。其名源于“The Onion Router”（洋葱路由器）的英语缩写。用户可透过Tor接达由全球志愿者免费提供，包含7000+个中继的覆盖网络，从而达至隐藏用户真实地址、避免网络监控及流量分析的目的。
Tor用户的互联网活动（包括浏览在线网站、帖子以及即时消息等通信形式）相对较难追踪。
Tor的设计原意在于保障用户的个人隐私，以及不受监控地进行秘密通信的自由和能力。
Tor是在1990年代中期由美国海军研究实验室的员工，数学家保罗·西维森（Paul Syverson）和计算机科学家迈克·里德（G. Mike Reed）和大卫·戈尔德施拉格（David Goldschlag），为保护美国情报通信而开发的软件。之后，洋葱路由于1997年交由美国国防高等研究计划署进行进一步开发。
Tor是如何做到匿名通信的呢？
Tor 的原理
其实上文中提到的7000+中继器就是关键。通过一系列的中继器，Tor可以在你的电脑和目的地之间建立一种跳跃的连接。默认的情况下,Tor通过3个中继器进行跳转连接。
•Entry/guard中继器-这是Tor网络的入口点。这些中继器在存在了一段时间后,如果被证明是稳定的，并具有高带宽，就会被选来作为guard中继器。
•Middle中继器-middle中继器事实上是中间节点，用于将流量从guard中继器传输到exit中继器。这可以避免guard中继器和exit中继器探查到彼此的位置。
•Exit中继器——这些中继器是位于Tor网络边缘的出口点。这些中继器会将流量发送到客户指定的最终目的地。
可以看到Tor访问网络不仅仅只用一层代理，而是采用了多层代理，在每一层代理都进行了加密，层层加密使得信息的来源得到保护。就像一个洋葱，只有把每一层都剥开，才能看到核心。因此Tor才被称为“洋葱网络”。
Tor网络上的数据包不是直接通过从源到目的地，而是通过多个节点的随机路径，因此任何单点的观察者都无法知道数据来自哪里或去哪里。
Tor 的安装与使用
Tor 有官方的浏览器，可以直接下载，据说连接上之后可以直接当梯子，不过这里我想不这样玩，以前写爬虫经常会遇到封ip的情况，而Tor服务默认每10分钟就会自动切换ip，这个时间是可以自由设置的，这样就不用去买ip池，直接用tor做代理层写爬虫。
Mac上安装Tor很简单，一行命令就搞定：
brew install tor
耐心等待，这个时间有点长。强烈建议开启梯子之后再执行安装命令，原因你们懂的。
安装完成之后，命令行直接执行
tor
就开启了tor服务
有时候，执行了上面的命令，会卡在5%左右，一直不能到100%，这时候就需要修改一下Tor的配置文件了，得通过梯子才能连接到tor的中继器。Mac 下面是在 /usr/local/etc/tor 文件夹下面有个torrc.sample的文件，这个是模板，我们先复制它到torrc
cp torrc.sample torrc
然后修改一下配置
vi torrc
添加两句话
Socks5Proxy 127.0.0.1:1086 # 通过梯子代理连接tor
MaxCircuitDirtiness 10 # 每隔n时间进行ip更换，时间单位为秒
好了，现在在命令行重新执行tor，应该就没问题了。
下面我们写个小demo测试下是不是每10秒就自动更换ip了，代码如下：
import time
import requests
def get_ip():
# 获取ip地址的网站
url = 'https://api.ipify.org?format=json'
# 9050端口是tor的端口，我们通过tor访问网站
proxies = {'http': 'socks5://127.0.0.1:9050', 'https': 'socks5://127.0.0.1:9050'}
r = requests.get(url, proxies=proxies)
print('当前ip: %s' % r.text)
def main():
# 一直循环
while True:
# 获取ip
get_ip()
# 等待10秒
time.sleep(10)
if __name__ == "__main__":
main()
输出如下，结果和我们预想的一样。
有些网站为了防止爬虫，都开始使用js渲染页面，那我们来试试selenium
import time
import json
import requests
import traceback
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
class Spider(object):
def __init__(self):
self.url = 'https://api.ipify.org?format=json'
self.proxy = 'socks5://127.0.0.1:9050'
self.create_driver(proxy=self.proxy)
def create_driver(self, proxy=None):
options = webdriver.ChromeOptions()
if proxy:
options.add_argument('--proxy-server={0}'.format(proxy))
options.add_argument('--disable-gpu')
options.add_argument('blink-settings=imagesEnabled=false')
options.add_argument('--headless')
self.driver = webdriver.Chrome(executable_path='./chromedriver', chrome_options=options)
self.driver.implicitly_wait(5)
def start(self):
print('......程序开始......')
try:
self.driver.get(self.url)
# 解析数据
ip = json.loads(self.driver.find_elements_by_xpath('//pre')[0].text)['ip']
print('当前ip: %s' % ip)
except Exception as e:
traceback.print_exc()
finally:
self.driver.quit()
print('......程序退出......')
if __name__ == "__main__":
spider = Spider()
spider.start()
恩，也是没问题的。
ok，这篇文章只是简单的介绍了下Tor，并结合python做了一个爬虫小测试，其实慢慢研究一下，应该还是有不少好玩的东西。
