单机下面可以使用多线程和多进程来实现对机器的充分利用，但是单台机器的能力是有限的，如果采用更多机器能进一步提高爬虫的效率。这里要引入分布式爬虫。对于分布式爬虫，使用Redis来实现任务队列，这样会极大的简化系统配置。
1.Redis入门
- 启动Redis
redis-server的服务器端是redis-server，可以不带参数直接启动。redis-server默认的端口号是6379，而且默认状态下不能远程连接。通过使用配置文件可以修改默认设置
bind 0.0.0.0
port 6666
bind用于指定的绑定ip，0.0.0.0代表可以接受任何远程或本地连接，port用来指定端口号。
- 连接Redis
redis-cli是Redis系统自带的客户端，不带参数直接启动，可以连接默认端口下的本地Redis服务器。也可以用-p指定端口，-h指定服务器地址。
redis-cli -h localhost -p 6666
- 数据类型
Redis作为一个key-value类型的数据库，value支持多种数据类型。- a.字符串
字符串是Redis最简单的数据类型，注意key的类型都是字符串。二进制数据也算字符串，比如你可以将一个图像文件的内容存在value中。value的长度不能超过512MB。
- a.字符串
>set name 'dongge' #也可以不用单引号
OK
>get name
"dongge"
>keys * #列出所有的key
"name"
>set counter 100
OK
>incr counter
(integer)101
>incryby counter 50
(integer)151
>exists name #确定key是否存在
(integer)1
>type name
string
>del name #删除一个key
(integer)1
>type name
none
- b.列表
Redis列表用双向链表来实现底层结构，可以从前面或者后面操作。
>rpush mylist A #从链表的右边插入
(integer)1
>rpush mylist B
(integer)2
>lpush mylist C #从链表的左边插入
(integer)3
>lrange mylist 0 -1
1) "C"
2) "A"
3) "B"
>rpop mylist #从右边弹出 lpop执行左边弹出
"B"
Redis列表有阻塞操作，这种操作对实现进程间通讯非常有用。rpop和lpop是没有实现阻塞功能的，为了达到进程间通讯的要求，就需要轮询，显然这样的策略是不行的。BRPOP和BLPOP就实现了阻塞操作，在列表为空时它会一直阻塞或者直到设定的时间到了。
Redis数据类型
- 停止Redis服务器
redis-cli shutdown (redis-cli -p 6666 -h localhost)
2.分布式爬虫
分布式爬虫分为主服务器（master）和从服务器（slave），主服务器负责分配url到任务队列和接收链接数据；从服务器负责爬取指定的页面并分析数据，将数据存入数据库以及返回页面中的链接给主服务器。
- 服务器
import redis
def server(init_url):
s = set()#存储已经访问的网址
s.add(init_url)
conn = redis.Redis()
conn.rpush('url',init_url)
while True:
data = conn.brpop('data')
#print data
if data != None and data[0] == 'data':
data = eval(data[1])
urls = data['urls']
for url in urls:
if url not in s:
s.add(url)
conn.rpush('url',url)
if __name__ == '__main__':
server('http://www.qiushibaike.com')
- 客户端
'''
返回{“urls”:[],"data":[]}
'''
def handlepage(html):
pass
def subprocess(url,host = 'localhost'):
conn = redis.Redis(host)
while True:
url = conn.brpop('url')
html = loadurl(url[1])#加载页面
ret = handlepage(html)#分析页面
conn.rpush('urls',ret['urls'])#向server推送urls
save(ret['data'])#存储数据
def client(num,host='localhost'):
for i in range(num):
p = Process(target = subprocess,args=(host,)
p.start()
