在极客学院中看了一个关于爬虫的视频，然后自己实现一遍，并做此记录。 视频链接：http://www.jikexueyuan.com/course/995_4.html?ss=1
该文中的登录方式已经失效。。，思路可以借鉴。
使用requests模块，post需要的表单数据来登录新浪微博手机端（手机端简单点。。），并访问登录后的页面。该方法是定向页面的爬取，如果要批量爬取，使用框架会好一些。
确认登录所需的表单数据
chrome浏览器中访问http://weibo.cn/pub/,点击登录，会进入手机端登录页面。登录微博，并通过开发者工具抓包来分析提交的form信息。如下图：
图1：登录页面(有验证码)
微博登录页面
图2：打开开发者工具，输入账号密码登录，看需要提交的form信息
开发者工具
根据图2，发现需要提交的form信息有下边几个：
mobile:login_name #用户名
password_8891:login_password #密码（password_8891 这个每次都变）
code:fcjf #验证码
remember:on #是否记住登录状态，相当于图1中选中的’记住登录状态‘选项
backURL:http%3A%2F%2Fweibo.cn%2F #登录成功后返回的页面
backTitle:微博
tryCount: #尝试的登录次数
vk:8891_ea7c_2358890024 # vk（每次登录可能会不一样）
capId:2_5cb16cf8473df571 # capId
submit:登录
form表单中不固定，需要我们自己取的表单项有password_8891、code、vk、capId。这些值实际上是从图1中带过来的，使用浏览器打开图1的源码，会发现这些选项。如下图图3：
图3：图1登录页面的部分源码
登录页面源码
基本上我们可以从上图获取到
form表单中所需的数据。使用lxml模块来分离出这些信息来。
处理验证码
在表单信息中，有一个code的表单项，是图1中的验证码，自动识别验证码现在还不会，只能用人肉识别，处理方式是在图1的源码中取得验证码的url地址，并保存到本地，然后手动输入。
登录login页面
使用requests模块登录页面，如果我们想访问一些登录后才能访问的页面，有两种方式。
方法一：一开始就访问目标页面，会跳转到登录页面，当我们成功登录后，会根据表单中的backURL自动跳转到目标页面，从而获取我们需要数据。
方法二：使用requests模块的session保持功能，直接请求登录页面，成功后，因为有cookies，所以我们可以直接访问我们需要的页面。这里使用这种方式。
程序代码
# 刚学不久，比较low
#!/usr/bin/env python
#coding=utf-8
import requests
from lxml import etree
import urllib
# 使用requests的会话方法
s = requests.session()
# 定义登录页面和最终要访问的页面（需要登录才能访问）
url_login = "http://login.weibo.cn/login/"
url_final = "http://weibo.cn/msg/"
# 定义自己微博的账户和密码
login_name = "..."
login_password = "..."
# 如果使用第一种方式，可以这样请求
#res = requests.get(url_final).content
# 请求登录页面，获取上面图3所示的源码
res = s.get(url_login).content
# 使用xpath的方式分离表单信息
html = etree.HTML(res)
password = html.xpath('//input[@type="password"]/@name')[0]
backURL = html.xpath('//input[@name="backURL"]/@value')[0]
vk = html.xpath('//input[@name="vk"]/@value')[0]
capID = html.xpath('//input[@name="capId"]/@value')[0]
codeurl = html.xpath('//img/@src')[0]
action = html.xpath('//form/@action')[0]
# 拼接 Request URL，用来提交表单，实现登录
post_url = url_login + action
# 下载验证码到当前目录，并手动输入验证码
def download_code(codeurl):
urllib.urlretrieve(codeurl,"code.jpg")
code = raw_input("please input the code: ")
return code
code = download_code(codeurl)
# 定义表单信息
post_data = {
"mobile" : login_name,
password : login_password,
"code" : code,
"remember" : "on",
"backURL" : backURL,
"backTitle" : u"微博",
"tryCount" : "",
"vk" : vk,
"capId" : capID,
"submit" : u"登录"
}
# 第一种方法，可以使用，返回的源码就是目标地址的源码
#do_post = requests.post(post_url,data=post_data).content
# 提交表单，完成登录
do_post = s.post(post_url,data=post_data).content
# 判断返回的页面是否是验证码错误的页面
if "验证码错误" in do_post:
print "验证码输入错误"
else:
# 请求最终页面
print s.get(url_final).content
# 后续可以写各种匹配规则，来匹配出需要的信息。
