天气数据抓取
from my wp blog
帮同学抓取天气信息
选择了一个不错的天气网
http://lishi.tianqi.com/beijing/index.html
lxml解析html
先找一个靠谱的html解析工具beautifulsoup
本来这货用起来还是挺方便的，不过我会一点xpath，所以需要一个更高级的第三方库lxml
import lxml.html
weather_url = 'http://lishi.tianqi.com/beijing/201404.html'
html = lxml.html.parse(weather_url)
ul = html.xpath('//*[@id="tool_site"]/div[2]/ul')
所需的数据
2014-04-01 2 29 多云 微风 小于3级
页面的ul是抓出来了，但是还有一些混杂的内容，要过滤掉没用的东西
ul的第一个li中有个a标签，a中的内容才是需要的，而其他li中直接就是所需的内容
def getLi(ul):
info = []
k = 0
for li in ul.itertext():
text = li if 0 != k else li[0]
if(text.strip()):
info.append(text)
k += 1
return info
已经知道，第一个数据是个日期，如果判断出第一个数据是日期，那么整条数据都是有效的
import re
date_re = re.compile(r'^\d+-\d+-\d+$')
li = getLi(ul)
if(date_re.match(li[0])):
...(写入数据库或者文件)
python2的字符串是这样的
decode encode
str ---------> unicode --------->str
当想在程序中显示中文的时候，要转换成unicode字符
当时想写入文件或者数据库的时候，要对unicode字符串进行编码
一般来说，抓取的我国网页用gbk解码，写入文件使用utf8编码
import re
date_re = re.compile(r'^\d+-\d+-\d+$')
file = open('data.txt', 'w')
for ul in html.xpath('//*[@id="tool_site"]/div[2]/ul'):
li = getLi(ul)
if(date_re.match(li[0])):
for text in li:
file.write(text.encode('utf8') + ' ')
file.write('\n')
python连接mysql需要下载一个叫做MySQLdb的库
开启本地的apache和mysql服务，连接和关闭数据库
conn = MySQLdb.connect(host=setting.host, user=setting.user, passwd=setting.passwd, db=setting.db, port=setting.port, charset='utf8')
cursor = conn.cursor()
conn.commit()
cursor.close()
conn.close()
为什么有conn.commit()，其他的语言里面（至少是php）没有见过
因为这样才能真正把数据写入到数据库中，完成一个事务
- 关于编码
- utf-8
- 数据库utf8-general-ci
- charset='utf8'
- 连接数据库声明字符编码
- 写入的字符串用utf8编码
cursor.execute(sql.encode('utf8'))
