爬虫实战第三天

任务

爬取北京58同城二手平板交易页面的数据详情，包括标题，价格，地区等。

成果

共爬取1750个页面的数据，并保存到.xls中。

源码

import requests
import time
from bs4 import BeautifulSoup

info = []
urls = ['http://bj.58.com/pbdn/0/pn{}/?PGTID=0d305a36-0000-1e57-ae30-de136659c08c&ClickID=2'.format(str(i)) for i in range(1, 51)]


def get_views(view_link):
    # wb_data.url == view_link
    wb_data = requests.get(view_link)
    # 如果链接用urllib.request中的urlopen解析，则wb_data不需要.text
    soup = BeautifulSoup(wb_data.text, 'lxml')
    # 58网站前三个加精的网页与后面结构有所不同，可以直接不管，筛选规则按照后面网页的写法
    # 严格来说cate删除换行符空格等处理最好用正则表达式，否则会漏掉不符合strip规则的页面;;实际上完全取出来了，哈哈！
    data = {
        'cate': soup.find_all(attrs={'class': 'crb_i'})[-1].get_text().strip('\n\r\n\t        ').strip('\n'),
        'title': soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.box_left_top > h1')[0].get_text(),
        'price': soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.info_massege.left > div.price_li > span > i')[0].get_text(),
        'region': soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.info_massege.left > div.palce_li > span > i')[0].get_text(),
        'look_time': soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.box_left_top > p > span.look_time')[0].get_text()
    }
    print(data)
    info.append(data)


def get_links(start_link):
    wb_data = requests.get(start_link)
    soup = BeautifulSoup(wb_data.text, 'lxml')
    view_links = soup.select('#infolist > div.infocon > table > tbody > tr > td.t > a')
    return view_links

# 由于使用了try语句，因此不符合上述规则的网页不会被爬取到，这是优点也是缺点
for url in urls:
    view_links = get_links(url)
    for view_link in view_links:
        try:
            get_views(view_link['href'])
        except Exception as e:
            pass
    time.sleep(1)

with open('bj58.xls', 'w') as f:
    for i in info:
        for key in i:
            try:
                f.write(key)
                f.write('\t')
                f.write(i[key])
                f.write('\t')
            except Exception as e:
                break
        f.write('\n')

小结

• 注意区分貌似同一样式的页面，如首页前三个加精网页，网页HTML结构与后面其他网页的结构是不同的。
• try...except语句对于爬虫错误处理特别好使，不至于在某个网页处理不成功时停止爬取。