爬虫入门练习(三)爬取小猪租房网信息

声明:本文参考Python实战计划学习笔记2.1:将爬取的数据存入Mongodb
其他参考资料:
Python爬虫包 BeautifulSoup 学习(十一) CSS 选择器
python爬虫:BeautifulSoup 使用select方法详解


爬取小猪网上上海的租房信息,部分结果如下所示:

image.png

具体代码如下:

注意运行本代码前需先启动MongDB数据库服务,启动方法见:
MongoDB+MongoVUE的安装

#coding=utf-8
from bs4 import BeautifulSoup
import requests
import time
import pymongo


def get_detail_info(url, data=None):

    # 爬取单条租房信息(标题,图片,房东,日租金,房东性别,房东头像)
    wb_data = requests.get(url)
    soup = BeautifulSoup(wb_data.text, 'lxml')
    time.sleep(2)
    # selcet方法的使用请搜索CCS选择器
    title = soup.select('h4 > em')[0].get_text()   # 标题
    address = soup.select('span.pr5')[0].get_text()  # 地址
    rent = soup.select('div.day_l > span')[0].get_text()  #日租金:div是标签,day_I是其属性,span是下一级标签
    image = soup.select('#curBigImage')[0].get('src') #图片
    lorder_pic = soup.select('div.member_pic > a > img')[0].get('src') #房东头像
    lorder_name = soup.select('a.lorder_name')[0].get_text()  # 房东名字
    lorder_sex = soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > span')[0].get('class')  # 房东性别

    def get_gender(class_name):
        if class_name == "member_boy_ico":
            return  "男"
        else:
            return "女"

    data = {
        '标题': title,
        '地址': address,
        '日租金': rent,
        '图片': image,
        '房东头像': lorder_pic,
        '房东姓名': lorder_name,
        '房东性别': get_gender(lorder_sex)
    }   
    print(data)
    return data


def get_all_data(urls): # 传入主页链接集(本例是3页,3个链接)
    all_data = []
    for url in urls: #遍历链接
        wb_data = requests.get(url) #获取链接内容
        soup = BeautifulSoup(wb_data.text, 'lxml')  #解析链接
        links = soup.select('#page_list > ul > li > a') # 使用CCS选择器,选取每个租房信息的链接
        for link in links:
            href = link.get('href')
            all_data.append(get_detail_info(href))   #调用get_detail_info函数,将抓取的租房信息添加进列表all_data
    return all_data

    
# 定义数据库
client = pymongo.MongoClient('localhost', 27017)   # 建立与数据库的连接
rent_info = client['rent_info']  #创建数据库rent_info
sheet_table = rent_info['sheet_table']  # 创建表单sheet_table

k=input("please enter the num of page that you want to crawl:")
urls = ['http://sh.xiaozhu.com/search-duanzufang-p{}-0/'.format(str(i)) for i in range(1, k+1)]
# 设置3页的租房信息的链接
datas = get_all_data(urls)  #调用get_all_data函数,将抓取的信息存入列表datas

for item in datas:   
    sheet_table.insert_one(item) #将数据存入数据库

# for item in sheet_table.find():
    # 筛选出日租金大于等于500的租房信息,并打印出来
#     if int(item['日租金']) >= 500:
#         print(item)


## 本代码经测试无问题

推荐阅读更多精彩内容

  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    aimaile阅读 23,137评论 6 424
  • 爬虫是一个比较容易上手的技术,也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫,完全就是另一回事,...
    真依然很拉风阅读 7,609评论 4 115
  • 我为什么不该痛快地好好活一次呢?人一生就只能活一次,一旦错过了机会,什么都完了。 曾树生 巴金《寒夜》
    素兮0728阅读 56评论 0 0
  • 简而言之,一个程序至少有一个进程,一个进程至少有一个线程.线程的划分尺度小于进程,使得多线程程序的并发性高。另外,...
    乖乖果效36阅读 26评论 0 0