×

python爬虫抓取app列表的图标

96
lqeh
2017.09.03 16:37* 字数 1257

python爬虫抓取app列表的图标


爬虫简介

所谓的爬虫简单来说,就是通过不断的变化http请求的url,向服务器进行请求,从而获得服务器返回的相关数据,在这些数据中提取对自己有用的信息。

爬虫的步骤

  • 构造url。根据自己想要抓取的信息,构造出相应的url。
  • 请求url。根据上面构造的url,向服务器发起请求。(在python中可以用urllib、request库等)
  • 提取数据。向服务器发起请求后,服务器会返回相关的数据(如:html、json、xml),在这些数据中提取对自己有用的信息(可以用正则表达式、BeautifulSoup、json、lxml等)。
  • 保存数据。已特定的格式(csv文件)保存上面提取的数据,以便于后面进行数据分析。

例子

使用爬虫抓取app列表的图标,如微信、QQ、今日头条等。

  • 构造url
    打开豌豆荚首页,在搜索框中输入微信,进行搜索。豌豆荚服务器返回下图的页面,有搜索到app列表的信息和图标。
weixin.png

在进行搜索时,用Wireshark进行抓包,可以看到在搜索微信时,对应的http请求为:http://www.wandoujia.com/search?key=%E5%BE%AE%E4%BF%A1&source=index
QQ的请求为:
http://www.wandoujia.com/search?key=QQ&source=index
今日头条的请求为:
http://www.wandoujia.com/search?key=%E4%BB%8A%E6%97%A5%E5%A4%B4%E6%9D%A1&source=index

  • 从上面的3个不同的app的http请求,我们可以发现,只是搜索的key值有所不同,比如微信的key为%E5%BE%AE%E4%BF%A1,QQ的key为QQ,今日头条的key为%E5%BE%AE%E4%BF%A1。这些值对应字符的utf-8编码 + url编码。也是说微信的utf-8为E5 BE AE E4 BF A1,格式化为url编码就是:%E5%BE%AE%E4%BF%A1。
  • 所以对于不同的app应用要构造出不同请求的url,我们只需要改变上面http请求的key值,再向豌豆荚的服务器发送请求即可。

请求url

在python中可以使用urllib、request库等。

提取数据

发送http请求后,豌豆荚服务器会返回搜索的app列表。可以看到是一个html文档。用Chrome浏览器,查看返回的html文档,定位到相关的信息。如下图,可以看到,微信的图标的链接地址。这就是我们需要提取的数据。

img_link.png

在python中我们可以使用正则表达式来提取图标的链接地址,或者对于html可以使用BeautifulSoup来提取。

保存数据

上面提取的是图标的链接地址,我们可以再次用这个链接地址发起http请求,就可以得到相应图标的数据,然后把数据保存到磁盘中即可。


代码如下:

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

"""从豌豆荚应用市场抓取app列表的图标"""

from urllib.parse import quote
from urllib import request
from functools import wraps
import re


__author__ = 'heql'


def url_decorate(func):

    @wraps(func)
    def wrapper(*args, **kwargs):
        print(*args)
        if args:
            return func(*args)
    return wrapper


@url_decorate
def request_url(url):
    """请求url"""
    cnt = 3
    for i in range(cnt):
        try:
            with request.urlopen(url, timeout=20) as f:
                return f.read()
        except Exception as e:
            if(i < cnt - 1):
                print('request again')
            else:
                print('except:', e)


def save_icon(file_name, data):
    with open(file_name, 'wb') as f:
        f.write(data)                


def get_icon_links(data, app_name, compare=None):
    """提取图标的链接"""
    items = re.findall(r'(<div class="icon-wrap">(?:.|\n)*?</h2>)', data)

    for item in items:
        icon_link = re.search(r'<img src="(.*?)"', item).group(1)
        icon_app_name = re.search(r'class="name">(.*?)</a>', item).group(1)

        result = True if compare is None else compare(icon_app_name, app_name)
        if result:
            yield icon_app_name, icon_link
   

def read_app_list(file_name):
    """读取app列表"""
    with open(file_name, encoding='utf-8') as f:
        return [line.strip() for line in f if line.strip()]


def main():
    app_name_list = read_app_list('app_list.txt')
    url  = 'http://www.wandoujia.com/search?key={0}&source=index'

    for app_name in app_name_list:
        data = request_url(url.format(quote(app_name, encoding='utf-8')))
        if not data:
            continue

        for index, (icon_app_name, icon_link) in enumerate(get_icon_links(data.decode('utf-8'), app_name, lambda left, right: left == right)):
            icon_data = request_url(icon_link)
            if not icon_data:
                continue

            file_name = '{0}_{1}.png'.format(icon_app_name, index)
            save_icon(file_name, icon_data)             
    

if __name__ == '__main__':
    main()

代码分析:

read_app_list函数: 从文件中读出app列表的名称,每一行对应一个app名称。

request_url函数: 使用urllib发送http请求。如果请求时发生异常(如:网络超时、url请求错误等),则再次发送请求,如果同一个url超过三次请求有误,则返回None。它有一个装饰器url_decorate,用于输出发送请求时的url。

get_icon_links函数: 用于提取服务器返回的数据。使用正则表达式findall匹配所有符合以<div class="icon-wrap">开始,以/h2>结束的选项。findall会返回一个list。然后对每个选项用整个表达式提取图标的链接和图标的名称。compare 是一个回调函数,当为None时表示要提取所有的图标信息,代码传入一个lambda表达式,lambda left, right: left==right表示只有提取的图标名称和搜索的图标的名称相同时,才返回其对应的图标链接。

save_icon函数: 写入图标的数据到指定的文件中。图标保存的名称是以名字_下标形式保存的,因为有可能会出现两个以上名字相同的数据,比如说:搜索可可英语。会有两个相同的app名称的应用。


使用BeautifulSoup提取html数据

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。

参考: https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

使用BeautifulSoup后能让代码更加简洁,对于上面的程序,我们只需修改get_icon_links即可。代码如下:

# 提取图标的链接
def get_icon_links(data, app_name, compare=None):
    soup = BeautifulSoup(data, 'lxml')
    for tag in soup.find_all('img'):
        icon_link = tag['src']
        icon_app_name = tag['alt']

        result = True if compare is None else compare(icon_app_name, app_name)
        if result:
            yield icon_app_name, icon_link
技术
Web note ad 1