利用Python爬取淘宝商品信息

本文所实现的爬取淘宝商品信息将实现以下功能:
对于某个类别的淘宝商品的页面

image.png

爬取这个商品名称,比如“手机”搜索结果下的每个商品的信息,存储到数据结构中,并能将其输出显示。

如下的输出形式:

image.png

接下来,就看我们如何一步步实现这个小爬虫的吧

分析

  • 目标:获取淘宝搜索页面的信息,提取其中的商品名称和价格
  • 理解:
    淘宝的搜索接口
    翻页的处理

首先分析搜索接口,
很容易我们就可以发现,

image.png

https://s.taobao.com/search?q=后面接我们的搜索词就可以

我们再研究翻页处理:
第二页

image.png

第三页

image.png

我们可以发现,s参数指定了搜索页的跳转,每48条记录一次页面跳转。

有同学可能发现还会有其他很多的参数,这个我们先忽略,我们直接构造一个url,只包括搜索词和搜索页,看看能不能访问到正确页面:
比如
https://s.taobao.com/search?q=手机&s=48

我们将上述地址放到地址栏

image.png

发现可以正确访问,所以我们现在就已经知道了如何确定访问接口

设计程序结构

主要有三步

  • 步骤1:提交商品搜索请求,循环获取页面
  • 步骤2:对于每个页面,提取商品名称和价格信息
  • 步骤3:将信息输出到屏幕上

首先我们对于上面研究出的搜索接口给出基本的代码:

#CrowTaobaoPrice.py
import requests
import re

def getHTMLText(url):

    
def parsePage(ilt, html):


def printGoodsList(ilt):

        
def main():
    goods = '手机'
    depth = 3
    start_url = 'https://s.taobao.com/search?q=' + goods
    infoList = []
    for i in range(depth):
        try:
            url = start_url + '&s=' + str(48*i)
            html = getHTMLText(url)
            parsePage(infoList, html)
        except:
            continue
    printGoodsList(infoList)
    
main()

对于获取页面源码的函数,我们已经写过很多次了,就是利用requets库抓取页面

def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

核心代码

这个爬虫最核心的地方就在于对商品信息的获取,我们首先分析页面的源代码,我们搜索第一个商品的名字

image.png

基本上所有商品的信息,名称,价格,月销量都在这段数据结构里显示,是嵌入在js代码里的,所以我们就无法用bs4库来提取。
但我们可以直接用re库,正则表达式提取。
因为我们可以发现,所有的商品名称都是
“title”:" "的格式,我们可以搜索确认一下:

image.png

我们搜索发现,正好是48条记录,也就是48个商品的信息,所以直接匹配就可以把所所有商品名称信息提取出来,是不是很简单。
对于商品价格 和月销量也是这么获取的

def parsePage(ilt, html):
    try:
        plt = re.findall(r'\"price\"\:\"[\d\.]*\"',html)
        tlt = re.findall(r'\"title\"\:\".*?\"',html)
        mslt = re.findall(r'\"month_sales\"\:\"[\d\.]*\"',html)
        for i in range(len(plt)):
            price = eval(plt[i].split(':')[1])
            title = eval(tlt[i].split(':')[1])
            monthsales = eval(mslt[i].split(':')[1])
            ilt.append([price , title, monthsales])
    except:
        print("")

完整代码

#CrowTaobaoPrice.py
import requests
import re

def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
    
def parsePage(ilt, html):
    try:
        plt = re.findall(r'\"price\"\:\"[\d\.]*\"',html)
        tlt = re.findall(r'\"title\"\:\".*?\"',html)
        mslt = re.findall(r'\"month_sales\"\:\"[\d\.]*\"',html)
        for i in range(len(plt)):
            price = eval(plt[i].split(':')[1])
            title = eval(tlt[i].split(':')[1])
            monthsales = eval(mslt[i].split(':')[1])
            ilt.append([price , title, monthsales])
    except:
        print("")

def printGoodsList(ilt):
    tplt = "{:4}\t{:8}\t{:16}\t{:16}"
    print(tplt.format("序号", "价格", "商品名称","月销量"))
    count = 0
    for g in ilt:
        count = count + 1
        print(tplt.format(count, g[0], g[1],g[2]))
        
def main():
    goods = '手机'
    depth = 3
    start_url = 'https://s.taobao.com/search?q=' + goods
    infoList = []
    for i in range(depth):
        try:
            url = start_url + '&s=' + str(48*i)
            html = getHTMLText(url)
            parsePage(infoList, html)
        except:
            continue
    printGoodsList(infoList)
    
main()

结果:

image.png

小伙伴也可以更改这个程序去搜索各种不同的商品的信息啦

推荐阅读更多精彩内容