Python 爬虫 下篇

96
gudianxiaoshuo
2018.01.14 14:07 字数 1805

Python安装

python学习 一 python语法,及变量类型

python学习 二 爬一个图片网站上

python学习 二 02 爬一个图片网站,获得主链接网址,并保存

python学习 二 03 爬一个图片网站-获得所有分页网址

python学习 二 04 爬一个图片网站-解析文件,获得所有图片链接

python学习 二 05 爬一个图片网站-下载图片链接

python学习 二 06 爬一个图片网站-多线程方式下载

python学习 三 01 再爬一个网站,几行代码,搞定分类类别

python学习 三 02 再爬一个网站,获得所有分页

python学习 三 03 再爬一个网站,根据分页,下载图片

Python 爬虫 上篇

Python 爬虫 下篇

第七篇

Python学习,再爬一个网站

前文,下载了一个图片网站,但是素材还是不够,我希望的是GIF素材,所以又找了一个网站。

下载这些图片的目的,是在进行动图创作、视频编辑的时候,感到素材太少,所以需要爬以下,获得一些素材。

顺便打下小广告,如果有喜欢制作动图的话,可以下载我打造的软件:任性动图

如果喜欢视频编辑的话,可以下载我的另一款软件:任性小视频

第一步,将获得所有主类别

根据主类别,创建本地目录,

将主类别对应的网址,下载下来

看网页源码

创建好的主类别如下

代码如下:

目前,我们将主类别创建成功了,而且主类别目录下,是其对应的网页

第二步,分析主类别网页,创建相应子类别

下图为主类别网页

网页源码如下:

子类别位于class=cat的DIV下

标签的对应的类 class="sidebar-letter"

下面,我们加载这个主类别网页,然后,在这个网页中搜寻子类别信息

首先获得gif目录下的所有子文件夹

然后获得子目录下存放的TXT网页,对此网页进行解析,获得所需的子类别信息,

代码:

最后,根据子类别信息,创建子类别目录,及子类别对应的网页

至此,我们将原网站中对应的类别信息,已经下载下了。

代码:

第八篇

推倒前面代码,用递归算法重写

我发现,这个网站,并不是严格的几层分类,分类层数不一定,又仔细看了下源码,不管是主分类网页,还是次分类网页,他们的div的类别都是相同的。

而A分类下的子类别accordions下,可能还有子分类,也可能没有子分类。

判断accordions下还没有子分类的方式:

下载网页

看看此网页中是否还有

如果还有,则继续创建类别

这是一个递归创建的过程,所以我将上面的程序重新推到,重新写了个递归算法。

用这几句代码,就可以正确的创建网站类别了。

获得所有分页信息

到目前为止,我们创建好了网站类别,并且获得了每个类别所链接的网址,其中最底层的类别所对应的网址,就是图片展示列表。

看一下网页,

图片展示是分页形式的,看下源码

分页信息如上,

分页位于class=pagination的

    标签下,我们获得了首页,现在只需获得最后一页就行,最后一页保存在ul的末尾 last page ,我们获得lastpage的索引,中间的页面改变下索引就可以了。

下面我们要做的是获得所有分页信息

为此,我写了递归函数:

针对这个网页的分页形式,重写了获得分页函数

有了这两个函数之后,我们就可以将所有的分页都下载下来了。

下载下来后,下一步就是下载每个分页对应的图片了。

根据所有分页文件,下载图片

书接上回,我们已经递归创建了类别,获得了所有分页信息,下一步就是根据分页信息获得所有的图片。

为此,我们再看看网页,红线部分的图片,就是我们要抓取的图片。

看下对应的源码:

也就是说,我们要获取这个div下的所有IMG标签

为此写了个获得指定DIV下所有IMG标签的函数

分两步,第一步,找到分页文件

第二步,解析分页文件,并下载img

这其中又涉及到了解析,解析部分我想单独放在一个文件中,这个文件就是作为封装各种解析来用的。

最后就是多线程方式下载,

下载我也单独放到一个文件中了,这个文件打算主要做下载用

总结: 下载网站中的图片,分成三个步骤:

1、 根据网站类别,创建本地类别

2、 获得所有分页

3、 根据分页,下载图片

至此,爬图片过程,就告一阶段,下节主要介绍下,这一阶段所用的知识及逻辑组织方式

第十篇

本图片爬虫工程,组织框架

初次使用python,没什么组织,只是开发过程中的逻辑梳理下

一个主程序,用于分析网站,根据网站图片分类,创建本地类别,获得所有分页,最后下载所需图片。

Common.py 常用功能

Down.py 下载功能

MyThread.py 多线程,与下载结合,实现多线程下载

Parse.py 解析

大体逻辑上,是按这个组织的,当然一开始是写在一个文件中的,不过发现那样太乱,不利于重复利用,于是就慢慢的分离出这几个文件。

现在,脉络是这样,不过耦合度还是挺多的,先不管了,有机会再研究的话,再进行完善。

工程发布到github,有一个网站是日本的,可以尽情爬取,另一个网站网址省去了,避免多人爬取,直接把人家的网站挂掉,就像有人如果爬我的网站,差点把我的网站弄瘫痪了,我也是不愿意的:》

Github:

https://github.com/gudianxiaoshuo/myPython

对您有所启发的话,用支付宝扫下红包奥。。。


Python自我学习之路
Gupao