Python爬虫-Android手写爬虫

我以我自己的想法来分析用Python爬网页的步骤以及注意点~

首先我个人认为一个小爬虫的步骤很简单,无非就是“找网站-分析网页源码-请求-分析-匹配-输出”,就这样,这是我个人理解

那么手机爬虫也就是和PC端一毛一样,除了工具以外

那么开始吧~

我这里推荐三个手机app:packet capture(抓包工具,网上有汉化版)、termux(手机终端)、pydroid(网络上比较少,但是可以到Google play下载,只支持Python2,我这里有自己汉化了的,有需求的可以找我)

这篇文章只用两个软件:termux和chrome浏览器即可

我们要爬取的网站是著名的老司机网站:i.jandan.net,我们只抓取100页的图片(60-160)

网址在这:http://i.jandan.net/ooxx/page-60,没瞎的人都知道page-60是指的页码。。。我没鄙视那些没看懂的人;但是我们还不知道它网页的构造,在浏览器的网址栏上加上“view-source”,加在网址的最前面,也就成了这样

图片发自简书App

OK,现在该网页的源码已经呈现在我们眼前了,可能看着有点费劲,但还好有高亮,不算太坑爹

图片发自简书App

一般情况下:我们找到图片的链接关键字,比如href、jpg、png之类的

但是这,我们只需要找“查看原图”这四个字就可以了,找到之后,我们可以看到它的一个图片都是用一个div给包裹着,每个都是

图片发自简书App

这个就好办了,可以开始写代码来

那么开始把,打开termux,新建一个crawler.py文件,我这里是这个,你们随意

图片发自简书App

然后导入我们那需要的包

import requests
import re

只需要这两个包即可

然后分享一下我的代码:

图片发自简书App

图片发自简书App

接下来,我们就只需要下载就可以完成了,看代码吧:

图片发自简书App

下载过程:

图片发自简书App

完成:

图片发自简书App

简单,代码量很少,有用的代码最多20行

感谢观看,有错的地方别喷,指出来,我学习。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,560评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,104评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,297评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,869评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,275评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,563评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,833评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,543评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,245评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,512评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,011评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,359评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,006评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,062评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,825评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,590评论 2 273
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,501评论 2 268

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 170,565评论 25 707
  • 本内容为《用Python写网络爬虫》书籍内容,有兴趣的读者可以购买本书,本章的代码皆可在Python3中运行。为了...
    海人为记阅读 2,220评论 0 5
  • 1 前言 作为一名合格的数据分析师,其完整的技术知识体系必须贯穿数据获取、数据存储、数据提取、数据分析、数据挖掘、...
    whenif阅读 17,987评论 45 523
  • ❤️调伏身心:昨晚带孩子去跳舞,等待的过程中,站桩半个钟,晚上10点回到家,继续热水泡脚、身体热敷。早晨醒来继续站...
    陈俊宁阅读 265评论 0 0
  • 最近被看了一部电视剧《大唐荣耀》。之所以说“被”,是因为遥控器掌握在老婆手里。先不说景田那叫一个漂亮,今天我拿广平...
    一路凯哥阅读 514评论 2 4