爬虫踩过的那些坑

在建模分析的过程中,数据的获取总是第一步,小公司不像大厂那样有专门的爬虫工程师,除了公司的数据积累,很多时候需要自己想尽各种手段自己获取一部分数据,相信有很多的挖掘工程师会为数据获取头疼,比如爬虫,在这一章节,介绍下自己在数据抓取过程中遇到的坑以及解决方法,希望后来人少踩一些(建模分析的过程有时间再写)。

目前爬虫遇到的问题大致可以分为以下几类:

  1. 不做任何限制的网站,恭喜,你可以愉快的获得需要的数据了;

  2. 访问频次限制, 少量的数据可以获取,但是如果大量访问给服务器造成压力,会做出一些限制,最常见的就是图像验证码;

  3. 数据加密,劳资就是不想让你通过爬虫从我这拿走一条数据!反爬策略有对前端数据通过js加密,对后端数据通过某种算法加密, cookie验证等。

当然爬虫最好的方式还是代理,只要有足够多的代理,除了数据加密的反爬策略,其它任何策略都不会对你造成障碍。代理的价格也不算贵(聪明的还可以想起他办法获得代理~),不用代理,任你玩出任何花样,直接拉黑名单或者重定向到黑洞,肯定也会死翘翘。

验证码反爬


验证码几乎是现在所有站点对付爬虫的手段,主要是成本低吧,目前开源的验证码生成器包括 kaptcha(java), captcha(python), simpleCaptcha(java) 等,当然也可以自己通过脚本生成验证码,像kaptcha,在web 项目中导入jar包后,通过servlet简单配置即可直接使用,验证码结果通过Session直接获取。俗话说兵来将挡水来土掩,我们只能见招拆招:

  1. 直接通过验证码的url获得验证码图像,然后通过打码兔或者若快这些打码平台(非常便宜)进行打码,精度还是非常高的,将打码结果提交form表单验证,继续抓取;
  2. selenium -> 浏览器内核 -> 截屏 -> 打码,对1方法不能奏效的,可以试下该方法,该方法一般情况下万无一失,但缺点也很明显,内核会吃掉机器的大量资源,所以爬虫中一定要记着对资源进行释放,切记!
  3. 既然打码平台可以做,为什么不能自己训练一个ocr的模型呢?大致思路可以分为这两种:
    • 字符切分, 深度神经网络做单个字符识别,但是字符分割会是一个非常有挑战性的任务,至于字符识别算法,相信一个Lenet绝对够用了;

    • 直接训练端到端的字符识别模型, lstm + ctc是一个非常好的方案,针对数字+字母的验证码方式,训练循环神经网络+ctc可以轻松的达到95%的打码精度,单字符打码精度更高,当然对于lstm,在embedding层的前边加上一到两层的卷积网络会有意想不到的效果,谁用谁知道~(对nlp中的任务之前也遇到相似的问题,循环神经网络前边加上卷积效果很明显)

几乎所有的验证码生成器都会有固定的模式(对模型来讲,即样本分布已知),我们可以非常方便的搭建一个web项目来无限制的生成训练数据集,比如[0-9], [a-z],[A-Z],添加鱼眼失真、随机干扰线、噪点等,生成几十万样本进行训练,难道还怕模型训练不好?

数据加密

数据加密的方式有很多种,前端加密以及服务端加密的方法都有,我对js不是很了解,所以遇到前端加密的会很头疼,有一种可行方案是通过正则找出JavaScript函数,用Js2Py可以把js转化python【参考链接】

还有一种加密是服务器端加密,在客户端或者前端解密,比如想抓app端的一些数据,发现接口返回的结果都是加密后的密文,解决方案如下:

  • 反编译apk文件获得源码
  • 读源码,找到加密算法(以及密匙,或者密匙生成算法,像AES)
  • 解密密文~

结束前

爬虫与反爬相生相伴,我们在做爬虫的时候也应该体谅下服务端的苦衷,所以嘛,延迟能设大一点就大一点。当然上边说了这些,最最最最重要的是代理!有条件的上代理,没条件的苦逼,创造条件上代理~ 总之,在有限的资源下想方设法完成既定目标才是王道。

欢迎一块交流讨论,文中有错误的地方,还请指正,谢谢~
email: bidai541@foxmail.com

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 148,637评论 1 318
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 63,443评论 1 266
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 99,164评论 0 218
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,075评论 0 188
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,080评论 1 266
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,365评论 1 184
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 30,901评论 2 283
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,649评论 0 176
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,122评论 0 223
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,734评论 2 225
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,093评论 1 236
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,548评论 2 222
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,028评论 3 216
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,765评论 0 9
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,291评论 0 178
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,162评论 2 239
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,293评论 2 242

推荐阅读更多精彩内容