大佬，这个手机端的url你怎么抓到的，我用fiddler根本抓不到啊，找了半天就没有找到
美团外卖爬虫接到一个新的任务，是根据城市名，爬取美团外卖的商户电话联系方式 先去分析美团外卖的网站，https://waimai.meituan.com/，可是并没有任何商家的信息，后来...
发简信
IP属地：加州
-
无头浏览器模拟登陆遇到滑块过不去，进行js注入改变特征值但是没有效果，但是，有界面的情况下就能过
Puppeteer-无头浏览器简介
Puppeteer是什么 Puppeteer 是一个 Node 库，它提供了高级的 API 并通过 DevTools 协议来控制 Chrome(或Chromium)。通俗来说...
-
-
我今天写了淘宝登陆，好几个地方用了页面显示等待，就是定位不到元素，给多长时间都没用，头都大了
Selenium笔记（7）常见的坑
本文集链接：https://www.jianshu.com/nb/25338984 1. 用Xpath查找数据时无法直接获取节点属性 通常在我们使用xpath时，可以使用@c...
-
@小温侯 就这个登陆模块我走了不少弯路，一开始是觉得用selenium能方便一点，然后尝试了发现滑动验证始终过不去，后来，看了一篇文章就学着别人用pyppeteer实现，确实成功了，但是太繁琐了，用不惯，后来了解到selenium也可以通过代理，比如mitmproxy，或者fiddler拦截相关的js请求，并修改相关js代码，我尝试确实可以，原理都一样，都是让淘宝检测不到属于那些测试用的浏览器特有的预定义的js变量值，但是昨天我发现有大神用了个更简单的办法，使用selenium的时候，设置以下浏览器的选项，开启开发者模式，成功绕开了检测，好神奇啊，但是，总觉得用这些测试工具，要是搭建个cookie池显得好笨重啊，想着分析登陆接口，但是如果出现滑动验证就不好过了，对我来说实在是太难了，js水平有限，现在的爬虫感觉遇到瓶颈期了，没啥突破的感觉，大神有什么建议呢，是不是得要好好学js才行吗
模拟淘宝登陆获取初始Cookie
思路 还记的上一篇文章里使用的Cookie吗？由于每次登陆淘宝的Cookie都不一样，所以每次都要手动登陆获取新的Cookie。这里我想研究一下怎样用程序获取这个Cookie...
-
@煎炼 我晚上再去看看怎么解决，大佬，这个模拟登陆能不能不用测试工具实现，完全代码可以模拟登陆吗
淘宝爬虫 之 登陆验证（二）
淘宝作为一大电商网站，反爬措施还是相当的完善的，在我的文章中 淘宝爬虫 之 登陆验证（一）是以cookie验证的，这次用selenium模拟登陆，用过selenium登陆淘宝...
-
这几天被这个东西搞吐了，总结以下，最终的解决方案有两种，一是坚持使用selenium的，那就使用代理，修改js文件，二是使用pyppeteer替代selenium，但是还是需要写js代码修改
淘宝爬虫 之 登陆验证（二）
淘宝作为一大电商网站，反爬措施还是相当的完善的，在我的文章中 淘宝爬虫 之 登陆验证（一）是以cookie验证的，这次用selenium模拟登陆，用过selenium登陆淘宝...
-
-
@小温侯 据说淘宝可以检测到selenium爬虫，我之前看过有人介绍过，所以上手的时候就没有通过selenium去模拟登陆，而是采用pyppeteer，注入js，让淘宝无法识别到是浏览器爬虫，倒是不知道selenium可不可以修改js，你可以看看
模拟淘宝登陆获取初始Cookie
思路 还记的上一篇文章里使用的Cookie吗？由于每次登陆淘宝的Cookie都不一样，所以每次都要手动登陆获取新的Cookie。这里我想研究一下怎样用程序获取这个Cookie...
