前提是这样的，有人找帮忙爬个网站。当时没当回事，后来发现这个网站防爬虫放了好多奇淫异巧，就是绕不过去。坚持了3天，我就转变思路了，找其他方案，就发现了Selenium、PhantomJS、SlimerJS、Playwright，最后感觉Playwright北京牛逼，实力牛逼，就用他了。用了后感觉，以后爬虫就是它了，什么动态页面、各种验证都是浮云了，因为它就是浏览器操作，无敌了。
- 搭建环境
python 3.9 安装，在winserver上装python 3.10后运行出现 'DLL load failed while importing _greenlet'问题
解决不了。2023年3月12日更新。
先 pip install msvc-runtime 试试效果
不行再在这个网站找匹配的msvc包安装，肯定解决
https://www.lfd.uci.edu/~gohlke/pythonlibs/
pip install playwright #安装playwright
playwright install chromium #安装浏览器驱动 支持chromium webkit firefox,如果直接playwright install 则安装三家drive edge浏览器msedge
- 用到了mysql
涉及到长连接问题。声明了全局的连接实例
db = pymysql.connect(host='ip', user='root', password='123', database='database')
但是到使用时，连接已经中断了。这就需要ping一下，然后根据判断结果，断了就重连。
def test_conn():
try:
db.ping()
except Exception as e:
logging.info("数据库失去连接{}".format(e))
db = pymysql.connect(host='ip', user='root', password='123', database='database')
logging.info("重新连接数据库")
return db
- pyinstaller打包
因为使用playwright安装chromium驱动，打包时找的是本地路径？反正到其他机器上就提示下面这个，找不到chromuim，安装了环境也没有。
Looks like Playwright Test or Playwright was just installed or updated.
Please run the following：playwright install
解决方案是把chromeium打包进exe
项目文件位置，【Shift+右键】打开本地位置的 PowerShell，输入$env:PLAYWRIGHT_BROWSERS_PATH="0"
playwright install chromium #这就把chromium带到包内了？
pyinstaller -F main.py #执行打包，这就把chromium打进来了
稀里糊涂，还不知道什么都是什么，尤其$env。为什么这就下载到项目里了也不知道。反正这样就解决了。
- 关于logging模块
事情是这样的，之前一直正常运行，正常输出和记录日志
今天突然没反应了，不创建文件，也不在屏幕输出
查到这个博文才解决
问题原因
logging模块是不支持追加配置的，就是说第一次使用后配置就固定了，后续再通过logging.basicConfig()配置是无法生效的。
举例说明: 先用后配置 这样配置就不生效了
logging.info('{}'.format('先用一下'))
logging.basicConfig(level=logging.INFO, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', filename=name+'_'+str(int(time.time()))+'.log', filemode='w')
logger = logging.getLogger()
kzt = logging.StreamHandler()
kzt.setLevel(logging.INFO)
logger.addHandler(kzt)
logging.info('{}'.format('日志初始化完成'))
- 对抗Cloudflare的包
cloudscraper #目前不管用了
cf_clearance #这个现在可以 嵌在playwright中用还有效
pip install cf_clearance
from cf_clearance import sync_cf_retry, sync_stealth
with sync_playwright() as playwright:
browser = createBrowser(playwright)
con = createContex(browser)
con.set_default_timeout(30000)
page = con.new_page()
url = 'https://url/'
sync_stealth(page, pure=True)
try:
page.goto(url)
except Exception as e:
return ua, ck
res = sync_cf_retry(page)
print('-----------------------new Cookies-------------------------------')
print(con.cookies())
logging.info('new cookies:{}'.format('-----------------------new Cookies-------------------------------'))
logging.info('new cookies:{}'.format(con.cookies()))
if res:
cookies = page.context.cookies()
for cookie in cookies:
if cookie.get('name') == 'cf_clearance':
cf_clearance_value = cookie.get('value')
#print(cf_clearance_value)
ua = page.evaluate('() => {return navigator.userAgent}')
ua = {"user-agent": ua}
ck = {"cf_clearance": cf_clearance_value}
break
#print(ua)
else:
print("cf challenge fail")
logging.info('new cookies:{}'.format("cf challenge fail"))