Python绕过验证码,直接登录爬数据

小编今天准备爬取一个网站的数据,但是被登录的验证码挡住了

小编很不服


于是小编就想着怎么绕过验证码去爬取网站的数据。

学习Python过程中会遇到很多问题,可以到我们的 python学习交流群【七 三 五,九 三 四,八 四 一】,基础,进阶。从企业招聘人才需求 到怎么学习python,和学习什么内容都有免费系统分享。希望可以帮助你快速了解Python,学习python

虽说图形验证码最简单,但是对于我这等新手,还是要苦学一番。首先寻找测试网站,网站选的是如云阁小说网,小网站不怕被封。他们的验证码一般如下:

可以看出有微弱的干扰线和较强的干扰点,验证码是没有边框的,这里为了排版好看,我加上去的...

1.灰度处理   把彩色验证码图片转为灰色的图片。

importcv2

image = cv2.imread('1.jpeg',0)

cv2.imwrite('1.jpg', image)

2. 二值化处理   将图片处理为只有黑白两色的图片,这里发现干扰线没有了,这就意味着我们只需要处理干扰点即可。

importcv2

image = cv2.imread('1.jpeg',0)

ret, image = cv2.threshold(image,100,255,1)

height, width = image.shape

new_image = image[0:height,0:150]

cv2.imwrite('1.jpg', new_image)

3.  降噪处理   去除小黑点,也就是孤立的黑色像素点。

点降噪原理就是检测黑色点相邻的8个点,判断8个点的颜色情况。如果全是白点,那么就认为这个点是白色的,做黑点变白点处理。如⑤点处,以田字格来看,相邻共有8个区域。

①②③点坐标如下图,同理可知④⑤⑥⑦⑧⑨点坐标情况

降噪代码如下:

importcv2

importnumpyasnp

fromPILimportImage

definverse_color(image, col_range):

# 读取图片,0意味着图片变为灰度图

image = cv2.imread(image,0)

# 图片二值化,100为设置阀值,255为最大阀值,1为阀值类型,当前点值大于阀值,设置为0,否则设置为255。ret是return value缩写,代表当前的阀值

ret, image = cv2.threshold(image,110,255,1)

# 图片的高度和宽度

height, width = image.shape

# 图片反色处理,原因:上面的处理只能生成白字黑底的图片,而我们需要的是黑字白底的图片

img2 = image.copy()

foriinrange(height):

forjinrange(width):

img2[i, j] = (255- image[i, j])

img = np.array(img2)

# 对处理后的图片做截取

height, width = img.shape

new_image = img[0:height, col_range[0]:col_range[1]]

cv2.imwrite('handle_one.png', new_image)

image = Image.open('handle_one.png')

returnimage

defclear_noise(img):

# 图片降噪处理

x, y = img.width, img.height

foriinrange(x):

forjinrange(y):

ifsum_9_region(img, i, j) <2:

# 改变像素点颜色,白色

img.putpixel((i, j),255)

img = np.array(img)

cv2.imwrite('handle_two.png', img)

img = Image.open('handle_two.png')

returnimg

defsum_9_region(img, x, y):

"""

田字格

"""

# 获取当前像素点的颜色值

cur_pixel = img.getpixel((x, y))

width = img.width

height = img.height

ifcur_pixel ==255:# 如果当前点为白色区域,则不统计邻域值

return10

ify ==0:# 第一行

ifx ==0:# 左上顶点,4邻域

# 中心点旁边3个点

sum_1 = cur_pixel + img.getpixel((x, y +1)) + img.getpixel((x +1, y)) + img.getpixel((x +1, y +1))

return4- sum_1 /255

elifx == width -1:# 右上顶点

sum_2 = cur_pixel + img.getpixel((x, y +1)) + img.getpixel((x -1, y)) + img.getpixel((x -1, y +1))

return4- sum_2 /255

else:# 最上非顶点,6邻域

sum_3 = img.getpixel((x -1, y)) + img.getpixel((x -1, y +1)) + cur_pixel + img.getpixel((x, y +1)) + img.getpixel((x +1, y)) + img.getpixel((x +1, y +1))

return6- sum_3 /255

elify == height -1:# 最下面一行

ifx ==0:# 左下顶点

# 中心点旁边3个点

sum_4 = cur_pixel + img.getpixel((x +1, y)) + img.getpixel((x +1, y -1)) + img.getpixel((x, y -1))

return4- sum_4 /255

elifx == width -1:# 右下顶点

sum_5 = cur_pixel + img.getpixel((x, y -1)) + img.getpixel((x -1, y)) + img.getpixel((x -1, y -1))

return4- sum_5 /255

else:# 最下非顶点,6邻域

sum_6 = cur_pixel + img.getpixel((x -1, y)) + img.getpixel((x +1, y)) + img.getpixel((x, y -1)) + img.getpixel((x -1, y -1)) + img.getpixel((x +1, y -1))

return6- sum_6 /255

else:# y不在边界

ifx ==0:# 左边非顶点

sum_7 = img.getpixel((x, y -1)) + cur_pixel + img.getpixel((x, y +1)) + img.getpixel((x +1, y -1)) + img.getpixel((x +1, y)) + img.getpixel((x +1, y +1))

return6- sum_7 /255

elifx == width -1:# 右边非顶点

sum_8 = img.getpixel((x, y -1)) + cur_pixel + img.getpixel((x, y +1)) + img.getpixel((x -1, y -1)) + img.getpixel((x -1, y)) + img.getpixel((x -1, y +1))

return6- sum_8 /255

else:# 具备9领域条件的

sum_9 = img.getpixel((x -1, y -1)) + img.getpixel((x -1, y)) + img.getpixel((x -1, y +1)) + img.getpixel((x, y -1)) + cur_pixel + img.getpixel((x, y +1)) + img.getpixel((x +1, y -1)) + img.getpixel((x +1, y)) + img.getpixel((x +1, y +1))

return9- sum_9 /255

defmain():

img ='1.jpeg'

img = inverse_color(img, (0,160))

clear_noise(img)

if__name__ =='__main__':

main()

解决最大的问题后,接下来就是实现自动登陆。首先使用selenium自动点击登陆按钮。

到登陆界面后,利用selenium自动输入用户名,密码,对验证码区域进行截图。而后对验证码截图进行处理,最后成功获取验证码。

这里为什么是截图呢,原因是验证码图片一直在变化。比如说我现在复制这个8863验证码的图片链接,在新的标签页打开,会发现验证码改变了,不是8863,而是另外一张验证码图片。那么我们通过获取当前页面的验证码链接,从而来获取验证码图片,这种方法肯定是不可行的。

通过查阅相关资料,知道了带cookies访问验证码链接页面,能够成功解决这个问题。不过由于相关的库没导入成功,也就放弃了。等下回做验证码机器学习的时候,再给予解决。

登陆成功

自动登陆代码如下:

importre

importcv2

importtime

importnumpyasnp

importpytesseract

fromPILimportImage

fromseleniumimportwebdriver

fromselenium.webdriver.common.byimportBy

fromselenium.webdriver.support.uiimportWebDriverWait

fromselenium.webdriver.supportimportexpected_conditionsasEC

USER ='你的用户名'

PASSWORD ='你的密码'

browser = webdriver.Chrome()

wait = WebDriverWait(browser,20)

definverse_color(image, col_range):...

defclear_noise(img):...

defsum_9_region(img, x, y):...

defauto_login():

"""

实现网页自动登陆

"""

url ='http://www.quanben9.com/'

browser.get(url)

# 查找登陆按钮并点击

button = browser.find_element_by_css_selector('#top1 > div > a:nth-child(3)')

button.click()

# 查找用户名输入框并输入用户名

input_first = browser.find_element_by_name('username')

input_first.send_keys(USER)

# 查找密码输入框并输入密码

input_second = browser.find_element_by_name('password')

input_second.send_keys(PASSWORD)

# 获取浏览器截图后,手动定位验证码位置,获得验证码截图

browser.save_screenshot('Login_page.png')

photo = Image.open('login_page.png')

box = (1210,710,1360,755)

photo.crop(box).save('Verification.png')

# 对验证码进行灰度,二值化处理,而后降噪处理

handle_verification_code('Verification.png')

# 对处理后的验证码图片进行识别

image = Image.open('handle_two.png')

image.show()

result = pytesseract.image_to_string(image)

# 毕竟提供的库识别能力有限,不一定能完整得到结果,需要对结果进行筛选

result = re.sub('[a-zA-Z’!"#$%&'()*+,-./:;<=>?@,。?★、…【】《》?“”‘’![\]^_`{|}~]+','', result.replace(' ',''), re.S)

print(result)

# 判断识别是否成功

iflen(result) ==4:

# 获得验证码输入框并输入验证码信息

input_third = browser.find_element_by_name('code')

input_third.send_keys(result)

time.sleep(2)

# 获得登陆按钮并点击

button_2 = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'body > div.main > div > form > ul > li:nth-child(5) > input[type="submit"]')))

button_2.click()

time.sleep(5)

else:

returnauto_login()

defhandle_verification_code(img):

img = inverse_color(img, (0,160))

img = clear_noise(img)

returnimg

defmain():

auto_login()

if__name__ =='__main__':

main()

# 结束程序

exit()

这里用会声会影给视频加了个BGM,不过结尾的时候不是很搭,水平有限呐!还是得好好多学习。

推荐阅读更多精彩内容

  • 王诗龄 天生丽质,聪明伶俐 出身豪门,物质富裕 名嘴李湘,爱女如玉 名导岳伦,为女储蓄 名画爷爷,撰画立书 公主诗...
    旖旎i阅读 1,066评论 11 28
  • 一如年少模样 昨日担当 昨日敢想 昨日转眼 就跌撞 夏时梦长 秋时昼短 清冽途上 不远望 薄情于痴 贪小于妄 市井...
    bingo_阅读 565评论 5 14
  • 古语说:质胜文则野,文胜质则史,文质彬彬,然后君子。意思就是说,单纯注重内容或者注重形式是有偏颇的,最佳形式是内容...
    mylkevin阅读 270评论 0 0