Selenium获取PhantomJS输出

0 背景

最近在做对网站的自动化测试,最开始使用 Python Requests 进行测试,测试通过,然而页面还是会出现这样那样问题。一方面是因为测试用例还不够详细,另一方面,Requests 是 url 层面或者说 api 层面的测试,并没有完全模拟用户在浏览器中的操作。比如,页面有些元素是 JS 动态生成的,Requests 是无法得到的;或者页面中的 img 或者 script 链接坏了,用 Requests 的话就需要去解析 html 了,这样如果网站对排版做一点点改动就要重写测试用例,非常费时费力。
经过一番搜索,了解到两个神器 Selenium 和 PhantomJS。关于这两个软件,就简单说一下,Selenium 是一个Web浏览器自动化测试框架,而 PhantomJS 是一个基于 Webkit 的无 UI 的浏览器,详细介绍请自行搜索。

1 目的

测试页面中哪些链接是坏的。

2 遇到的问题

Selenium 可以通过 PhantomJS 获取实际显示的页面(JS 动态生成的元素也可以得到),并且可以模拟用户对页面操作,但是上面提到的页面中的链接坏了或者页面的跳转,它也是无法感知的,这些动作其实在 PhantomJS 中都可以得到,但是如果没有做处理,在 Selenium 中是无法直接得到的。

3 解决

在 PhantomJS 中,可以通过许多的句柄来获取页面的动作。比如下面这个脚本可以记录整个页面访问的过程(netlog.js):

"use strict";
var page = require('webpage').create(),
    system = require('system'),
    address;

if (system.args.length === 1) {
  console.log('Usage: netlog.js <some URL>');
  phantom.exit(1);
} else {
  address = system.args[1];

  page.onResourceRequested = function (req) {
    console.log('requested: ' + JSON.stringify(req, undefined, 4));
  };

  page.onResourceReceived = function (res) {
    console.log('received: ' + JSON.stringify(res, undefined, 4));
  };

  page.open(address, function (status) {
    if (status !== 'success') {
      console.log('FAIL to load the address');
    }
    phantom.exit();
  });
}

执行phantomjs netlog.js http://www.baidu.com,可以得到如下类似的输出:

requested: {
    "headers": [
        {
            "name": "Accept",
            "value": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"
        },
        {
            "name": "User-Agent",
            "value": "Mozilla/5.0 (Unknown; Linux x86_64) AppleWebKit/538.1 (KHTML, like Gecko) PhantomJS/2.1.1 Safari/538.1"
        }
    ],
    "id": 1,
    "method": "GET",
    "time": "2017-01-05T03:42:14.125Z",
    "url": "http://www.baidu.com/"
}
received: {
    "body": "",
    "bodySize": 215,
    "contentType": "text/html",
    "headers": [
        {
            "name": "Date",
            "value": "Thu, 05 Jan 2017 03:42:14 GMT"
        },
        {
            "name": "Content-Type",
            "value": "text/html"
        },
        {
            "name": "Content-Length",
            "value": "215"
        },

...

Selenium 正常调用 PhantomJS 的方法如下(Python 语言,下同):

from selenium import webdriver
driver = webdriver.PhantomJS()
driver.get('http://www.baidu.com')
print(driver.get_log('browser'))

其中最后一条语句可以得到页面的 console.log 的输出,同时会生成一个 ghostdriver.log 的文件,其中是 PhantomJS 的日志。
接下来就是如何在 Selenium 中获取 PhantomJS 的输出了。

首先是在 Selenium 中让 PhantomJS 执行它的 API 的 Hack(参考):

driver = webdriver.PhantomJS()
script = "this.onResourceError = function(res) {console.log(JSON.stringify({'url': res.url, 'status': res.status}));};"
driver.command_executor._commands['executePhantomScript'] = ('POST', '/session/$sessionId/phantom/execute')
driver.execute('executePhantomScript', {'script': script, 'args': []})

但是这样通过driver.get_log('browser')是得不到想要的内容的,因为虽然和页面 JS 的 console.log 是同样的名字,然而 PhantomJS API 的 console.log 的输出是在刚才提到的 ghostdriver.log 文件中,当然你也可以每次就读取该文件来获取内容(可以通过 webdriver 的 service_log_path 参数来设置文件名)。笔者觉得这样不够优雅,于是继续……
通过阅读 PhantomJS 的源码,终于在 session.js 找到了一个隐藏的变量 browserLog 来实现这个功能,这个变量其实就是driver.get_log('browser')读取的变量,把你想要的内容藏在这个变量里就好了。

from selenium import webdriver
driver = webdriver.PhantomJS()
script = "var page = this; page.onResourceError = function(res) {page.browserLog.push({'url': res.url, 'status': res.status});};"
driver.command_executor._commands['executePhantomScript'] = ('POST', '/session/$sessionId/phantom/execute')
driver.execute('executePhantomScript', {'script': script, 'args': []})
driver.get('http://www.baidu.com')
print(driver.get_log('browser'))

需要注意的是,1) PhantomJS 脚本中必须执行语句var page = this,然后通过 page 变量来调用 API,否则会失败。

  1. driver.get_log('browser')同样也会得到页面的 console.log 的输出,需要进行过滤。它的输出格式是{"level": level, "message": message, "timestamp": timestamp},可以通过filter(lambda x: 'url' in x, driver.get_log('browser'))语句过滤掉。
  2. 这个方法仅限于 PhantomJS,其他的 WebDriver 还没有测试过。

Mission accomplished.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,829评论 1 331
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,603评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,846评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,600评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,780评论 3 272
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,695评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,136评论 2 293
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,862评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,453评论 0 229
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,942评论 2 233
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,347评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,790评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,293评论 3 221
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,839评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,448评论 0 181
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,564评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,623评论 2 249

推荐阅读更多精彩内容