[突变测试] 一种新的测试方法论

突变操作

突变测试通过灵活可配置的突变操作集来从你的代码中编译产生新的代码。

例如CONDITIONALS_BOUNDARY_MUTATOR 改变条件边界突变会从源代码中生成下面的语句。

if ( i >= 0 ) {
    return "foo";
} else {
    return "bar";
}

与其对应的语句是

if ( i > 0 ) {
    return "foo";
} else {
    return "bar";
}

PIT定义了各式各样从源代码中突变的方法,包括移除方法调用、反置逻辑条件、更改返回值等等。

PIT的运行需要编译器在字节码中提供以下调试信息:

  • 代码行号
  • 源代码文件名

绝大部分构建系统,如 maven 默认就提供了这些信息。

突变

PIT通过应用突变操作符将生成许多(可能是非常大的数量)突变体。每一个突变Java类包含一个突变(或错误),使它们的行为不同于未突变的类。

PIT将这些突变后的类执行你的单元测试,如果突变可以被杀死(突变后不满足测试用例),则证明本次测试是有效的。

等价突变

通过改变代码条件来改变执行逻辑并非那么简单,某些情况下的突变完全等价于未突变之前的逻辑。

等价突变产生的原因有两点:

突变的结果恰好与突变前的行为完全一致。

例如,下面两份代码是逻辑完全等价的:

int i = 2;
if ( i >= 1 ) {
    return "foo";
}

//...
int i = 2;
if ( i > 1 ) {
    return "foo";
}

突变前后虽然有了不同的行为,但是测试用例并没有覆盖到突变产生的非正常结果。

另一个比较常见的等价突变的示例是DEBUG或者日志,PIT排除了common logging等日志组件的突变生成,也可以通过配置来过滤日志组件。

测试执行

PIT会根据修改后的代码自动运行单元测试。在运行测试之前,PIT对测试执行传统的行覆盖率分析,然后使用这些数据和测试的时间来选择一组测试用例,这些测试用例的目标是修改后的代码。然后使用这些及测试之后的数据来选择测试用例执行一组突变代码。

这种执行机制也是PIT的执行速度远快于其它类似的突变测试系统的原因(如Jester 、 Jumble),这也是PIT能够将测试提升到全部代码,而不是仅仅测试单个类的技术实现。

突变测试报告的输出结果集解释如下:

  • Killed : 突变被杀死,代表突变的代码不满足测试用例
  • Lived : 突变存活,意味着等价突变或者突变改变的逻辑,但是仍符合测试用例,此时的代码可能是有问题的!
  • No coverage 代码没有被覆盖到,和存活一样,这个测试可能也是有问题的。
  • Non viable : 不可行的突变是JVM无法加载的,因为字节码在某种程度上是无效的。PIT试图将它所产生的不可存活突变的数量降到最低。
  • Timed Out : 如果突变导致无限循环,例如从for循环中的计数器中删除增量,则可能超时。
  • Memory error : 内存错误可能由于增加系统使用的内存数量的突变而发生,也可能是在出现突变时重复运行测试所需的额外内存开销的结果。如果您看到大量内存错误,请考虑为测试配置更多的堆和permgen空间。
  • Run error : 运行错误意味着在尝试测试突变时出错了。某些类型的不可存活突变目前可能导致运行错误。如果您看到大量的运行错误,这可能是出错的迹象。

在正常情况下,您应该不会看到任何不可行的突变或运行错误。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,835评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,598评论 1 295
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,569评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,159评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,533评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,710评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,923评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,674评论 0 203
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,421评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,622评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,115评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,428评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,114评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,097评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,875评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,753评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,649评论 2 271

推荐阅读更多精彩内容