Jmeter的测试报告

简介

自从JMeter3.0引入的新特性：Dashboard Report，图形化的HTML格式多维度测试报告。

新特性为这两个问题带来了较好的解决办法：

新特性良好的实现了结果数据可视化，生成的报告是HTML页面形式，并且包含大多数实际测试中关心的度量维度的，可以便捷地嵌入到平台，从浏览器来查看每次测试运行的。
只要保留生成的HTML页面，后期要查看该次测试的结果，只需要在浏览器打开即可，方便快捷。

JMeter3.0提供一个用于生成HTML页面格式图形化报告的扩展模块。该模块支持通过两种方式生成多维度图形化测试报告：

在JMeter性能测试结束时，自动生成本次测试的HTML图形化报告
使用一个已有的结果文件(如CSV文件)来生成该次结果的HTML图形化报告

其默认提供的度量维度包括：

APDEX(Application Performance Index)指数

聚合报告类似于UI上的*Aggregate Report

Errors报告展示不同错误类型的数量以及百分比

响应时间变化曲线展示每秒数据吞吐量随时间变化的情况类似于JMeter Plugins在UI上的*jp@gc - Bytes Throughput Over Time*

Latency time变化曲线展示Latency time随时间变化的情况类似于JMeter Plugins在UI上的*jp@gc - Response Latencies Over Time*

每秒点击数曲线类似于JMeter Plugins在UI上的*jp@gc - Hits per Second*

HTTP状态码时间分布曲线展示响应状态码随时间的分布情况类似于JMeter Plugins在UI上的*jp@gc - Response Codes per Second*

事务吞吐量时间曲线(TPS)展示每秒处理的事务数随时间变化情况类似于JMeter Plugins在UI上的*jp@gc - Transactions per Second*

平均响应时间与每秒请求数的关系图展示平均响应时间与每秒请求数(可以理解为QPS)的关系

Latency time与每秒请求数的关系图展示Latency time与每秒请求数的关系

响应时间百分位图响应时间的百分位分布图

活动线程数变化曲线展示测试过程中活动线程数随时间变化情况

平均响应时间与线程数的关系图展示平均响应时间与线程数的关系类似于JMeter Plugins在UI上的*jp@gc - Response Times vs Threads*

柱状响应时间分布图展示落在各个平均响应时间区间的请求数情况

image.png

测试报告生成

在测试的过程中将 jtl 转换成测试报告

- 基本命令格式：

jmeter -n -t <test JMX file> -l <test log file> -e -o <Path to output folder>

- 样例：

jmeter -n -t test_request.jmx -l test_result.jtl -e -o /home/csmijo/resultReport

参数说明：
　　-n : 非GUI 模式执行JMeter
　　-t : 执行测试文件所在的位置及文件名
　　-r : 远程将所有agent启动用在分布式测试场景下，不是分布式测试只是单点就不需要-r
　　-l : 指定生成测试结果的保存文件， jtl 文件格式
　　-e : 测试结束后，生成测试报告
　　-o : 指定测试报告的存放位置
　　(ps:-o 指定的文件及文件夹，必须不存在，否则执行会失败，对应上面的命令就是 resultReport 文件夹必须存在否则报错；如果存在，则文件夹必须为空；)
-H 代理主机 -> 设置 JMeter 使用的代理主机
-P 代理端口 -> 设置 JMeter 使用的代理主机的端口号

使用之前的测试结果，生成测试报告

- 基本命令格式：

jmeter -g <log file> -o <Path to output folder>

- 样例：

jmeter -g log.jtl -e -o resultReport

参数说明：
　　-g : 指定已存在的测试结果文件
　　-e : 测试结果后，生成测试报告
　　-o : 指定测试报告的存放位置
　　ps:-o 指定的文件及文件夹，必须不存在，否则执行会失败
　　效果如上图

自定义配置

总体配置

reportgenerator.properties文件保存了所有关于图形化HTML报告生成模块的默认配置，要变更配置，建议不要直接编辑该文件，而是推荐在user.properties中去配置和覆盖

总体配置都是以jmeter.reportgenerator.为前缀，为前缀，如：jmeter.reportgenerator.overall_granularity=60000

overall_granularity：定义采样点粒度，默认为60000ms(1分钟)，通常在稳定性以外的测试中，我们可能需要定义更细的粒度，比如1000ms，我们可以在user.properties文件末尾添加如下配置：

# Change this parameter if you want to change the granularity of over time graphs.
jmeter.reportgenerator.overall_granularity=6000

report_title:定义报告的标题，我们可能需要将标题定义为实际测试项名称
apdex_satisfied_threshold：定义Apdex评估中满意的阈值(单位ms)
apdex_tolerated_threshold: 定义Apdex评估中可容忍的阈值
Apdext = (Satisfied Count + Tolerating Count / 2) / Total Samples

另外，在jmeter.properties中，有关于集合报告中的三个百分位的默认值：

aggregate_rpt_pct1 : Defaults to 90
aggregate_rpt_pct2 : Defaults to 95
aggregate_rpt_pct3 : Defaults to 99

图表配置

每个图表配置都是以jmeter.reportgenerator.graph.<图表名称>.为前缀。

classname 图表的实现类，如果有自己定制的实现，将该配置的值写为自定义实现类的类名
property.set_granularity 设置图标的采样点粒度，不配置时默认使用总体配置中的粒度设置

输出配置

输出配置都以jmeter.reportgenerator.exporter为前缀。

roperty.output_dir配置默认的报告输出路径。在命令行可以用-o选项来设置特定的路径覆盖该配置。
html.series_filter 用于过滤展示内容。如在user.properties添加如下配置：
jmeter.reportgenerator.exporter.html.series_filter=(^Login)(-success|-failure)?
则最后的报告只展示名为Login这个取样器的数据。该配置包含两部分，(-success|-failure)?是Transactions per second图表所依赖的配置。前面部分接受一个正则表达式用来过滤。

报告定制

JMeter的HTML报告生成时是使用了固定的模板，模板文件路径为./bin/report-template
进入该目录可以看到报告的每个页面都有一个.fmkr模板文件，包括index.html.fmkr和./content/pages路径下的几个文件。通过查看这些模板文件，就可以知道怎样去进行报告的轻度定制，比如将一些文本修改得更易懂，或者修改为中文等

页面的title
默认为"Apache JMeter Dashboard"
可以由reportgenerator.properties中的jmeter.reportgenerator.report_title来统一定义，这种方式就是所有页面的title都使用同一个。
也可以直接修改对应的.fmkr文件中的title标签中双引号内的值，如<title>${reportTitle!"想要设置的title"}</title>，这中方式可以为每个页面单独定义title

图表的名称
当前版本下，各图表的名称是直接在模板文件中定义，要修改也是直接修改模板文件中对应元素的值即可
如要修改Transactions Per Second图表的名称，可以直接在./content/pages/Throughput.html.fmkr文件中修改，效果如下图