jmeter 性能测试用 csv,这个坑有些扯蛋

本贴最后更新于 228 天前,其中的信息可能已经时异事殊

很多人在使用jmeter做接口测试、自动化测试和性能测试时,都喜欢用CSV数据文件设置功能,来读取准备好的测试数据。虽然这种方法并不是最优方案,在我们的性能测试课程中,讲解了更优的方案,但是,没有上过我们的课的测试人员,还是很普遍的使用csv方式。

今天,就来给大家讲一个用csv准备测试数据的一个巨坑和解决办法。

jmeter做测试,要想读取准备好的测试数据文件,如果你只想到csv这一种方法,那就用‘CSV Data Set Config’这个元件,千万不要去用csvRead函数,用这个函数,你被坑死了,请别说我没提醒你。

但是,使用‘CSV Data Set Config’这个元件,每次只能从第1行数据开始读取,或忽略首行从第2行开始,没有办法从不定行开始。

20220415155157.png

每次从第1行开始取值,在日常低并发的性能测试中,是没有任何问题的,因为此时你只需要运行一个jmeter就可以, 但是,如果你想做高并发的性能测试,需要有多个jmeter同时运行,构成分布式来向服务器发起请求,这时候就有问题了。

因为,采用分布式,在多台机器上同时运行jmeter,每台机器都会从第1行开始读取你准备的测试文件,那么,就会出现同时多个线程使用同一个测试数据向服务器发起请求,这很可能导致你们的被测试服务出现各种异常。

你是不是曾经出现使用分布式进行性能测试,出现很多4xx系列错误,而单机执行性能测试却没有;你是不是曾经出现,分布式时错误率升高,而单机时,同并发数,错误率要低很多;你是不是曾经出现,分布式请求,服务端日志,有大量锁冲突?

这些问题,如果你脚本中使用了‘CSV Data Set Config’,那么这些错误,很可能就是因为这个元件每次读数据只能从第1行开始读取的原因造成的。

这个坑,我曾经也遇到了,而且一度让我痛苦了几天,不过,后来我找到4种解决办法,今天,我就来给大家讲一种技术难度最低的方法。

打开jmeter的插件管理,在 ‘available plugins’中搜索‘csv’,勾选一个叫 ‘Random CSV Data Set’的插件,点击右下角的‘Apply Changes and Restart JMeter’下载安装这个插件。待下载成功自动重启之后,在jmeter的配置元件中,我们将找到‘bzm - Random CSV Data Set Config’元件

20220415162318.png

你可以点击下面的‘Test CSV Reading’来看下数据的顺序,你会发现,每次取的数据顺序都是不一样的。这样,就很好解决了分布式时取数相同的问题了。方法非常简单。

接下来,我们来对比看下这个元件的性能。

首先添加 ‘CSV Data Set Config’元件,读取一份大于10000行的数据文件,定义一个变量接收,然后,用一个调试取样器,应用这个变量, 设在1000的并发用户,持续运行120s,保存脚本,采用CLI模式运行,查看运行时资源使用情况。

20220415164646.png

20220415164548.png

从监控到数据看,1000的并发,120秒中内,总共执行了59830295次请求,平均每秒498141.6次/s,我本机cpu使用率上升到约48.3%,内存使用率约为26.8%。

现在,把元件换成 ‘bzm - Random CSV Data Set Config’,其他都不变了。采用CLI模式来运行,查看监控数据。

20220415165600.png

20220415165440.png

从监控到数据看,1000的并发,120秒中内,总共执行了20860718次请求,平均每秒172912.8次/s,我本机cpu使用率上升到约66.5%,内存使用率约为26.7%。

从两个元件的测试结果来看,官方的 CSV Data Set Config 性能要优于 bzm - Random CSV Data Set Config,实际工作中,你可以根据你的实际情况来选择。

回帖
请输入回帖内容 ...