β

如何利用TestNG监听器优化测试报告

有赞技术团队 125 阅读
如何利用TestNG监听器优化测试报告

今年四月底我花了一天时间简单搭建了php接口测试工程,maven + TestNG + jenkins,从0开始到现在510个用例(持续增长中),逐渐开始提高了测试回归效率并发现一些线上bug,这期间遇到过不少问题,这次先分享下如何利用TestNG监听器优化测试报告。

一、给工程添加失败重试机制

接口用例量上来以后,我们遇到的第一个问题就是http方式调用php接口会有部分接口偶尔不稳定或者超时的情况,但第二次运行又正常,每次接口失败都需要花费时间排查,但实际没有问题,为了排除不稳定带来的干扰,节约排查维护时间,首先需要做的是给工程添加失败自动重试机制。
目前我的做法是实现了TestNG自带的IRetryAnalyzer接口,定义了一个MAX _ RETRY_COUNT,即最大重试次数,实现的retry方法非常简单,如下:

public boolean retry(ITestResult result) {  
    if (retryCount < MAX_RETRY_COUNT) {
        retryCount++;
        return true;
    }
    return false;
}

如果团队有人想要使用失败重试的功能也很简单,只需要在Annotation里面加上retryAnalyzer属性即可,如下:

@Test(retryAnalyzer = TestRetry.class)
public void summaryTest(){  
  String url = urlList.get(0);
  JSONObject map = ResponseJsonBase.manageJson(url, "");
  String total = map.getString("total");
  assert "7.59".equals(total) : url;
}

这种方式带来的好处是有比较大的自由度,可以自由选择某个用例是否需要失败重试的功能,因为部分接口重试第二次是不允许的,比如有频率限制的接口等。 但是加了失败重试机制以后,我们会发现接口测试报告有问题:一是被失败重试的用例被重复输出了,二是即使失败重试后通过的情况,依然会有邮件“骚扰”,还是需要花费很多时间看接口问题。
有问题的接口测试报告如下: 如何利用TestNG监听器优化测试报告

二、通过定义一个监听器优化测试报告

根据遇到的问题,首先我们需要优化一下测试报告,从而避免给大家带来太多干扰。 我的做法是定义了一个TestNG的监听器来处理失败重试的用例。具体实现是通过继承TestListenerAdapter类,覆盖onTestFailure、 onStart、 onFinish方法,贴一下主要的代码段:

@Override
public void onTestFailure(ITestResult tr) {  
  if (tr.getMethod().getRetryAnalyzer() == null) {
  log(tr.getMethod() + "--Test method failed\n");
  }

  if (tr.getMethod().getRetryAnalyzer() != null) {
  TestRetry testRetry = (TestRetry)       tr.getMethod().getRetryAnalyzer();
  if (testRetry.getRetryCount() < testRetry.getMaxRetryCount()) {
    tr.setStatus(ITestResult.SKIP);
    Reporter.setCurrentTestResult(null);
    isRemoveSkipNeeded = true;
    skippedCases.addResult(tr, tr.getMethod());
  } 
  else {
    failedCases.addResult(tr, tr.getMethod());
    isRetryNeeded = true;
  }
 }
}

其实上面代码里面就是统一对失败的用例做处理,每次失败都会去判断是否已经达到最大失败次数,如果没有,会将该用例状态设置为skip,到这里为止,看我们的测试报告,大概长这样: 如何利用TestNG监听器优化测试报告

可以看到,依然有很明显的问题,所以第二步要做的事情是:失败的用例列表去重,以及在Skipped的Test Case里面剔除真正Failed的Test Case。 其实测试报告的主要数据获取是下面几个:

getFailedConfigurations()  
getSkippedConfigurations()  
getFailedTests()  
getSkippedTests()  

做对应优化就很简单了,贴下我这边failed Cases去重的代码段,可以举一反三写其他几个:

private void removeFailedTestsInTestNG(ITestContext test) {  
  IResultMap returnValue = test.getFailedTests();
  for (ITestResult resultToCheck : failedCases.getAllResults()) {
  int c = 0;
  for (ITestResult result : returnValue.getAllResults()) {
    if (result.getMethod().equals(resultToCheck.getMethod())) {
      c++;
      if (c > 1) {
        returnValue.removeResult(result.getMethod());
        test.getFailedConfigurations().removeResult(
        result.getMethod());
        }
      }
    }
  }
}

然后就是在每个testSuit运行结束的时候,统一处理:

@Override
public void onFinish(final ITestContext testContext) {  
  if(isRetryNeeded){
  removeIncorrectlySkippedTests(testContext,failedCases);
  removeFailedTestsInTestNG(testContext);
}
else{  
  if(isRemoveSkipNeeded)
    removeSkippedTestsInTestNG(testContext);
  else{
    skippedCases= testContext.getSkippedTests();
    failedCases= testContext.getFailedTests();
    }
  }
}

将该监听器配置到testng.xml内或者pom.xml内就可以生效了。
自此为止,看下我们的测试报告已经是我们想要的样子了: 如何利用TestNG监听器优化测试报告

最后就是CI的配置,我用了扩展邮件插件,实现了一个相对直观的邮件模版,只对Fail和Fixed的情况进行提醒(见下图右),对于skipped的用例,虽然不再有邮件“骚扰”,但依然可以在jenkins里面查看(见下图左): 如何利用TestNG监听器优化测试报告

三、后续的优化空间

上周,我在工程里面加了日志模块,会记录skip的和返回时间超过1秒的用例,设想是运行一段时间后,对这部分用例进行统计,看是否接口本身存在优化空间。这部分工作后续计划优化为自动完成、自动出图表,要看时间是否充足了。

作者:有赞技术团队
Thoughts, stories and ideas.
原文地址:如何利用TestNG监听器优化测试报告, 感谢原作者分享。

发表评论