TestNG測試用例重跑詳解及實踐優化

• 2020 年 5 月 6 日
• 筆記
• 性能測試, 介面測試, 自動化測試

測試用例運行穩定性是自動化品質的一個重要指標，在運行中需要儘可能的剔除非bug造成的測試用例執行失敗，對於失敗用例進行重跑是常用策略之一。一種重跑策略是所有用例運行結束後對失敗用例重跑，另一種重跑策略是在運行時監控用例運行狀態，失敗後實時重跑。

下面，詳細介紹TestNG如何對失敗測試用例實時重跑並解決重跑過程中所遇到問題的實踐和解決方案。對失敗測試用例進行實時重跑，有以下幾個方面需求：

1. 測試用例運行失敗，監聽到失敗後立即進行重跑
2. 測試用例通過dependsOnMethods/dependsOnGroups標記依賴其他測試用例，在被依賴的測試用例重跑運行成功後，該測試用例可以繼續運行
3. 對於重跑多次的測試用例，只記錄最後一次運行成功或失敗結果

第一部分 測試用例重跑

1.1 retryAnalyzer註解方式

對於希望測試用例中的少量易失敗，不穩定的測試用例進行重跑，可採用這種方式。

1.1.1 原理

以下是TestNG處理測試用例運行結果的部分程式碼。

IRetryAnalyzer retryAnalyzer = testMethod.getRetryAnalyzer();
boolean willRetry = retryAnalyzer != null && status == ITestResult.FAILURE && failure.instances != null && retryAnalyzer.retry(testResult);
if (willRetry) {
  resultsToRetry.add(testResult);
  failure.count++;
  failure.instances.add(testResult.getInstance());
  testResult.setStatus(ITestResult.SKIP);
} else {
  testResult.setStatus(status);
  if (status == ITestResult.FAILURE && !handled) {
    handleException(ite, testMethod, testResult, failure.count++);
  }

分析以上程式碼，其中，介面IretryAnalyzer的方法retry（）的返回值作為是否對失敗測試用例進行重跑的一個條件。如果retry()結果為true，則該失敗測試用例會重跑，同時將本次失敗結果修改為Skip;如果結果為false，則失敗的測試用例保持失敗結果，運行結束。因此，如果你希望失敗測試用例重跑的話，需要把IretryAnalyzer的retry（）方法重寫，插入自己定義的邏輯，設置返回值為true。

1.1.2 程式碼

創建類RetryImpl，重寫retry()方法，設置失敗測試用例的重跑次數，程式碼如下，：

public class RetryImpl implements IRetryAnalyzer {
    private int count = 1;
    private int max_count = 3;   // Failed test cases could be run 3 times at most
    @Override
    public boolean retry(ITestResult result) {
        System.out.println("Test case ："+result.getName()+"，retry time: "+count+"");
        if (count < max_count) {
            count++;
            return true;
        }
        return false;
    }
}

1.1.3 實例

public class TestNGReRunDemo {
    @Test(retryAnalyzer=RetryImpl.class)    
    public void test01(){
        Assert.assertEquals("success","fail");
        System.out.println("test01");
    }
}

以上測試用例test01可重複運行3次。

1.2 實現介面IAnnotationTransformer方法

如果希望所有失敗的測試用例都進行重跑，採用retryAnalyzer註解方式對每個測試用例進行註解就比較麻煩。通過實現IAnnotationTransformer介面的方式，可以對全量測試用例的重試類進行設置。
該介面是一個監聽器介面，用來修改TestNG註解。IAnnotationTransformer監聽器介面只有一個方法：transform(ITestAnnotation annotation, Class testClass, Constructor testConstructor, Method testMethod). 上文中，我們自定義了類RetryImpl 實現介面IRetryAnalyzer。TestNG通過transfrom()方法修改retryAnalyzer註解。以下程式碼對retryAnalyzer註解進行修改設置。

1.2.1程式碼

創建類RetryListener，程式碼如下。

public class RetryListener implements IAnnotationTransformer {

    public void transform(ITestAnnotation annotation, Class testClass, Constructor testConstructor, Method testMethod) {

        IRetryAnalyzer retry = annotation.getRetryAnalyzer();
        if (retry == null) {
            annotation.setRetryAnalyzer(RetryImpl.class);  
        }
    }
}

1.2.2 配置Listener

TestNG可以在配置文件或者測試類中對Listener類進行配置。

• 方法一:在TestNG的配置XML中進行以下配置

<listeners>
    <listener class-name="PackageName.RetryListener"></listener>
</listeners>

• 方法二：在測試類中通過@Listeners配置

@Listeners({RetryListener.class})   
public class TestNGReRunDemo {
    @Test
    public void test01(){
        Assert.assertEquals("success","fail");
        System.out.println("test01");
    }
}

配置完成後，運行測試用例test01，運行結果顯示test01將重跑次數3次。

第二部分 被依賴的測試用例重跑結果處理

進一步分析TestNG的運行程式碼，其在對失敗運行用例重跑時，邏輯如下圖。

對於通過dependsOnMethods 或dependsOnGroups註解依賴於其他測試用例的測試用例來講，測試用例執行分為兩種情況：

• alwaysRun=true，則無論所依賴的測試用例執行情況如何，該測試用例都會執行，即所依賴的測試用例重跑不會影響該測試用例的執行。
• alwaysRun=false,或者保持預設值（false），依賴於其他測試用例或測試用例組的測試結果，在運行時TestNG獲取所依賴的測試用例的運行結果，檢查依賴的測試用例是否全部執行成功，如果不全部成功，則把該測試用例結果設置為Skipped。

2.1 場景分析：場景一

被依賴的測試用例失敗後進行了重跑，並重跑成功。（註：在RetryImpl類中，已設置最大重跑次數max_count = 3）

public static int number =0;

@Test
public void test01(){
number++;
System.out.println(String.valueOf(number));
Assert.assertEquals(number,2);
    System.out.println("test01");
}

@Test(dependsOnMethods = "test01")    // alwaysRun = false by default
public void test02(){
    System.out.println("test02 is running only if test01 is passed.");
}

1、TestNG測試報告

2、問題

• 測試報告：test01運行結果全部被記錄，而用例重跑，只希望記錄最後的結果。

• 運行情況：測試用例test02依賴於測試用例test01運行結果，在test01重跑成功後，測試用例test02沒有執行，不符合需求預期。

2.2 場景分析：場景二

被依賴的測試用例失敗後進行了重跑，並且重跑沒有成功。（註：在RetryImpl類中，已設置最大重跑次數max_count = 3）

public static int number =0;
@Test
public void test01(){
number++;
System.out.println(String.valueOf(number));
Assert.assertEquals(number,10);     
    System.out.println("test01");
}

@Test(dependsOnMethods = "test01")    // alwaysRun = false by default
public void test02(){
    System.out.println("test02 is running only if test01 is passed.");
}

1、TestNG測試報告

2、問題

• 運行情況：測試用例test02依賴於測試用例test01運行結果，在test01重跑失敗後，測試用例test02沒有執行，這種情況符合需求預期。
• 測試報告：同場景一，test01重跑失敗，運行結果全部被記錄，而用例重跑，只希望記錄最後的結果。

第三部分 優化解決方案

以下方案解決重跑測試用例成功後後繼測試用例無法繼續運行的問題，並對測試報告進行優化。

3.1 TestListenerAdapter方法重寫

根據上面分析的TestNG邏輯，在對依賴測試用例的結果進行檢查時，如果忽略重跑的中間結果只檢查最後一次的運行結果，可以達到需求的目的。對於測試報告，同樣的處理方式，忽略所有中間的測試用例運行結果，只記錄最後結果。
測試用例的中間運行結果為Skipped，下面的程式碼通過重寫TestListenerAdapter的onTestSuccess（）和onTestFailure（）方法，對測試用例的中間結果skipped進行了刪除。程式碼如下：

public class ResultListener extends TestListenerAdapter {
    @Override
    public void onTestFailure(ITestResult tr) {
        if(tr.getMethod().getCurrentInvocationCount()==1)
        {
            super.onTestFailure(tr);
            return;
        }

        processSkipResult(tr);
        super.onTestFailure(tr);
    }
    @Override
    public void onTestSuccess(ITestResult tr) {
       if(tr.getMethod().getCurrentInvocationCount()==1)
        {
            super.onTestSuccess(tr);
            return;
        }
        processSkipResult(tr);
        super.onTestSuccess(tr);
    }
   // Remove all the dup Skipped results
    public void processSkipResult(ITestResult tr)
    {
        ITestContext iTestContext = tr.getTestContext();
        Iterator<ITestResult> processResults = iTestContext.getSkippedTests().getAllResults().iterator();
        while (processResults.hasNext()) {
            ITestResult skippedTest = (ITestResult) processResults.next();
            if (skippedTest.getMethod().getMethodName().equalsIgnoreCase(tr.getMethod().getMethodName()) ) {
                processResults.remove();
            }
        }
    }
}

3.2 配置結果處理Listener類

在配置文件進行全局設置或者在測試類中標記。

• 方法一:在TestNG的配置XML中進行以下配置

<listeners>
    <listener class-name="PackageName.ResultListener"></listener>
</listeners>

• 方法二：在測試類中通過@Listeners配置

@Listeners({ResultListener.class})   
public class TestNGReRunDemo {
    @Test
    public void test01(){
        Assert.assertEquals("success","fail");
        System.out.println("test01");
    }
}

3.3 場景一

1、 結果驗證

2、結果分析：

3.4 場景二

1、結果驗證

2、結果分析：

作者：耿燕飛