Testng: 슈퍼 클래스의 @Test 메소드는 모든 서브 클래스에 대해 다시 실행됩니다.

에 만든 2019년 06월 10일 · 12코멘트 · 출처: cbeust/testng

TestNG 버전 6.14.3

예상되는 행동

상위 클래스의 @Test 메소드는 상위 클래스를 상속하는 하위 클래스의 수에 관계없이 한 번만 실행됩니다.

실제 행동

@Test 메서드는 각 하위 클래스와 함께 실행됩니다.

러너에서 문제를 재현할 수 있습니까?

[ ] 껍데기
[ ] 메이븐
[x] 그래들
[ ] 개미
[ ] 이클립스
[ ] 인텔리제이
[ ] 넷빈

테스트 케이스 샘플

public class BaseTest  extends SetupClass{
    @BeforeClass...
    @BeforeMethod...
    @AfterClass...
    @AfterMethod....

    <strong i="22">@Test</strong>
    public void baseMethod(){
        System.out.println("base method");
    }
}

public class Test1 extends BaseTest{
    <strong i="25">@Test</strong>
    public void test1(){
        System.out.println("test1");
    }
}

public class Test2 extends BaseTest{
    <strong i="28">@Test</strong>
    public void test2(){
        System.out.println("test2");
    }
}

다음과 같은 TestNG xml 파일에서 이러한 테스트를 병렬로 실행하고 있습니다.

<suite name="Regression Suite" verbose="1" parallel="classes" thread-count="4">
    <parameter name="project" value="TestPrj"/>
    <parameter name="server" value="QA01"/>
    <test name="QA01 TestPrj">
        <parameter name="environment" value="macos"/>
        <groups>
            <run>
                <include name="regression"/>
            </run>
        </groups>
        <packages>
            <package name="test"/>
        </packages>
    </test>
</suite>

추신 github 문제에서 코드를 편집하는 것은 매우 나쁩니다... 다른 것으로 이동하십시오.

inheritance

출처

vlad230

모든 12 댓글

@vlad230

추신 github 문제에서 코드를 편집하는 것은 매우 나쁩니다... 다른 것으로 이동하십시오.

Markdown에 익숙해지는 데 시간을 할애할 수 있습니다. 이렇게 하면 서식 지정과 함께 코드 조각을 매우 쉽게 추가할 수 있습니다.

여기에서 귀하의 문제를 이해하고 있는지 잘 모르겠습니다. 궁극적으로 자식 클래스는 기본 클래스 메서드도 가져옵니다. 그리고 TestNG 주석으로 주석이 달린 경우 모든 하위 클래스에 대해 실행됩니다. 이것이 TestNG의 동작입니다. 따라서 TestNG가 설계된 대로 작동하고 있다고 말하고 싶습니다.

@juherr - 당신의 생각은?

krmahadevan 에 2019년 06월 10일

@krmahadevan 포맷

여기에서 귀하의 문제를 이해하고 있는지 잘 모르겠습니다. 궁극적으로 자식 클래스는 기본 클래스 메서드도 가져옵니다. 그리고 TestNG 주석으로 주석이 달린 경우 모든 하위 클래스에 대해 실행됩니다. 이것이 TestNG의 동작입니다. 따라서 TestNG가 설계된 대로 작동하고 있다고 말하고 싶습니다.

당신이 나에게 묻는다면, 슈퍼 클래스에서 테스트를 여러 번 실행하는 것은 의미가 없습니다.
이것이 지금 TestNG의 예상되는 동작이라면 개선으로 추가할 수 있습니다.

vlad230 에 2019년 06월 10일

설계된 대로 작동합니다.
자체 클래스에서 baseMethod 테스트를 이동하지 않는 이유는 무엇입니까?

juherr 에 2019년 06월 10일

👍1

@vlad230

당신이 나에게 묻는다면, 슈퍼 클래스에서 테스트를 여러 번 실행하는 것은 의미가 없습니다.

정확히 무엇을 달성하려고 합니까? 시나리오를 자세히 설명하거나 설명하는 데 도움이 된다면 좋을 것입니다.

이것이 지금 TestNG의 예상되는 동작이라면 개선으로 추가할 수 있습니다.

반 직관적이기 때문에 개선 사항으로 받아들여질지 확신이 서지 않습니다. 기본 클래스 메서드가 얼마나 많은 자식 클래스가 있는지에 관계없이 기본적으로 정확히 한 번만 실행되기를 원한다면 다음을 수행하여 오늘 테스트 프로젝트에서 수행할 수 있습니다.

기본 클래스에서 org.testng.IHookable 구현
run() 메서드 내에서 기본 클래스 메서드가 이미 실행되었는지 확인하고 실행되지 않은 경우 실행하는 편집 검사를 추가합니다.

여기 샘플이 있습니다

기본 클래스 메서드가 한 번만 실행되어야 함을 나타내는 마커 인터페이스

import static java.lang.annotation.ElementType.METHOD;
import static java.lang.annotation.ElementType.TYPE;

import java.lang.annotation.Retention;
import java.lang.annotation.Target;

@Retention(java.lang.annotation.RetentionPolicy.RUNTIME)
@Target({METHOD, TYPE})
public <strong i="20">@interface</strong> RunOnce {
}

다음은 상태 추적기 싱글톤입니다.

import java.lang.reflect.Method;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;

public class StateTracker {

  private static final StateTracker instance = new StateTracker();

  private final Map<String, Object> runOnceData = new ConcurrentHashMap<>();

  private StateTracker() {}

  public static StateTracker getInstance() {
    return instance;
  }

  boolean canExecute(Method method) {
    RunOnce runOnce = method.getAnnotation(RunOnce.class);
    String methodName = method.getName();
    boolean execute = true;
    if (runOnce != null) {
      if (runOnceData.containsKey(methodName)) {
        execute = false;
      } else {
        runOnceData.put(methodName, new Object());
      }
    }
    return execute;
  }
}

기본 클래스는 다음과 같습니다.

import org.testng.IHookCallBack;
import org.testng.IHookable;
import org.testng.ITestResult;
import org.testng.annotations.Test;

public class BaseTest implements IHookable {

  <strong i="27">@Test</strong>
  <strong i="28">@RunOnce</strong>
  public void baseclassTestMethod() {
    System.err.println("Base class test method executed");
  }

  <strong i="29">@Override</strong>
  public void run(IHookCallBack callBack, ITestResult testResult) {
    boolean execute =
        StateTracker.getInstance()
            .canExecute(testResult.getMethod().getConstructorOrMethod().getMethod());
    if (execute) {
      callBack.runTestMethod(testResult);
    } else {
      testResult.setStatus(ITestResult.SKIP);
      testResult.setThrowable(new RuntimeException("Intentionally skipping"));
    }
  }
}

하위 클래스는 다음과 같습니다.

import org.testng.annotations.Test;

public class ChildClass1 extends BaseTest {

  <strong i="33">@Test</strong>
  public void childTest() {
    System.err.println(getClass().getName() + ".childTest() executed");
  }
}

import org.testng.annotations.Test;

public class ChildClass2 extends BaseTest {

  <strong i="36">@Test</strong>
  public void childTest() {
    System.err.println(getClass().getName() + ".childTest() executed");
  }
}

테스트 결과를 정리하고 @RunOnce 사용하여 주석이 달린 건너뛴 테스트를 제거하는 필터링 메커니즘을 추가해야 합니다.

krmahadevan 에 2019년 06월 10일

👍1

@krmahadevan
정확히 무엇을 달성하려고 합니까? 시나리오를 자세히 설명하거나 설명하는 데 도움이 된다면 좋을 것입니다.

여러 클래스(기능과 관련된)에서 테스트를 분리하려고 합니다. 예를 들어, 당신은 측면을 따라 기본 클래스에서 테스트를 지원 측면 다른 도우미 메서드를 따라 @Before 및 @After 방법 (안 테스트)에 해당 기능에 대한 설정 부분이있는 "기본 클래스"를 가지고 "자식 클래스에서 테스트 ". 따라서 이 방법으로 자식 클래스에 새 테스트를 추가하고 자식 클래스의 코드를 복제하지 않습니다.
기본 클래스에는 해당 기능의 보다 일반적인 부분을 테스트하는 몇 가지 테스트 메서드가 있고 자식 클래스에는 보다 구체적인 테스트가 있습니다.
클래스를 병렬로 실행하여 테스트 실행 시간을 최적화하려고 하기 때문에 50개 이상의 테스트 메서드가 있는 원래 "기본 클래스"를 여러 개의 더 작은 "자식 클래스"로 분할하여 이러한 더 작은 클래스가 다른 스레드에 배포되도록 해야 했습니다. /실행자.

@krmahadevan 은 자세한 솔루션에 대해
기본 클래스에서 테스트를 지속적으로 다시 실행할 필요가 없습니다. 설정/해제 문제인 경우 항상 @Before/ @After 를 사용할 수 있으며 기본 클래스의 자식 클래스 이전에 매번 다시 실행됩니다.

vlad230 에 2019년 06월 11일

예, 동작을 구성할 수 있다고 생각합니다.

사실, 각 자식 인스턴스에 대해 부모 테스트를 실행하려는 사용 사례를 찾지 못했습니다.
테스트 상태가 통합 테스트에서 자주 수정되기 때문에 테스트( dependsOnMethods )에 대한 직접적인 종속성이 없는 한.

@krmahadevan WDYT?

juherr 에 2019년 06월 11일

@vlad230

자세한 솔루션에 대해 대단히 감사하지만 나에게 조금 번거롭게 보입니다

귀하의 사용 사례도 일반 것과 약간 다르게 보입니다. 더욱이 나는 그것이 어떻게 이루어질 수 있는지에 대한 실제 예를 제시했습니다. 당신이해야 할 일은 이것을 채택하고 이것을 기반으로하는 것입니다.

TestNG는 사용자 정의할 수 있으므로 기본 동작으로 보고 싶습니다.

아니요. 제 생각에는 그렇게 할 수 없습니다. 테스트는 항상 실행되어야 합니다. 기본 클래스에 있다고 해서 선택적으로 실행해야 하는 것은 아닙니다. TestNG는 사용자 정의할 수 있습니다. 그러나 이것이 TestNG가 모든 사용자 정의를 지원해야 한다는 것을 의미하지는 않습니다. 사용자가 필요에 맞게 사용자 정의하고 작업할 수 있는 방법을 제공하기만 하면 됩니다. 내가 공유한 샘플은 TestNG를 변경할 필요 없이 이러한 사용자 정의를 적용한 예입니다.

기본 클래스에서 테스트를 지속적으로 다시 실행할 필요가 없습니다. 설정/해제 문제인 경우 항상 @Before/ @after 를 사용할 수 있으며 기본 클래스의 자식 클래스 이전에 매번 다시 실행됩니다.

나에게 그것은 사물을 보는 한 가지 방법일 뿐입니다. 특정 메소드가 매번 실행되지 않아야 한다면 @Test 주석을 사용하지 않아야 합니다. @BeforeTest ( <test> 태그당 한 번만 실행됨) 또는 @BeforeSuite ( <suite> 당 한 번만 실행됨)와 같은 구성 주석을 매우 잘 사용할 수 있습니다

기본 클래스의 테스트 메서드가 실제로 테스트 메서드인지 확실하지 않습니다. 나에게 그것들은 테스트가 실행되기 위해 충족될 설정 조건을 설정하는 구성처럼 들립니다.

@juherr - 여기의 사용 사례에 동의하는지 잘 모르겠습니다. 발견된 위치에 관계없이 테스트를 실행해야 합니다. 모든 자식 클래스에 대해 실행되는 것을 원하지 않는 시나리오가 있는 경우 @Test 주석이 아닌 구성 주석을 사용해야 합니다.

구현 측면에서, 특히 사람들이 실행 수단으로 그룹을 사용하기 시작할 때 코드베이스에 많은 혼란이 추가될 것이라고 생각합니다.

또한 현재 TestNG 내에서 이미 이 작업을 수행할 수 있는 방법이 있다고 생각합니다(예로 공유했습니다). 왜 그것을 활용하지 않습니까? 이것은 일회성 사용 사례로 보이며 TestNG가 사용되는 일반적인 방식에 맞지 않는 것 같습니다.

krmahadevan 에 2019년 06월 11일

👍1

@krmahadevan 죄송합니다만 제가 하려는 것을 이해하지 같습니다 .
내 상위 클래스(BaseTest - 예: DashboardTest)에는 현재 15개의 테스트가 있고 각각 내부에 테스트가 있는 3개의 하위 클래스(예: DashboardFilterTest, DashboardTreeTest, DashboardEditorTest)가 있습니다. 내 게시물에서 설명한 접근 방식을 사용하여 테스트를 실행할 때마다 해당 15개의 테스트가 3번 이상 실행됩니다(즉, 3x15 = 45개의 테스트가 실행됨). 15번 테스트.

나는 여전히 부모 클래스에 있는 테스트가 자식 클래스에서 테스트가 실행될 때마다 다시 실행되는 것은 말이 되지 않는다고 생각합니다. TestNG의 기본 동작은 그것을 확장하는 자식 클래스의 수에 관계없이 부모 클래스에서 테스트 메서드를 한 번 실행하는 것을 선호합니다.

이것이 불가능하다면 이해합니다. 어쨌든 감사합니다.

vlad230 에 2019년 06월 11일

@vlad230

추가 컨텍스트를 추가해 주셔서 감사합니다.

내 상위 클래스(BaseTest - 예: DashboardTest)에는 현재 15개의 테스트가 있고 각각 내부에 테스트가 있는 3개의 하위 클래스(예: DashboardFilterTest, DashboardTreeTest, DashboardEditorTest)가 있습니다. 내 게시물에서 설명한 접근 방식을 사용하여 테스트를 실행할 때마다 해당 15개의 테스트가 3번 이상 실행됩니다(즉, 3x15 = 45개의 테스트가 실행됨). 15번 테스트.

이 경우 DashboardFilterTest, DashboardTreeTest, DashboardEditorTest 가 DashboardTest 확장하는 이유는 무엇입니까? DashboardTest 테스트는 여기에서 상속 접근 방식을 활용하는 대신 자체 클래스에 있어야 하는 것 같습니다. 기본 클래스는 모든 공통 테스트 메서드를 제거하고 별도의 테스트 클래스에 보관하도록 리팩토링해야 하며, DashboardTest는 @Test 아닌 일반적인 메서드만 포함하도록 리팩토링해야 합니다. 아니요?

이것이 불가능하다면 이해합니다. 어쨌든 감사합니다.

수행할 수 있는지 여부에 대한 문제가 아닙니다(구현 과제는 별도의 주제임). 하지만 저는 여전히 사용 사례 자체의 유효성을 이해하는 데 어려움을 겪고 있습니다.

krmahadevan 에 2019년 06월 11일

@krmahadevan

이 경우 DashboardFilterTest, DashboardTreeTest, DashboardEditorTest 가 DashboardTest 확장하는 이유는 무엇입니까? DashboardTest 테스트는 여기에서 상속 접근 방식을 활용하는 대신 자체 클래스에 있어야 하는 것 같습니다. 기본 클래스는 모든 공통 테스트 메서드를 제거하고 별도의 테스트 클래스에 보관하도록 리팩토링해야 하며, DashboardTest는 @Test 아닌 일반적인 메서드만 포함하도록 리팩토링해야 합니다. 아니요?

'DashboardTest'에는 자식 클래스에도 필요한 도우미 메서드(예: openDashboard(), createDashboard() 등)와 setup/teardown/cleanup(@Before/@After) 메서드가 포함되어 있습니다. 따라서 자식 클래스의 코드를 복제할 필요가 없습니다.
예, 'DashboardTest'의 일부 테스트는 다른 특정 클래스로 이동할 수 있지만 더 일반적이기 때문에 여기에 유지하고 싶었습니다(예: 대시보드의 전체 모양 확인, 기본 CRUD 테스트 또는 일부 테스트는 ' t 특정 범주에 적합하거나 혼합).

물론, @Test가 아닌 테스트 클래스를 가질 수 있지만(비록 이상하고 누군가가 실수로 여기에 테스트를 추가할 수 있지만) 이 문제를 피하기 위한 것입니다. 맞습니까?

vlad230 에 2019년 06월 11일

@vlad230

'DashboardTest'에는 자식 클래스에도 필요한 도우미 메서드(예: openDashboard(), createDashboard() 등)와 setup/teardown/cleanup(@Before/@after) 메서드가 포함되어 있습니다. 따라서 자식 클래스의 코드를 복제할 필요가 없습니다.

이것은 의미가 있습니다. 그리고 네, 기본 클래스 내에 매우 잘 상주할 수 있으므로 구성 방법을 자식 클래스에서도 사용할 수 있습니다.

예, 'DashboardTest'의 일부 테스트는 다른 특정 클래스로 이동할 수 있지만 더 일반적이기 때문에 여기에 유지하고 싶었습니다(예: 대시보드의 전체 모양 확인, 기본 CRUD 테스트 또는 일부 테스트는 ' t 특정 범주에 적합하거나 혼합).

여전히 모든 일반 @Test 메서드를 포함하는 GenericDashboardTest extends DashboardTest 라는 클래스를 만들 수 있습니다.

물론, @test가 아닌 테스트 클래스를 가질 수 있지만(비록 이상하고 누군가가 실수로 여기에 테스트를 추가할 수 있지만) 이 문제를 피하기 위한 것입니다. 맞습니까?

글쎄, 그것이 코드 리뷰의 목적이 아니겠는가 :) 이러한 미끄러짐을 방지하기 위함이다. 기본 클래스(설명한 내용)에는 일반적인 일반 @Test 메서드가 포함될 필요가 없습니다. 도우미와 구성만 잘 수용할 수 있으며 기본 클래스를 확장하고 일반 테스트 메서드를 수용하는 테스트 클래스를 하나 더 가질 수 있습니다. 그것은 당면한 혼란을 해결해야합니다.

krmahadevan 에 2019년 06월 11일

_설계된 대로 작동_으로 해결하여 이 문제를 종료합니다.

krmahadevan 에 2019년 10월 17일

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Testng: 슈퍼 클래스의 @Test 메소드는 모든 서브 클래스에 대해 다시 실행됩니다.

TestNG 버전 6.14.3

예상되는 행동

실제 행동

러너에서 문제를 재현할 수 있습니까?

테스트 케이스 샘플

모든 12 댓글

관련 문제