Testng: 수퍼 클래스의 @BeforeClass 및 @AfterClass는 클래스에서 병렬로 실행할 때 그룹을 무시합니다.

실제로 위의 동작은 6.14.3에 있습니다. 7.0.0에서는 더 이상합니다. 확인을 위해 타임스탬프도 추가했습니다.

7.0.0의 출력:

Ran before class A on 15 thread, 23:43:10.723
Ran before class A on 14 thread, 23:43:10.723
Ran before class B on 15 thread, 23:43:10.830
Ran before class B on 14 thread, 23:43:10.830
Ran after class B on 15 thread, 23:43:10.952
Ran after class A on 14 thread, 23:43:10.952
Ran before class A on 14 thread, 23:43:11.054
Ran before class B on 15 thread, 23:43:11.054
Test in class A with group A ran on 14 thread, 23:43:11.265
Test in class B with group B ran on 15 thread, 23:43:11.265
Ran before class A on 14 thread, 23:43:11.465
Ran after class B on 15 thread, 23:43:11.465
Ran before class B on 15 thread, 23:43:11.569
Ran after class A on 14 thread, 23:43:11.569
Ran after class A on 14 thread, 23:43:11.677
Ran after class A on 15 thread, 23:43:11.677
Ran after class B on 14 thread, 23:43:11.777
Ran after class B on 15 thread, 23:43:11.778

@MindaugasMateika - 문제는 제품군 xml 파일에 있습니다. 그룹별로 실행하고 있지 않습니다. 그룹별로 실행하려면 제품군 파일에서 <groups> 태그를 사용하고 해당 그룹을 선택해야 합니다. 그렇지 않으면 그룹 실행이 트리거되지 않습니다(테스트/구성이 그룹에 속하는지 여부에 관계없이).

이 문제를 닫습니다.
시도해 보시고 문제가 계속 발생하면 의견을 말씀해 주십시오.

@krmahadevan 님 , xml에 그룹을 추가했지만 동일한 동작이 발생합니다.

testng.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd" >
<suite name="All tests" verbose="1" parallel="classes" thread-count="2" >
    <test name="Tests">
        <groups>
            <run>
                <include name="a" />
                <include name="b" />
            </run>
        </groups>
        <classes>
            <class name="test.ClassA" />
            <class name="test.ClassB" />
        </classes>
    </test>
</suite>

Ran before class A on 15 thread, 10:51:48.794
Ran before class A on 14 thread, 10:51:48.794
Ran before class B on 14 thread, 10:51:48.902
Ran before class B on 15 thread, 10:51:48.902
Ran after class A on 14 thread, 10:51:49.014
Ran after class B on 15 thread, 10:51:49.017
Ran before class A on 14 thread, 10:51:49.116
Ran before class B on 15 thread, 10:51:49.117
Test in class A with group A ran on 14 thread, 10:51:49.444
Test in class B with group B ran on 15 thread, 10:51:49.444
Ran after class B on 15 thread, 10:51:49.624
Ran before class A on 14 thread, 10:51:49.624
Ran after class A on 14 thread, 10:51:49.725
Ran before class B on 15 thread, 10:51:49.726
Ran after class A on 14 thread, 10:51:49.828
Ran after class A on 15 thread, 10:51:49.828
Ran after class B on 14 thread, 10:51:49.931
Ran after class B on 15 thread, 10:51:49.931



md5-37e721bbba1e94aae099dbc7071b38c3



<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd" >
<suite name="All tests" verbose="1" parallel="classes" thread-count="2" >
    <test name="Tests">
        <groups>
            <run>
                <include name="a" />
            </run>
        </groups>
        <classes>
            <class name="test.ClassA" />
        </classes>
    </test>
    <test name="Tests B">
        <groups>
            <run>
                <include name="b" />
            </run>
        </groups>
        <classes>
            <class name="test.ClassB" />
        </classes>
    </test>
</suite>



md5-38a48c328d261b22db36e9db68bb81ec



Ran before class A on 14 thread, 10:55:06.758
Ran after class A on 14 thread, 10:55:06.875
Ran before class A on 14 thread, 10:55:06.975
Test in class A with group A ran on 14 thread, 10:55:07.278
Ran before class A on 14 thread, 10:55:07.522
Ran after class A on 14 thread, 10:55:07.625
Ran after class A on 14 thread, 10:55:07.728
Ran before class B on 15 thread, 10:55:07.840
Ran after class B on 15 thread, 10:55:07.941
Ran before class B on 15 thread, 10:55:08.044
Test in class B with group B ran on 15 thread, 10:55:08.151
Ran after class B on 15 thread, 10:55:08.254
Ran before class B on 15 thread, 10:55:08.356
Ran after class B on 15 thread, 10:55:08.458

@MindaugasMateika - 여기에 몇 가지가 있습니다.

문제를 해결하려면 클래스 수준 주석을 제거하고 대신 그룹을 지정할 때 테스트 메서드 수준 주석을 사용하십시오. 그러면 문제가 해결됩니다.

타임스탬프와 관련하여.. 이것을 확인하는 유일한 방법은 다른 모든 방법을 제거하고 두 가지 테스트 방법을 가지고 다시 한 번 시도하는 것입니다. TestNG는 내부적으로 ExecutorService 를 사용하여 동시성을 관리합니다. AFAIK가 ExecutorService 작업을 제출한다고 해서 즉시 실행된다는 의미는 아닙니다. 그래서 거기에서 할 수 있는 일이 별로 없습니다. 그러나 테스트는 병렬로 실행되고 있습니다. 그렇지 않으면 동일한 스레드 ID가 표시됩니다.

이제 이상한 행동에..
귀하의 경우 a 및 b 두 그룹을 포함하고 두 개의 테스트 클래스를 실행하고 있습니다. 따라서 각 테스트 클래스에 대해 TestNG는 기본 클래스에서 @BeforeClass 메서드를 모두 실행할 것입니다. 선택 단위가 "그룹"이기 때문입니다. TestNG는 그룹을 사용하여 "실행 대상"을 찾습니다. 일단 결정되면 그룹은 관련성이 없습니다. 기본 클래스에는 @BeforeClass 수준에서 "두" 구성 방법이 있으므로 모든 테스트 클래스에 대해 둘 다 실행됩니다. 나는 그것을 그 자체로 문제로 보지 않는다.

또한 병렬 실행은 Test 메서드와 NOT CONFIGURATION 메서드에 적용할 수 있습니다.

여기에서 수정해야 할 보류 중인 유일한 것은 클래스 수준 및 테스트 메서드 수준에 그룹이 포함될 때 그룹 선택이 테스트를 실행하기 위해 사용될 때 무언가가 작동하지 않는다는 것입니다.

_나 자신에 대한 참고 사항_ : https://github.com/cbeust/testng/pull/1992 주변의 무언가와 관련이 있을 수 있습니다.

재현할 샘플

import java.lang.reflect.Method;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import org.testng.ITestResult;
import org.testng.Reporter;
import org.testng.annotations.AfterClass;
import org.testng.annotations.BeforeClass;
import org.testng.annotations.Test;

public class BaseTest {
  public static List<String> logs = new ArrayList<>();

  @BeforeClass(groups = {"a"})
  public void beforeClassA() {
    printer();
  }

  @BeforeClass(groups = {"b"})
  public void beforeClassB() {
    printer();
  }

  @AfterClass(groups = {"a"})
  public void afterClassA() {
    printer();
  }

  @AfterClass(groups = {"b"})
  public void afterClassB() {
    printer();
  }

  void printer() {
    ITestResult result = Reporter.getCurrentTestResult();
    String className = "";
    String methodName = result.getMethod().getMethodName();
    Method m = result.getMethod().getConstructorOrMethod().getMethod();
    String annotation = "";
    String groups = "";
    BeforeClass beforeClass = m.getAnnotation(BeforeClass.class);
    if (beforeClass != null) {
      annotation = "@BeforeClass";
      groups = Arrays.toString(beforeClass.groups());
    }
    AfterClass afterClass = m.getAnnotation(AfterClass.class);
    if (afterClass != null) {
      annotation = "@AfterClass";
      groups = Arrays.toString(afterClass.groups());
    }
    Test test = m.getAnnotation(Test.class);
    if (test != null) {
      annotation = "@Test";
      groups = Arrays.toString(test.groups());
    }
    String tid = Long.toString(Thread.currentThread().getId());
    String instanceId = result.getInstance().toString();
    String msg =
        String.format(
            "Running %s annotated %s.%s() [ belongs to groups %s] on Thread [%s] aind instanceId = %s",
            annotation, className, methodName, groups, tid, instanceId);
    System.err.println(msg);
    log(msg);
  }

  private static synchronized void log(String msg) {
    logs.add(msg);
  }
}

import org.testng.annotations.Test;

@Test(groups = "a")
public class ClassA extends BaseTest {
  <strong i="5">@Test</strong>
//  @Test(groups = "a")
  public void someTest() {
    printer();
  }
}

import org.testng.annotations.Test;

@Test(groups = "b")
public class ClassB extends BaseTest {
  <strong i="8">@Test</strong>
//  @Test(groups = "b")
  public void someTest() {
    printer();
  }
}

import java.util.Arrays;
import java.util.Collections;
import java.util.List;
import org.testng.Assert;
import org.testng.TestNG;
import org.testng.xml.XmlClass;
import org.testng.xml.XmlGroups;
import org.testng.xml.XmlRun;
import org.testng.xml.XmlSuite;
import org.testng.xml.XmlSuite.ParallelMode;
import org.testng.xml.XmlTest;

public class TestRunner {
  public static void main(String[] args) {
    XmlSuite xmlSuite = new XmlSuite();
    xmlSuite.setName("test_suite");
    XmlTest xmlTest = new XmlTest(xmlSuite);
    xmlTest.setName("sample_test");
    XmlGroups xmlGroups = new XmlGroups();
    XmlRun xmlRun = new XmlRun();
    xmlRun.onInclude("a");
    xmlRun.onInclude("b");
    xmlGroups.setRun(xmlRun);
    xmlTest.setGroups(xmlGroups);
    List<XmlClass> xmlClasses =
        Arrays.asList(new XmlClass(ClassA.class), new XmlClass(ClassB.class));
    xmlTest.setXmlClasses(xmlClasses);
    xmlSuite.setParallel(ParallelMode.CLASSES);
    xmlSuite.setThreadCount(2);
    xmlSuite.setVerbose(2);
    TestNG testng = new TestNG();
    testng.setXmlSuites(Collections.singletonList(xmlSuite));
    testng.run();
    System.err.println(BaseTest.logs.size());
    Assert.assertEquals(BaseTest.logs.size(), 10);
  }
}

기본 클래스에는 @BeforeClass 수준에서 "두" 구성 메서드가 있으므로 모든 테스트 클래스에 대해 둘 다 실행됩니다. 나는 그것을 그 자체로 문제로 보지 않는다.

두 가지 구성 방법이지만 다른 그룹이 있습니다. 나는 그것이 그룹 목적 중 하나라고 생각했습니다. 해당 그룹과 다른 테스트 클래스에 대해 다른 설정 및 해제 방법을 사용할 수 있기 때문입니다. :/

@MindaugasMateika

두 가지 구성 방법이지만 다른 그룹이 있습니다. 나는 그것이 그룹 목적 중 하나라고 생각했습니다. 해당 그룹과 다른 테스트 클래스에 대해 다른 설정 및 해제 방법을 사용할 수 있기 때문입니다.

예. 그러나 실행에 포함할 두 그룹을 모두 선택하고 있습니까?

@juherr @cbeust WDYT?

예, 두 그룹 모두에서 모든 테스트를 실행하고 싶지만 구성 방법 실행에 영향을 미치지 않아야 하기 때문에 두 그룹을 모두 포함합니다. 나는 여전히 이 경우 그룹이 있는 전/후 메소드가 해당 그룹과 함께 수업 전/후에 실행되어야 한다고 생각합니다. ¯_(ツ)_/¯

@MindaugasMateika - 설명을 제공하기 위해 최선을 다했습니다. 나는 당신이 확신하지 못한다는 것을 알았기 때문에 한발짝 물러서서 @cbeust 나 @juherr 가 당신에게 답을 줄 때까지 기다리 겠습니다 .

https://github.com/cbeust/testng/issues/2135#issuecomment -524169438과 관련된 문제는 클래스 수준에서 @Test 메서드를 통해 그룹 정보를 포함할 때 구성한 다음 메서드는 결국 그룹도 상속합니다. 이것이 TestNG의 동작입니다.

@BeforeXXX 구성 주석을 통해 inheritGroups=false 속성을 사용하여 끌 수 있습니다.

이제 우리는 TestNG의 동작을 변경하여 클래스 수준 @Test 주석에서 구성 주석으로 그룹 정보를 상속하는 TestNG의 동작이 <groups> 를 통해 그룹 필터링이 선택된 경우에만 켜지도록 했습니다. https://github.com/cbeust/testng/pull/2167의 일부입니다.

@juherr @cbeust - 이 문제에서 모든 미해결 쿼리가 해결되었습니다. 보류중인 유일한 것은 당신 중 한 명이 차임벨을 울리고 @MindaugasMateika 질문에 대한 해결책을 제공하는 것입니다 (어떤 이유로 내 설명이 만족스럽지 않은 것으로 나타났습니다)

코드 관점에서 이 문제에서 해결해야 할 다른 것은 없습니다.

@krmahadevan naah, 괜찮습니다. 이 문제가 있는 유일한 사람이고 여기에서 모든 것이 예상대로 작동한다면 스스로 다른 방식으로 문제를 해결할 것입니다. 닫을 수 있을 것 같아요 🔐

위의 의견을 기반으로 이것을 닫습니다.

@Proryanator 설명을 샘플로 번역할 수 있습니까? 이해하기 쉬울 것입니다.

즉:

@BeforeMethod가 정의된 'BaseTest' 클래스가 있고 @test 메서드가 없습니다. 이 중요한 방법이 실패할 경우 @BeforeMethod 실행을 방지하기 위해 단지 @BeforeMethod 를 extendsOnMethods = {"importantParentBeforeMethod"}와 함께 사용하고 있습니다.

public abstract class BaseTest {

  @BeforeMethod(dependsOnMethods = {"importantParentBeforeMethod"})
  public void setUp() {
    ...
  }
}

@Proryanator 설명을 샘플로 번역할 수 있습니까? 이해하기 쉬울 것입니다.

즉:

@BeforeMethod가 정의된 'BaseTest' 클래스가 있고 @test 메서드가 없습니다. 이 중요한 방법이 실패할 경우 @BeforeMethod 실행을 방지하기 위해 단지 @BeforeMethod 를 extendsOnMethods = {"importantParentBeforeMethod"}와 함께 사용하고 있습니다.

public abstract class BaseTest {

  @BeforeMethod(dependsOnMethods = {"importantParentBeforeMethod"})
  public void setUp() {
    ...
  }
}

할까말까 고민하다가 헤헤 문제없어요!

저는 지금 TestNG 7.0.0을 사용하고 있습니다.

저는 주로 _group_에 상관없이

따라서 모바일 드라이버를 설정하는 최상위 상위 클래스가 있습니다. 문제가 발생하면 어설션이 실패합니다.

public abstract class AbstractMobileBaseTest{
   @BeforeMethod(alwaysRun = true)
   public void mobileDriverCreation(){
      if (couldNotCreateDriver()){
         Assert.fail("Could not create the driver at all...");
      }
   }
}

모든 테스트 클래스가 상속하는 자식 클래스로, 그룹에 관계없이 항상 'createSharedObjects'를 실행해야 하지만 부모 클래스의 메서드가 실패하면 실행되지 않아야 합니다.

public abstract class MobileAppBaseTest extends AbstractMobileBaseTest{
   @BeforeMethod(alwaysRun = true, dependsOnMethods = {"mobileDriverCreation"})
   public void makeMostPages(){
      // does some setup stuff here
   }
}

여기에 표시하는 것이 중요하지 않은 하위 클래스에도 다른 __@BeforeMethods_ 가 있지만 _alwaysRun = true_ 및 _dependsOnMethods = {"mobileDriverCreation"}_을 모두 사용하므로 문제가 발생하더라도 실행되지 않아야 합니다. 다른 방법.

나는 이것이 어떻게 작동하는지 테스트하기 위해 지금 단 하나의 테스트를 실행하고 있습니다.

mvn verify ... -Dit.test=TestClassName -Dgroups=groupName

결과는 다음과 같습니다. 뭔가 mobileDriverCreation ()에 잘못되면 내가 실행하지에 자식 @BeforeMethods는, 그러나 나는 다음을 참조 기대 @BeforeMethod :

mobileDriverCreation()에 어설션 실패가 있지만 다른 모든 @BeforeMethods가 실행됩니다(자신의 예외 및 오류가 발생하여 첫 번째 메서드에

나는 후속 테스트를 수행했는데, _makeMostPages_ 및 _digitalServicesMobileSetup_ 이라는 하위

_alwaysRun = true_가 _dependsOnMethods_보다 우선하며 거의 무시하거나 마지막으로 활용/확인되는 것 같습니다. 나는 우리가 나중 단계로 _dependsOnMethods_를 추가해야 한다고 생각합니다.

저는 _groups_를 사용하지 않는 한 _dependsOnMethods_를 사용하는 것이 예상대로 작동한다는 것을 알고 있지만 _groups_를 정기적으로 사용하므로 그렇게 할 수 없습니다 😄

@juherr @krmahadevan

철저하게 말하자면, 우리 프로젝트는 스위트 파일을 사용하지 않습니다. 다음과 같이 maven-failsafe-plugin에서 태그를 사용하여 실행합니다. 여기서 Include는 기본적으로 _**.java_입니다. 이것이 _alwaysRun = true_ 및 _dependsOnMethods_가 해석되는 방식에 영향을 미칠 수 있는 경우:

을 사용해 주사를 시도하기도 했습니다.태그를 지정하고 명령줄을 통해 전달하지 않지만 여전히 위의 동작이 표시됩니다.

<plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-failsafe-plugin</artifactId>
        <version>${failsafe.plugin.version}</version>
        <executions>
          <execution>
            <goals>
              <goal>integration-test</goal>
              <goal>verify</goal>
            </goals>
            <configuration>
              <!-- This reads in any other system variables that you provide via -DparamName=value -->
              <systemPropertyVariables>
                <mobile>${mobile}</mobile>
                <url>${url}</url>
                <platform>${platform}</platform>
                <remote>${remote}</remote>
                <!-- Thread count is set by default variable at the top, if you'd like to change it pass in 'threadCount' as a system variable -->
                <threadCount>${threadCount}</threadCount>
                <retryCount>${retryCount}</retryCount>
                <iosVersion>${iosVersion}</iosVersion>
              </systemPropertyVariables>
              <argLine>
                -javaagent:${settings.localRepository}/org/aspectj/aspectjweaver/${aspectj.version}/aspectjweaver-${aspectj.version}.jar
              </argLine>
              <!-- Cannot run parallel using methods yet, use classes -->
              <parallel>classes</parallel>
              <threadCount>${threadCount}</threadCount>
              <skip>false</skip>
              <encoding>${project.build.sourceEncoding}</encoding>
              <includes>
                <include>${include}</include>
              </includes>
              <workingDirectory>target/${mobile}</workingDirectory>
            </configuration>
          </execution>
        </executions>
      </plugin>

@Proryanator - TestNG 7.3.0 사용하여 문제를 재현할 수 없습니다. 첨부된 샘플을 이용해보세요.

issue_2135.zip

샘플이 당신이 시도한 것과 다르고 내가 문제를 재현할 수 있도록 샘플을 조정할 수 있다면 자유롭게 새 호를 열고 샘플을 첨부하십시오.

@krmahadevan 샘플에서 곰 비유가 좋아요 😆

샘플을 다운로드하고 약간의 수정을 가했습니다. 실패할 때를 우려하기 때문에 'GrandpaBear' @BeforeMethod 를 좀 더 간단하게 만들기 위해 항상 실패했습니다.

다음은 최상위 부모 클래스입니다.

public class GrandpaBearGitHubTest {
  @BeforeMethod(alwaysRun = true)
  public void mobileDriverCreation() {
    Assert.fail("Could not create the driver at all...");
  }
}

이제 이 @BeforeMethod 는 항상 어설션 오류를 발생시킵니다.

이 클래스 아래의 첫 번째 클래스는 _alwaysRun=true_ 및 _dependsOnMethods_로, _mobileDriverCreation_ 이라는 @BeforeMethod가 실패하면 실행되지 않아야 합니다.

public class PapaBearGithubTest extends GrandpaBearGitHubTest {

  @BeforeMethod(alwaysRun = true, dependsOnMethods = {"mobileDriverCreation"})
  public void makeMostPages() {
    System.out.println("Ran makeMostPages");
  }
}

다음은 간단한 @Test 클래스입니다.

public class GrandsonBearGithubTest extends PapaBearGithubTest {

  @Test(groups = "yogi-bear")
  public void testMethod() {
    System.err.println("Running test method");
  }
}

다음은 -Dgroups=yogi-bear를 사용하거나 사용하지 않고 실행한 결과입니다. 두 번 모두 자식 클래스 @BeforeMethod가 여전히 실행됩니다('Ran makeMostPages'를 인쇄할 때 알 수 있듯이 종속된 메서드가 실패했음에도 불구하고:

[-Dgroup으로 실행]

[-Dgroup 없이 실행]

또한 IntelliJ에서 실행하여 maven이 그룹을 처리하는 방식이 아니라 TestNG에 대한 것인지 확인했지만 결과는 동일했습니다.

내 생각에 _alwaysRun=true_는 단락을 일으킬 수 있거나 서로 함께 작동해야 한다고 생각하는 _dependsOnMethods_보다 우선 순위가 높을 수 있습니다.

추가 탐색/테스트에서 두 번째 @BeforeMethod 를 @BeforeMethod 는 실행되지 않았으며 이는 동작 문제가 _alwaysRun=true_를 중심으로 회전함을 나타냅니다.

이것은 이제 예상되는 -Dgroups=yogi-bear를 지정할 때만 이 @BeforeMethod를 실행하지만 _dependsOnMethods_를 존중하기 때문에 이제 새로운

public class PapaBearGithubTest extends GrandpaBearGitHubTest {

  @BeforeMethod(alwaysRun = true, dependsOnMethods = {"mobileDriverCreation"})
  public void makeMostPages() {
    System.out.println("Ran makeMostPages");
  }

  @BeforeMethod(groups = {"yogi-bear"}, dependsOnMethods = {"mobileDriverCreation"})
  public void makeOtherPages() {
    System.out.println("Ran makeOtherPages");
  }
}

새로운 @BeforeMethod 가 실행되었을 경우 'Ran makeOtherPages'가 표시되지만 이러한 출력은 표시되지 않고 첫 번째 항목의 'Ran makeMostPages'만 표시됩니다.

@krmahadevan 업데이트된 샘플을 첨부했습니다. 재현할 수 있다면 문제를 열어보겠습니다.
업데이트된-issue_2135.zip

수정 작업에 신경쓰지 않습니다. 우리 조직에서 이것을 사용할 수 있지만 @BeforeMethod 의 매개 변수가 분석되는 방법에 관해서는 소스 코드에서 어디를 봐야 하는지 잘 모르겠습니다. 올바른 방향 😄

@Proryanator 새 문제를 열 ​​수 있습니까? 이 오래된 닫힌 문제보다 나을 것입니다 :)

@Proryanator 새 문제를 열 ​​수 있습니까? 이 오래된 닫힌 문제보다 나을 것입니다 :)

여기에서 새로 열린 문제를 찾을 수 있습니다. #2448