Testng: スーパークラスの@BeforeClassと@AfterClassは、クラスで並列実行するときにグループを無視します

実際、上記の動作は6.14.3です。 7.0.0ではさらに奇妙です。 確かにタイムスタンプも追加しました。

7.0.0での出力：

Ran before class A on 15 thread, 23:43:10.723
Ran before class A on 14 thread, 23:43:10.723
Ran before class B on 15 thread, 23:43:10.830
Ran before class B on 14 thread, 23:43:10.830
Ran after class B on 15 thread, 23:43:10.952
Ran after class A on 14 thread, 23:43:10.952
Ran before class A on 14 thread, 23:43:11.054
Ran before class B on 15 thread, 23:43:11.054
Test in class A with group A ran on 14 thread, 23:43:11.265
Test in class B with group B ran on 15 thread, 23:43:11.265
Ran before class A on 14 thread, 23:43:11.465
Ran after class B on 15 thread, 23:43:11.465
Ran before class B on 15 thread, 23:43:11.569
Ran after class A on 14 thread, 23:43:11.569
Ran after class A on 14 thread, 23:43:11.677
Ran after class A on 15 thread, 23:43:11.677
Ran after class B on 14 thread, 23:43:11.777
Ran after class B on 15 thread, 23:43:11.778

@ MindaugasMateika-問題はスイートのxmlファイルにあります。 グループで実行していません。グループで実行できるようにするには、スイートファイルで<groups>タグを使用し、問題のグループを選択する必要があります。 それがないと、グループの実行はトリガーされません（テスト/構成がグループに属しているかどうかに関係なく）

この問題を解決します。
それでも問題が解決しない場合は、それを試してコメントしてください。

Heya @ krmahadevan 、xmlにグループを追加しましたが、同じ動作が発生しています。

testng.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd" >
<suite name="All tests" verbose="1" parallel="classes" thread-count="2" >
    <test name="Tests">
        <groups>
            <run>
                <include name="a" />
                <include name="b" />
            </run>
        </groups>
        <classes>
            <class name="test.ClassA" />
            <class name="test.ClassB" />
        </classes>
    </test>
</suite>

Ran before class A on 15 thread, 10:51:48.794
Ran before class A on 14 thread, 10:51:48.794
Ran before class B on 14 thread, 10:51:48.902
Ran before class B on 15 thread, 10:51:48.902
Ran after class A on 14 thread, 10:51:49.014
Ran after class B on 15 thread, 10:51:49.017
Ran before class A on 14 thread, 10:51:49.116
Ran before class B on 15 thread, 10:51:49.117
Test in class A with group A ran on 14 thread, 10:51:49.444
Test in class B with group B ran on 15 thread, 10:51:49.444
Ran after class B on 15 thread, 10:51:49.624
Ran before class A on 14 thread, 10:51:49.624
Ran after class A on 14 thread, 10:51:49.725
Ran before class B on 15 thread, 10:51:49.726
Ran after class A on 14 thread, 10:51:49.828
Ran after class A on 15 thread, 10:51:49.828
Ran after class B on 14 thread, 10:51:49.931
Ran after class B on 15 thread, 10:51:49.931



md5-37e721bbba1e94aae099dbc7071b38c3



<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd" >
<suite name="All tests" verbose="1" parallel="classes" thread-count="2" >
    <test name="Tests">
        <groups>
            <run>
                <include name="a" />
            </run>
        </groups>
        <classes>
            <class name="test.ClassA" />
        </classes>
    </test>
    <test name="Tests B">
        <groups>
            <run>
                <include name="b" />
            </run>
        </groups>
        <classes>
            <class name="test.ClassB" />
        </classes>
    </test>
</suite>



md5-38a48c328d261b22db36e9db68bb81ec



Ran before class A on 14 thread, 10:55:06.758
Ran after class A on 14 thread, 10:55:06.875
Ran before class A on 14 thread, 10:55:06.975
Test in class A with group A ran on 14 thread, 10:55:07.278
Ran before class A on 14 thread, 10:55:07.522
Ran after class A on 14 thread, 10:55:07.625
Ran after class A on 14 thread, 10:55:07.728
Ran before class B on 15 thread, 10:55:07.840
Ran after class B on 15 thread, 10:55:07.941
Ran before class B on 15 thread, 10:55:08.044
Test in class B with group B ran on 15 thread, 10:55:08.151
Ran after class B on 15 thread, 10:55:08.254
Ran before class B on 15 thread, 10:55:08.356
Ran after class B on 15 thread, 10:55:08.458

@ MindaugasMateika-ここにはいくつかのことがあります。

問題を解決するには、クラスレベルのアノテーションを削除し、代わりにグループを指定するときにテストメソッドレベルのアノテーションを使用してください。これで問題が解決するはずです。

タイムスタンプに関して..これを確認する唯一の方法は、他のすべてのメソッドを削除することです。2つのテストメソッドを用意して、もう一度試してください。 TestNGは、内部でExecutorServiceを使用して同時実行性を管理します。 AFAIKがタスクをExecutorService送信しても、すぐに実行されるわけではありません。 したがって、そこでできることはあまりありません。 ただし、テストは並行して実行されているため、同じスレッドIDが表示されます。

さて、奇妙な振る舞いのために。
あなたの場合、2つのグループaとbを含め、2つのテストクラスを実行しています。 したがって、選択の単位は「グループ」であるため、TestNGは、テストクラスごとに、基本クラスの両方の@BeforeClassメソッドを実行します。 TestNGは、「何を実行するか」を見つけるためにのみグループを使用します。 その後、グループには関連性がないと判断された場合。 基本クラスには@BeforeClassレベルの「2つの」構成メソッドがあるため、すべてのテストクラスに対して、両方が実行されます。 それ自体が問題だとは思いません。

また、並列実行が試験方法およびNOT設定方法に適用可能であり、覚えておいてください。

ここで修正する必要があるのは、グループがクラスレベルとテストメソッドレベルで含まれている場合、およびグループ選択を使用してテストを実行する場合、何かが機能しないということです。

_自分へのメモ_：https：//github.com/cbeust/testng/pull/1992周辺の何かに関連している可能性があります

再現するサンプル

import java.lang.reflect.Method;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import org.testng.ITestResult;
import org.testng.Reporter;
import org.testng.annotations.AfterClass;
import org.testng.annotations.BeforeClass;
import org.testng.annotations.Test;

public class BaseTest {
  public static List<String> logs = new ArrayList<>();

  @BeforeClass(groups = {"a"})
  public void beforeClassA() {
    printer();
  }

  @BeforeClass(groups = {"b"})
  public void beforeClassB() {
    printer();
  }

  @AfterClass(groups = {"a"})
  public void afterClassA() {
    printer();
  }

  @AfterClass(groups = {"b"})
  public void afterClassB() {
    printer();
  }

  void printer() {
    ITestResult result = Reporter.getCurrentTestResult();
    String className = "";
    String methodName = result.getMethod().getMethodName();
    Method m = result.getMethod().getConstructorOrMethod().getMethod();
    String annotation = "";
    String groups = "";
    BeforeClass beforeClass = m.getAnnotation(BeforeClass.class);
    if (beforeClass != null) {
      annotation = "@BeforeClass";
      groups = Arrays.toString(beforeClass.groups());
    }
    AfterClass afterClass = m.getAnnotation(AfterClass.class);
    if (afterClass != null) {
      annotation = "@AfterClass";
      groups = Arrays.toString(afterClass.groups());
    }
    Test test = m.getAnnotation(Test.class);
    if (test != null) {
      annotation = "@Test";
      groups = Arrays.toString(test.groups());
    }
    String tid = Long.toString(Thread.currentThread().getId());
    String instanceId = result.getInstance().toString();
    String msg =
        String.format(
            "Running %s annotated %s.%s() [ belongs to groups %s] on Thread [%s] aind instanceId = %s",
            annotation, className, methodName, groups, tid, instanceId);
    System.err.println(msg);
    log(msg);
  }

  private static synchronized void log(String msg) {
    logs.add(msg);
  }
}

import org.testng.annotations.Test;

@Test(groups = "a")
public class ClassA extends BaseTest {
  <strong i="5">@Test</strong>
//  @Test(groups = "a")
  public void someTest() {
    printer();
  }
}

import org.testng.annotations.Test;

@Test(groups = "b")
public class ClassB extends BaseTest {
  <strong i="8">@Test</strong>
//  @Test(groups = "b")
  public void someTest() {
    printer();
  }
}

import java.util.Arrays;
import java.util.Collections;
import java.util.List;
import org.testng.Assert;
import org.testng.TestNG;
import org.testng.xml.XmlClass;
import org.testng.xml.XmlGroups;
import org.testng.xml.XmlRun;
import org.testng.xml.XmlSuite;
import org.testng.xml.XmlSuite.ParallelMode;
import org.testng.xml.XmlTest;

public class TestRunner {
  public static void main(String[] args) {
    XmlSuite xmlSuite = new XmlSuite();
    xmlSuite.setName("test_suite");
    XmlTest xmlTest = new XmlTest(xmlSuite);
    xmlTest.setName("sample_test");
    XmlGroups xmlGroups = new XmlGroups();
    XmlRun xmlRun = new XmlRun();
    xmlRun.onInclude("a");
    xmlRun.onInclude("b");
    xmlGroups.setRun(xmlRun);
    xmlTest.setGroups(xmlGroups);
    List<XmlClass> xmlClasses =
        Arrays.asList(new XmlClass(ClassA.class), new XmlClass(ClassB.class));
    xmlTest.setXmlClasses(xmlClasses);
    xmlSuite.setParallel(ParallelMode.CLASSES);
    xmlSuite.setThreadCount(2);
    xmlSuite.setVerbose(2);
    TestNG testng = new TestNG();
    testng.setXmlSuites(Collections.singletonList(xmlSuite));
    testng.run();
    System.err.println(BaseTest.logs.size());
    Assert.assertEquals(BaseTest.logs.size(), 10);
  }
}

基本クラスには@BeforeClassレベルで「2つの」構成メソッドがあるため、すべてのテストクラスに対して、両方が実行されます。 それ自体が問題だとは思いません。

2つの構成方法ですが、グループが異なります。 これはグループの目的の1つだと思いました。つまり、それらのグループでさまざまなテストクラスに対してさまざまなセットアップメソッドと破棄メソッドを使用できるようにすることです。 ：/

@MindaugasMateika

2つの構成方法ですが、グループが異なります。 これはグループの目的の1つだと思いました。つまり、それらのグループでさまざまなテストクラスに対してさまざまなセットアップメソッドと破棄メソッドを使用できるようにすることです。

はい。 しかし、実行に含める両方のグループを選択していますか？

@juherr @cbeust WDYT？

はい、両方のグループですべてのテストを実行したいので、両方のグループを含めていますが、構成メソッドの実行に影響を与えることはないと思います。 この場合でも、グループを持つbefore / afterメソッドは、それらのグループを持つクラスの前/後に実行する必要があると思います。 ¯_（ツ）_ /¯

@ MindaugasMateika-私は説明を提供するために最善を尽くしました。 あなたが納得していないことがわかったので、私を脇に置いて、 @ cbeustまたは@juherrのどちらかがあなたに答えを提供するのを待ちましょう。

https://github.com/cbeust/testng/issues/2135#issuecomment -524169438に関連する問題は、クラスレベルで@Testメソッドを介してグループ情報を含めると、構成が行われるためです。メソッドもグループを継承することになります。 これがTestNGの動作です。

@BeforeXXX構成アノテーションを介して属性inheritGroups=falseを使用することにより、オフにすることができます。

また、TestNGの動作を変更して、クラスレベルの@Testアノテーションから構成アノテーションにグループ情報を継承するTestNGの動作が、 <groups>介してグループフィルタリングが選択された場合にのみオンになるようにしました。 https://github.com/cbeust/testng/pull/2167

@ juherr @ cbeust-この問題ではすべての未解決のクエリが解決されています。 保留中の唯一のことは、チャイムを助けて@MindaugasMateikaの質問に解決策を提供すること

コードの観点からは、この問題で対処する必要のあるものは他にありません。

@krmahadevan naah、

上記のコメントに基づいてこれを閉じる

@Proryanator説明をサンプルに翻訳して

NS：

@BeforeMethodが定義された 'BaseTest'クラスがあり、 testメソッドはありません。 @BeforeMethodをdependsOnMethods = {"importantParentBeforeMethod"}とともに使用して、この1つの重要なメソッドが失敗した場合に@BeforeMethodが実行されないようにしています。

public abstract class BaseTest {

  @BeforeMethod(dependsOnMethods = {"importantParentBeforeMethod"})
  public void setUp() {
    ...
  }
}

@Proryanator説明をサンプルに翻訳して

NS：

@BeforeMethodが定義された 'BaseTest'クラスがあり、 testメソッドはありません。 @BeforeMethodをdependsOnMethods = {"importantParentBeforeMethod"}とともに使用して、この1つの重要なメソッドが失敗した場合に@BeforeMethodが実行されないようにしています。

public abstract class BaseTest {

  @BeforeMethod(dependsOnMethods = {"importantParentBeforeMethod"})
  public void setUp() {
    ...
  }
}

私はこれをやろうと思った、問題ない！

現在、TestNG7.0.0を使用しています。

私は主に、_group_に関係なく_ @ BeforeMethod_を実行する方法を理解しようとしていますが、それでも別のconfigメソッドの成功、つまり_alwaysRun = true_と_dependsOnMethods_の両方の使用に依存しています。

そのため、モバイルドライバーをセットアップする最上位の親クラスがあります。 何かがうまくいかない場合、それはアサート失敗をします。

public abstract class AbstractMobileBaseTest{
   @BeforeMethod(alwaysRun = true)
   public void mobileDriverCreation(){
      if (couldNotCreateDriver()){
         Assert.fail("Could not create the driver at all...");
      }
   }
}

すべてのテストクラスが継承する子クラス。グループに関係なく常に「createSharedObjects」を実行することになっていますが、親クラスのメソッドが失敗した場合は実行しないでください。

public abstract class MobileAppBaseTest extends AbstractMobileBaseTest{
   @BeforeMethod(alwaysRun = true, dependsOnMethods = {"mobileDriverCreation"})
   public void makeMostPages(){
      // does some setup stuff here
   }
}

子クラスには他にも_ @ BeforeMethods_があり、ここに表示することは重要ではありませんが、_alwaysRun = true_と_dependsOnMethods = {"mobileDriverCreation"} _の両方を使用しているため、他の方法。

これがどのように機能するかをテストするために、現在1つのテストのみを実行しています。

mvn verify ... -Dit.test=TestClassName -Dgroups=groupName

結果は次のとおりです。 mobileDriverCreation（） @ BeforeMethodで問題が発生した場合、子@BeforeMethodsが実行されないことを期待していますが、次のように表示されます。

mobileDriverCreation（）でアサーションエラーが発生しましたが、他のすべての@BeforeMethodsが実行されます（独自の例外とエラーがスローされるため、最初のメソッドに依存します）。 ドロップダウンがあり、実行時間がmsであるため、メソッドがまだ実行されていることがわかります。

フォローアップテストを行いました。子の@BeforeMethodsで_makeMostPages_と_digitalServicesMobileSetup_を使用するように直接指定し（groups = {"groupToRun"}、dependsOnMethods = {"mobileDriverCreation"}）、これが_alwaysRunで奇妙なことであることを確認しました。 = true_のみで、グループタグはありません。 以下のスクリーンショットで、これら2つのメソッドは「壊れた」と表示され、実行されなかったことがわかります。これは、失敗に依存するメソッドが原因でスキップされたためです。これが目的です。

_alwaysRun = true_は_dependsOnMethods_よりも優先され、ほとんど無視されているか、最後に使用/チェックされているようです。 後のステップとして_dependsOnMethods_を追加する必要があると思います。

_groups_を使用しない限り、_dependsOnMethods_を使用するだけで期待どおりに機能することはわかっていますが、_groups_を定期的に使用しているため、それを行うことはできません😄

@juherr @krmahadevan

念のために言っておきますが、私たちのプロジェクトではスイートファイルを使用していません（よろしくお願いします）。 次のようにmaven-failsafe-pluginのタグを使用して実行します。ここで、includesはデフォルトで_ **。java_です。これが、_alwaysRun = true_および_dependsOnMethods_の解釈に影響を与える可能性がある場合：

を使って注射してみましたタグを付け、コマンドラインから渡さないのですが、それでも上記の動作が見られます。

<plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-failsafe-plugin</artifactId>
        <version>${failsafe.plugin.version}</version>
        <executions>
          <execution>
            <goals>
              <goal>integration-test</goal>
              <goal>verify</goal>
            </goals>
            <configuration>
              <!-- This reads in any other system variables that you provide via -DparamName=value -->
              <systemPropertyVariables>
                <mobile>${mobile}</mobile>
                <url>${url}</url>
                <platform>${platform}</platform>
                <remote>${remote}</remote>
                <!-- Thread count is set by default variable at the top, if you'd like to change it pass in 'threadCount' as a system variable -->
                <threadCount>${threadCount}</threadCount>
                <retryCount>${retryCount}</retryCount>
                <iosVersion>${iosVersion}</iosVersion>
              </systemPropertyVariables>
              <argLine>
                -javaagent:${settings.localRepository}/org/aspectj/aspectjweaver/${aspectj.version}/aspectjweaver-${aspectj.version}.jar
              </argLine>
              <!-- Cannot run parallel using methods yet, use classes -->
              <parallel>classes</parallel>
              <threadCount>${threadCount}</threadCount>
              <skip>false</skip>
              <encoding>${project.build.sourceEncoding}</encoding>
              <includes>
                <include>${include}</include>
              </includes>
              <workingDirectory>target/${mobile}</workingDirectory>
            </configuration>
          </execution>
        </executions>
      </plugin>

@ Proryanator -TestNG 7.3.0を使用して問題を再現することはできません。 添付のサンプルをご利用ください。

issue_2135.zip

サンプルが目的のものではなく、問題を再現できるようにサンプルを微調整できる場合は、新しい問題を開いてサンプルを添付してください。

@krmahadevan私はあなたのサンプルのクマのアナロジーが大好きです😆

私はあなたのサンプルをダウンロードし、いくつかの小さな変更を加えました。失敗したときを懸念しているので、「GrandpaBear」 @BeforeMethodを少し簡単にするために常に失敗しました。

最上位の親クラスは次のとおりです。

public class GrandpaBearGitHubTest {
  @BeforeMethod(alwaysRun = true)
  public void mobileDriverCreation() {
    Assert.fail("Could not create the driver at all...");
  }
}

したがって、この@BeforeMethodは常にアサーションエラーをスローします。

このクラスの下にある最初のクラスで、_alwaysRun = true_と_dependsOnMethods_があり、 _mobileDriverCreation_と呼ばれる@BeforeMethodが失敗した場合は

public class PapaBearGithubTest extends GrandpaBearGitHubTest {

  @BeforeMethod(alwaysRun = true, dependsOnMethods = {"mobileDriverCreation"})
  public void makeMostPages() {
    System.out.println("Ran makeMostPages");
  }
}

単純な@Testクラスは次のとおりです。

public class GrandsonBearGithubTest extends PapaBearGithubTest {

  @Test(groups = "yogi-bear")
  public void testMethod() {
    System.err.println("Running test method");
  }
}

これは、-Dgroups = yogi-bearを使用した場合と使用しない場合の両方を実行した結果です。 どちらの場合も、子クラス@BeforeMethodは引き続き実行されます（依存するメソッドが失敗した場合でも、「RanmakeMostPages」を出力するとわかります。

[-Dgroupsで実行]

[-Dgroupsなしで実行]

また、IntelliJで実行して、Mavenがグループを処理する方法ではなく、TestNGに関するものであることを確認しましたが、結果は同じでした。

私の推測では、_alwaysRun = true_は短絡を引き起こす可能性があるか、または_dependsOnMethods_よりも優先される可能性があります。

さらに調査/テストを行い、2番目の@BeforeMethodを@ BeforeMethodが実行されなかったことを示します。これは、動作の問題が_alwaysRun = true_を中心に展開していることを示しています。

これは、予期される-Dgroups = yogi-bearを指定した場合にのみ、この@BeforeMethodを実行するようになりましたが、_dependsOnMethods_を尊重するため、新しい@BeforeMethodは実行されません。

public class PapaBearGithubTest extends GrandpaBearGitHubTest {

  @BeforeMethod(alwaysRun = true, dependsOnMethods = {"mobileDriverCreation"})
  public void makeMostPages() {
    System.out.println("Ran makeMostPages");
  }

  @BeforeMethod(groups = {"yogi-bear"}, dependsOnMethods = {"mobileDriverCreation"})
  public void makeOtherPages() {
    System.out.println("Ran makeOtherPages");
  }
}

新しい@BeforeMethodが実行された場合、「Ran makeOtherPages」が表示されますが、そのような出力は表示されず、最初の出力から「RanmakeMostPages」だけが表示されます。

@krmahadevan更新したサンプルを添付しました。再現できる場合は、先に進んで問題を開きます。
更新-issue_2135.zip

修正に取り組んでもかまいません。これは私の組織で使用できますが、 @ BeforeMethodのパラメーターの分析方法に関しては、ソースコードのどこを調べるべきか

@Proryanator新しい号を開いて

@Proryanator新しい号を開いて

新しく開かれた問題はここにあります：＃2448