Testng: O DataProvider não executa testes em paralelo ao usar o Factory

Criado em 13 nov. 2018 · 15Comentários · Fonte: cbeust/testng

Versão TestNG

7.0.0-beta1

Comportamento esperado

Eu tenho uma classe que contém um DataProvider com 5 conjuntos de dados, incluindo nome do navegador, versão e plataforma, como você pode ver aqui:

public class DataProviderManager {
    @DataProvider(parallel = true)
    public static Object[][] defaultWebDataProvider() {
        return new Object[][] {
                new Object[]{"chrome", "70", "Windows 10"},
                new Object[]{"internet explorer", "11", "Windows 10"},
                new Object[]{"safari", "12.0", "Mac 10.13"},
                new Object[]{"chrome", "70", "Mac 10.13"},
                new Object[]{"firefox", "63", "Mac 10.13"}
        };
    }
}

Em minha aula de teste, estou usando o Factory para passar dados como:

public class MSGWebExampleTest extends BaseTest {
    // Declare page objects
    private MSGHome msgHome;
    // Declare test data

    @Factory(dataProvider = StaticProps.DEFAULT_WEB_DATA_PROVIDER, dataProviderClass = DataProviderManager.class)
    public MSGWebExampleTest(String browser, String browserVersion, String platform) {
        super.setRunParams(browser, browserVersion, platform);
    }

    @BeforeMethod(alwaysRun = true)
    public void setupTest() {
        msgHome = new MSGHome();
    }

    @Features({GroupProps.WEB})
    @Test(groups = {GroupProps.DEBUG})
    @Parameters({ParamProps.WEB, ParamProps.MOBILE_WEB})
    public void openSiteTest() {
        new WebInteract(null,null).pause(1000).openUrl(URLBuilder.buildUrl());
    }
}

testing.xml:

<!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd" >
<suite name="Test Engineering Core Suite" parallel="methods" thread-count="2" data-provider-thread-count="4">

Se eu definir thread-count = 2 e data-provider-thread-count = 4 e parallel = true, meu teste deve ser executado 8 vezes em paralelo.

Comportamento real

Os testes são executados sequencialmente, independentemente de quantos threads eu tento definir como se parallel = true fosse ignorado. Eu tentei várias tentativas de fazer isso rodar em paralelo usando o testing.xml acima, passando -Dthreadcount = 2 -Ddataproviderthreacount = 4 da linha de comando e até mesmo definindo esses valores na tag de configuração do plug-in surefire e nada está funcionando.

O problema pode ser reproduzido no runner?

[x] Shell
[x] Maven
[] Gradle
[] Formiga
[] Eclipse
[x] IntelliJ
[] NetBeans

Amostra de caso de teste

Por favor, compartilhe o caso de teste (o menor possível) que mostra o problema

Question

Fonte

VinceBarresi

Todos 15 comentários

@VinceBarresi - Não tenho certeza de como você está dizendo que o TestNG está executando testes sequencialmente.

Eu alterei sua classe de teste para imprimir os ids do thread e é assim que parece

import org.testng.annotations.DataProvider;
import org.testng.annotations.Factory;
import org.testng.annotations.Test;

public class MSGWebExampleTest {

  private String browser, browserVersion, platform;

  @Factory(dataProvider = "dp")
  public MSGWebExampleTest(String browser, String browserVersion, String platform) {
    this.browser = browser;
    this.browserVersion = browserVersion;
    this.platform = platform;
  }

  <strong i="8">@Test</strong>
  public void openSiteTest() {
    System.err.println("Running " + this + " on thread [" + Thread.currentThread().getId() + "]");
  }

  <strong i="9">@Override</strong>
  public String toString() {
    return String.format("[%s, %s, %s]", browser, browserVersion, platform);
  }

  @DataProvider(parallel = true, name = "dp")
  public static Object[][] defaultWebDataProvider() {
    return new Object[][]{
        new Object[]{"chrome", "70", "Windows 10"},
        new Object[]{"internet explorer", "11", "Windows 10"},
        new Object[]{"safari", "12.0", "Mac 10.13"},
        new Object[]{"chrome", "70", "Mac 10.13"},
        new Object[]{"firefox", "63", "Mac 10.13"}
    };
  }
}

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
<suite name="Test Engineering Core Suite"
  parallel="methods"
  data-provider-thread-count="4"
  thread-count="2"
  verbose="2">
  <test name="Test Engineering Core_test">
    <classes>
      <class name="com.rationaleemotions.github.issue1951.MSGWebExampleTest"/>
    </classes>
  </test>
</suite>

A saída

...
... TestNG 7.0.0-beta1 by Cédric Beust ([email protected])
...
Running [chrome, 70, Mac 10.13] on thread [11]
Running [chrome, 70, Windows 10] on thread [12]
Running [internet explorer, 11, Windows 10] on thread [12]
Running [firefox, 63, Mac 10.13] on thread [11]
Running [safari, 12.0, Mac 10.13] on thread [12]
PASSED: openSiteTest on [chrome, 70, Mac 10.13]
PASSED: openSiteTest on [chrome, 70, Windows 10]
PASSED: openSiteTest on [internet explorer, 11, Windows 10]
PASSED: openSiteTest on [firefox, 63, Mac 10.13]
PASSED: openSiteTest on [safari, 12.0, Mac 10.13]

===============================================
    Test Engineering Core_test
    Tests run: 5, Failures: 0, Skips: 0
===============================================

===============================================
Test Engineering Core Suite
Total tests run: 5, Passes: 5, Failures: 0, Skips: 0
===============================================

Como você pode ver na saída acima, os ids de thread são diferentes (dois threads para ser específico, pois nossa contagem de threads é 2)

Seu provedor de dados em sua amostra está vinculado a um método de fábrica e NÃO a um método @Test . Portanto, ele não terá nenhuma função a desempenhar no número de threads em execução.

Somente quando o seguinte acontecer -

um provedor de dados é acoplado a um método @Test
o atributo paralelo de @DataProvider é definido como true
o atributo parallel está definido como methods na tag <suite> (ou) <test>
data-provider-thread-count é definido com um valor superior a 1

O paralelismo será habilitado pelo TestNG e o número de @Test métodos fornecidos pelo provedor de dados será igual ao número de threads configurados por meio do atributo data-provider-thread-count.

Nota: O atributo thread-count no arquivo xml da suíte é aplicável SOMENTE a métodos REGULARES e o atributo data-provider-thread-count no arquivo xml da suíte é aplicável SOMENTE a um método de teste baseado em Provedor de Dados

Informe se essa explicação faz sentido e se o problema pode ser resolvido.

krmahadevan em 14 nov. 2018

@krmahadevan Obrigado pela sua resposta detalhada. Eu gostaria de testar isso quando tiver uma chance. Eu tenho algumas perguntas,

1: O provedor de dados (neste caso - "dp) tem que estar na mesma classe do @Test para o qual estamos passando o provedor de dados para ainda conseguir paralelismo por data-provider-thread-count e parallel = true? ?

2: Você executou testes no nível de suíte? Em caso afirmativo, isso importa em termos de paralelismo? Por exemplo, se eu chutar meus testes de grupo DEBUG via surefire usando mvn test -Dgroups = DEBUG, preciso passar o threadcount do dataprovider por meio de um parâmetro neste comando?

VinceBarresi em 14 nov. 2018

1: O provedor de dados (neste caso - "dp) tem que estar na mesma classe que @Test qual estamos passando o provedor de dados para ainda conseguir paralelismo por data-provider-thread-count? e paralelo = verdadeiro?

Não é necessário. Não importa onde o provedor de dados reside.

2: Você executou testes no nível de suíte? Em caso afirmativo, isso importa em termos de paralelismo? Por exemplo, se eu chutar meus testes de grupo DEBUG via surefire usando mvn test -Dgroups = DEBUG, preciso passar o threadcount do dataprovider por meio de um parâmetro neste comando?

Sim, executei os testes no nível da suíte. Não deveria importar. Como
contanto que a contagem de threads do provedor de dados esteja disponível no arquivo do pacote
(o valor padrão se não for fornecido é 10, eu acredito), deve funcionar
perfeitamente.

krmahadevan em 15 nov. 2018

@krmahadevan Então eu tive a chance de testar esta manhã usando suas mudanças sugeridas e fazer algumas observações.

Se eu mantiver o DataProvider na classe de teste e passar o nome do DataProvider para a anotação de teste, parece que o teste está tentando ser executado em paralelo, mas estou vendo os seguintes erros:

...
... TestNG 7.0.0-beta1 by Cédric Beust ([email protected])
...

org.testng.internal.reflect.MethodMatcherException: 
Data provider mismatch
Method: openSiteTest([])
Arguments: [(java.lang.String) chrome,(java.lang.String) 70,(java.lang.String) Windows 10]

    at org.testng.internal.reflect.DataProviderMethodMatcher.getConformingArguments(DataProviderMethodMatcher.java:40)
    at org.testng.internal.Parameters.injectParameters(Parameters.java:936)
    at org.testng.internal.Invoker.invokeTestMethods(Invoker.java:1057)
    at org.testng.internal.TestMethodWorker.invokeTestMethods(TestMethodWorker.java:140)
    at org.testng.internal.TestMethodWorker.run(TestMethodWorker.java:122)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)


org.testng.internal.reflect.MethodMatcherException: 
Data provider mismatch
Method: openSiteTest([])
Arguments: [(java.lang.String) chrome,(java.lang.String) 70,(java.lang.String) Windows 10]

    at org.testng.internal.reflect.DataProviderMethodMatcher.getConformingArguments(DataProviderMethodMatcher.java:40)
    at org.testng.internal.Parameters.injectParameters(Parameters.java:936)
    at org.testng.internal.Invoker.invokeTestMethods(Invoker.java:1057)
    at org.testng.internal.TestMethodWorker.invokeTestMethods(TestMethodWorker.java:140)
    at org.testng.internal.TestMethodWorker.run(TestMethodWorker.java:122)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)


org.testng.internal.reflect.MethodMatcherException: 
Data provider mismatch
Method: openSiteTest([])
Arguments: [(java.lang.String) chrome,(java.lang.String) 70,(java.lang.String) Windows 10]

    at org.testng.internal.reflect.DataProviderMethodMatcher.getConformingArguments(DataProviderMethodMatcher.java:40)
    at org.testng.internal.Parameters.injectParameters(Parameters.java:936)
    at org.testng.internal.Invoker.invokeTestMethods(Invoker.java:1057)
    at org.testng.internal.TestMethodWorker.invokeTestMethods(TestMethodWorker.java:140)
    at org.testng.internal.TestMethodWorker.run(TestMethodWorker.java:122)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)


org.testng.internal.reflect.MethodMatcherException: 
Data provider mismatch
Method: openSiteTest([])
Arguments: [(java.lang.String) chrome,(java.lang.String) 70,(java.lang.String) Windows 10]

    at org.testng.internal.reflect.DataProviderMethodMatcher.getConformingArguments(DataProviderMethodMatcher.java:40)
    at org.testng.internal.Parameters.injectParameters(Parameters.java:936)
    at org.testng.internal.Invoker.invokeTestMethods(Invoker.java:1057)
    at org.testng.internal.TestMethodWorker.invokeTestMethods(TestMethodWorker.java:140)
    at org.testng.internal.TestMethodWorker.run(TestMethodWorker.java:122)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)


org.testng.internal.reflect.MethodMatcherException: 
Data provider mismatch
Method: openSiteTest([])
Arguments: [(java.lang.String) chrome,(java.lang.String) 70,(java.lang.String) Windows 10]

    at org.testng.internal.reflect.DataProviderMethodMatcher.getConformingArguments(DataProviderMethodMatcher.java:40)
    at org.testng.internal.Parameters.injectParameters(Parameters.java:936)
    at org.testng.internal.Invoker.invokeTestMethods(Invoker.java:1057)
    at org.testng.internal.TestMethodWorker.invokeTestMethods(TestMethodWorker.java:140)
    at org.testng.internal.TestMethodWorker.run(TestMethodWorker.java:122)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)


Test ignored.

===============================================
Test Engineering Core Suite
Total tests run: 5, Passes: 0, Failures: 5, Skips: 0
===============================================


Process finished with exit code 0

Se eu mover o DataProvider de volta para minha classe DataProviderManager.java e tentar executar com o DataProvider passado para a anotação de teste, ele novamente parece estar tentando executar em paralelo, mas vejo o seguinte, que é um erro diferente:

...
... TestNG 7.0.0-beta1 by Cédric Beust ([email protected])
...
[Utils] [ERROR] [Error] org.testng.TestNGException: 
Method public void com.msg.test.coretest.uitests.msgdotcom.MSGWebExampleTest.openSiteTest() requires a <strong i="7">@DataProvider</strong> named : defaultWebDataProvider
    at org.testng.internal.Parameters.findDataProvider(Parameters.java:614)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:808)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:775)
    at org.testng.internal.ParameterHandler.handleParameters(ParameterHandler.java:60)
    at org.testng.internal.ParameterHandler.createParameters(ParameterHandler.java:39)
    at org.testng.internal.Invoker.invokeTestMethods(Invoker.java:1024)
    at org.testng.internal.TestMethodWorker.invokeTestMethods(TestMethodWorker.java:140)
    at org.testng.internal.TestMethodWorker.run(TestMethodWorker.java:122)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)

[Utils] [ERROR] [Error] org.testng.TestNGException: 
Method public void com.msg.test.coretest.uitests.msgdotcom.MSGWebExampleTest.openSiteTest() requires a <strong i="8">@DataProvider</strong> named : defaultWebDataProvider
    at org.testng.internal.Parameters.findDataProvider(Parameters.java:614)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:808)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:775)
    at org.testng.internal.ParameterHandler.handleParameters(ParameterHandler.java:60)
    at org.testng.internal.ParameterHandler.createParameters(ParameterHandler.java:39)
    at org.testng.internal.Invoker.invokeTestMethods(Invoker.java:1024)
    at org.testng.internal.TestMethodWorker.invokeTestMethods(TestMethodWorker.java:140)
    at org.testng.internal.TestMethodWorker.run(TestMethodWorker.java:122)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)

[Utils] [ERROR] [Error] org.testng.TestNGException: 
Method public void com.msg.test.coretest.uitests.msgdotcom.MSGWebExampleTest.openSiteTest() requires a <strong i="9">@DataProvider</strong> named : defaultWebDataProvider
    at org.testng.internal.Parameters.findDataProvider(Parameters.java:614)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:808)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:775)
    at org.testng.internal.ParameterHandler.handleParameters(ParameterHandler.java:60)
    at org.testng.internal.ParameterHandler.createParameters(ParameterHandler.java:39)
    at org.testng.internal.Invoker.invokeTestMethods(Invoker.java:1024)
    at org.testng.internal.TestMethodWorker.invokeTestMethods(TestMethodWorker.java:140)
    at org.testng.internal.TestMethodWorker.run(TestMethodWorker.java:122)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)

[Utils] [ERROR] [Error] org.testng.TestNGException: 
Method public void com.msg.test.coretest.uitests.msgdotcom.MSGWebExampleTest.openSiteTest() requires a <strong i="10">@DataProvider</strong> named : defaultWebDataProvider
    at org.testng.internal.Parameters.findDataProvider(Parameters.java:614)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:808)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:775)
    at org.testng.internal.ParameterHandler.handleParameters(ParameterHandler.java:60)
    at org.testng.internal.ParameterHandler.createParameters(ParameterHandler.java:39)
    at org.testng.internal.Invoker.invokeTestMethods(Invoker.java:1024)
    at org.testng.internal.TestMethodWorker.invokeTestMethods(TestMethodWorker.java:140)
    at org.testng.internal.TestMethodWorker.run(TestMethodWorker.java:122)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)

[Utils] [ERROR] [Error] org.testng.TestNGException: 
Method public void com.msg.test.coretest.uitests.msgdotcom.MSGWebExampleTest.openSiteTest() requires a <strong i="11">@DataProvider</strong> named : defaultWebDataProvider
    at org.testng.internal.Parameters.findDataProvider(Parameters.java:614)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:808)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:775)
    at org.testng.internal.ParameterHandler.handleParameters(ParameterHandler.java:60)
    at org.testng.internal.ParameterHandler.createParameters(ParameterHandler.java:39)
    at org.testng.internal.Invoker.invokeTestMethods(Invoker.java:1024)
    at org.testng.internal.TestMethodWorker.invokeTestMethods(TestMethodWorker.java:140)
    at org.testng.internal.TestMethodWorker.run(TestMethodWorker.java:122)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)


org.testng.TestNGException: 
Method public void com.msg.test.coretest.uitests.msgdotcom.MSGWebExampleTest.openSiteTest() requires a <strong i="12">@DataProvider</strong> named : defaultWebDataProvider

    at org.testng.internal.Parameters.findDataProvider(Parameters.java:614)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:808)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:775)
    at org.testng.internal.ParameterHandler.handleParameters(ParameterHandler.java:60)
    at org.testng.internal.ParameterHandler.createParameters(ParameterHandler.java:39)
    at org.testng.internal.Invoker.invokeTestMethods(Invoker.java:1024)
    at org.testng.internal.TestMethodWorker.invokeTestMethods(TestMethodWorker.java:140)
    at org.testng.internal.TestMethodWorker.run(TestMethodWorker.java:122)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)


org.testng.TestNGException: 
Method public void com.msg.test.coretest.uitests.msgdotcom.MSGWebExampleTest.openSiteTest() requires a <strong i="13">@DataProvider</strong> named : defaultWebDataProvider

    at org.testng.internal.Parameters.findDataProvider(Parameters.java:614)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:808)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:775)
    at org.testng.internal.ParameterHandler.handleParameters(ParameterHandler.java:60)
    at org.testng.internal.ParameterHandler.createParameters(ParameterHandler.java:39)
    at org.testng.internal.Invoker.invokeTestMethods(Invoker.java:1024)
    at org.testng.internal.TestMethodWorker.invokeTestMethods(TestMethodWorker.java:140)
    at org.testng.internal.TestMethodWorker.run(TestMethodWorker.java:122)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)


org.testng.TestNGException: 
Method public void com.msg.test.coretest.uitests.msgdotcom.MSGWebExampleTest.openSiteTest() requires a <strong i="14">@DataProvider</strong> named : defaultWebDataProvider

    at org.testng.internal.Parameters.findDataProvider(Parameters.java:614)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:808)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:775)
    at org.testng.internal.ParameterHandler.handleParameters(ParameterHandler.java:60)
    at org.testng.internal.ParameterHandler.createParameters(ParameterHandler.java:39)
    at org.testng.internal.Invoker.invokeTestMethods(Invoker.java:1024)
    at org.testng.internal.TestMethodWorker.invokeTestMethods(TestMethodWorker.java:140)
    at org.testng.internal.TestMethodWorker.run(TestMethodWorker.java:122)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)


org.testng.TestNGException: 
Method public void com.msg.test.coretest.uitests.msgdotcom.MSGWebExampleTest.openSiteTest() requires a <strong i="15">@DataProvider</strong> named : defaultWebDataProvider

    at org.testng.internal.Parameters.findDataProvider(Parameters.java:614)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:808)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:775)
    at org.testng.internal.ParameterHandler.handleParameters(ParameterHandler.java:60)
    at org.testng.internal.ParameterHandler.createParameters(ParameterHandler.java:39)
    at org.testng.internal.Invoker.invokeTestMethods(Invoker.java:1024)
    at org.testng.internal.TestMethodWorker.invokeTestMethods(TestMethodWorker.java:140)
    at org.testng.internal.TestMethodWorker.run(TestMethodWorker.java:122)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)


org.testng.TestNGException: 
Method public void com.msg.test.coretest.uitests.msgdotcom.MSGWebExampleTest.openSiteTest() requires a <strong i="16">@DataProvider</strong> named : defaultWebDataProvider

    at org.testng.internal.Parameters.findDataProvider(Parameters.java:614)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:808)
    at org.testng.internal.Parameters.handleParameters(Parameters.java:775)
    at org.testng.internal.ParameterHandler.handleParameters(ParameterHandler.java:60)
    at org.testng.internal.ParameterHandler.createParameters(ParameterHandler.java:39)
    at org.testng.internal.Invoker.invokeTestMethods(Invoker.java:1024)
    at org.testng.internal.TestMethodWorker.invokeTestMethods(TestMethodWorker.java:140)
    at org.testng.internal.TestMethodWorker.run(TestMethodWorker.java:122)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)


Test ignored.

===============================================
Test Engineering Core Suite
Total tests run: 5, Passes: 0, Failures: 5, Skips: 0
===============================================

Alguma opinião sobre isso?

VinceBarresi em 15 nov. 2018

Você pode compartilhar o código de teste usado para acionar o erro?

krmahadevan em 15 nov. 2018

Estou usando o arquivo testing.xml exato que você colou acima (obviamente com a classe apontando para minha classe de teste em meu pacote). Aqui está meu DataProviderManager.java

public class DataProviderManager {
    @DataProvider(parallel = true, name = "defaultWebDataProvider")
    public static Object[][] defaultWebDataProvider() {
        return new Object[][]{
                new Object[]{"chrome", "70", "Windows 10"},
                new Object[]{"internet explorer", "11", "Windows 10"},
                new Object[]{"safari", "12.0", "Mac 10.13"},
                new Object[]{"chrome", "70", "Mac 10.13"},
                new Object[]{"firefox", "63", "Mac 10.13"}
        };
    }
}

aqui está minha aula de teste

public class MSGWebExampleTest extends BaseTest {

    // Declare page objects
    private MSGHome msgHome;

    @Factory(dataProvider = StaticProps.DEFAULT_WEB_DATA_PROVIDER, dataProviderClass = DataProviderManager.class)
    //  @Factory(dataProvider = StaticProps.DEFAULT_WEB_DATA_PROVIDER)
    public MSGWebExampleTest(String browser, String browserVersion, String platform) {
        super.setRunParams(browser, browserVersion, platform);
    }

    @BeforeMethod(alwaysRun = true)
    public void setupTest() {
        msgHome = new MSGHome();
    }

    @TestCaseId("")
    @Features({GroupProps.WEB})
    @Test(groups = {GroupProps.DEBUG}, dataProvider = StaticProps.DEFAULT_WEB_DATA_PROVIDER)
    @Parameters({ParamProps.WEB, ParamProps.MOBILE_WEB})
      public void openSiteTest() {
        Logger.logMessage(Thread.currentThread().getId());
        new WebInteract(null, null).pause(1000).openUrl(URLBuilder.buildUrl());
    }
//    @DataProvider(parallel = true, name = StaticProps.DEFAULT_WEB_DATA_PROVIDER)
//    public static Object[][] defaultWebDataProvider() {
//        return new Object[][] {
//                new Object[]{"chrome", "70", "Windows 10"},
//                new Object[]{"internet explorer", "11", "Windows 10"},
//                new Object[]{"safari", "12.0", "Mac 10.13"},
//                new Object[]{"chrome", "70", "Mac 10.13"},
//                new Object[]{"firefox", "63", "Mac 10.13"}
//        };
//    }

}

Se você quiser testar o cenário um, descomente o que está no teste. Para o cenário 2, você pode executar como está

VinceBarresi em 15 nov. 2018

@VinceBarresi - O problema em ambos os casos é devido ao seu código de teste. Não acho que o TestNG esteja com defeito aqui.

Cenário 1

O erro org.testng.internal.reflect.MethodMatcherException: Data provider mismatch está surgindo porque você está amarrando o método de teste public void openSiteTest() com um provedor de dados que retorna 3 parâmetros defaultWebDataProvider() mas seu método de teste não tem nenhum argumento de método em tudo. Você precisa garantir que o método de teste e o provedor de dados ao qual está vinculado correspondam aos parâmetros em termos de comprimento, tipo e ordem dos parâmetros. Corrija o seu código de teste.

Cenário 2

O erro Method public void com.msg.test.coretest.uitests.msgdotcom.MSGWebExampleTest.openSiteTest() requires a <strong i="15">@DataProvider</strong> named : defaultWebDataProvider é novamente devido a um problema em seu código de teste. Você moveu seu provedor de dados para uma classe diferente chamada DataProviderManager . Mas em seu método @Test , você está apenas se referindo ao provedor de dados pelo nome. Por padrão, se você não fornecer o nome da classe em que reside seu provedor de dados, o TestNG sempre procurará um provedor de dados na classe atual. Como não foi encontrado, o TestNG reclama. Novamente, você precisa corrigir seu código de teste para consultar um provedor de dados de maneira adequada.

Uma vez que o problema original está resolvido, estou encerrando este problema com uma resolução conforme a pergunta respondida

krmahadevan em 16 nov. 2018

@krmahadevan Este é um mal-entendido de DataProvider da minha parte - Já que não preciso que os parâmetros passados dele no próprio teste (eu preciso deles em meus getters e setters locais para passar para as capacidades de selênio), não percebi que precisava para passá-los para o método de teste real. Eu realmente aprecio você esclarecer isso!

Eu tenho mais uma pergunta sobre paralelismo se você tiver um momento - Como faço para definir a contagem de threads do provedor de dados e / ou a contagem de threads para que todos os 5 conjuntos de dados de

@DataProvider(parallel = true, name = "dp") public static Object[][] defaultWebDataProvider() { return new Object[][]{ new Object[]{"chrome", "70", "Windows 10"}, new Object[]{"internet explorer", "11", "Windows 10"}, new Object[]{"safari", "12.0", "Mac 10.13"}, new Object[]{"chrome", "70", "Mac 10.13"}, new Object[]{"firefox", "63", "Mac 10.13"} }; }
executar exatamente ao mesmo tempo para cada @test ? Atualmente posso executar em paralelo, mas está executando o mesmo conjunto (por exemplo, "chrome", "70", "Windows 10") n número de threads em vez de executar cada conjunto ao mesmo tempo.

VinceBarresi em 16 nov. 2018

Você precisa usar uma fábrica (anotação @Factory ) com um provedor de dados.

A fábrica usa o provedor de dados para basicamente criar instâncias de classe de teste (uma classe que abriga um ou mais @Test métodos) e, então, quando eles forem executados, TestNG garantirá que executará todos os métodos de teste em uma instância (use o atributo parallel=instances )

krmahadevan em 17 nov. 2018

@krmahadevan Estou usando @Factory, que configura recursos, incluindo navegador, versão, plataforma do meu DataProvider e inicializa instâncias thread-safe do WebDriver. Se eu definir (parallel = instances), o teste é executado em paralelo, mas está executando várias instâncias com o mesmo navegador, versão e plataforma do meu DataProvider, como você pode ver abaixo:

screen shot 2018-11-19 at 10 20 21 am

Em vez de executar vários threads em cada um deles no Safari, 12, Mac 10.13, estou tentando executar o teste em vários threads em paralelo com -

novo objeto [] {"chrome", "70", "Windows 10"}, ESTE DEVE SER A LINHA 1
novo objeto [] {"internet explorer", "11", "Windows 10"}, ESTE DEVE SER LINHA 2
novo objeto [] {"safari", "12.0", "Mac 10.13"}, ESTE DEVE SER FIO 3
novo objeto [] {"chrome", "70", "Mac 10.13"}, ESTE DEVE SER LINHA 4
new Object [] {"firefox", "63", "Mac 10.13"} ESTE DEVE SER LINHA 5

VinceBarresi em 19 nov. 2018

@VinceBarresi - Eu adicionei uma resposta detalhada à sua pergunta sobre estouro de pilha.

Para resumir, quando você usa @Factory com @DataProvider para produzir instâncias de classe de teste, TestNG instancia instâncias de classe de teste em paralelo, mas executa cada um dos @Test métodos em cada uma das classes de teste em sequência.

krmahadevan em 19 nov. 2018

👍1

@krmahadevan sua resposta no StackOverflow foi muito esclarecedora, obrigado!

Uma pergunta: digamos que você use o mesmo provedor de dados para todos os testes. Existe uma maneira de evitar a duplicação do código de fábrica em todas as classes?

Obrigado!

borbamartin em 9 mar. 2020

@borbamartin - Você pode ter todas as suas @Factory fábricas movidos compartilham o mesmo provedor de dados usando o dataProviderClass atributo no @Factory anotação.

sua resposta no StackOverflow foi muito esclarecedora, obrigado!

Fico feliz em saber que ajudou você 👍

krmahadevan em 10 mar. 2020

@krmahadevan sim, deixe-me reformular.

Digamos que eu tenha 50 classes de recursos que contêm vários testes cada. Isso significa que tenho que escrever as seguintes 50 vezes (em cada aula)

@Factory(dataProvider = "browserMatrix")
public LoginFeature(BrowserConfig browserConfig) {
    super.browserConfig = browserConfig;
}

A questão é: TestNG fornece algo que posso usar para evitar escrever isso em todas as classes de teste?

Obrigado mais uma vez!

borbamartin em 10 mar. 2020

@borbamartin -

krmahadevan em 12 mar. 2020

👍1

Esta página foi útil?

0 / 5 - 0 avaliações

Questões relacionadas

TestNG não pode encontrar nomes de métodos JUnit de Spock

blackduck-joe · 13Comentários

O provedor de dados é executado para testes ignorados em caso de falha de BeforeClass

baflQA · 7Comentários

Adicione uma maneira de terceiros interceptarem a injeção de parâmetro de método

juherr · 3Comentários

Problemas de versão em 6.9.13

eskatos · 17Comentários

ITestListener - Adicionar métodos não simplificados ausentes no eclipse para

sen1983 · 8Comentários