Cucumber-js: 구현 --재시도

@ericyliu 오이 3로 나옵니다. 오이 2가 아직 RC에 있는 이유는 모르겠지만...

@charlierudolph 또는 포인터가 있으면 누구든지 이것을 선택하여

내 추정적 접근 방식은 실행 중인 시나리오가 끝날 때 실패 여부를 알 수 있고 다시 실행할 수 있다는 것입니다(재시도 횟수에 대한 일부 상태 유지). 나는 어디에 이것을 연결할 수 있습니까?

뿐만 아니라 전체 프로세스가 끝날 때 모든 시나리오, 재시도 횟수 및 최종 상태 목록에 액세스할 수 있기를 기대합니다. .

나는 개인적으로 이것을 동의하지 않기 때문에 이것을 구현하고 싶지 않기 때문에 닫습니다. 나는 깜박임의 원인을 수정하는 대신 깜박임 테스트를 처리하는 데 사용할 수있는 기능을 제공하는 것을 좋아하지 않습니다.

👏👏👏

@charlierudolph 때로는 깜박임 테스트를 처리하는 것이 불가능합니다. 예를 들어, 우리 환경에는 애플리케이션이 적중하는 23개의 서로 다른 서비스가 있으며, 우리는 이러한 서비스를 소유하지 않기 때문에 어느 서비스도 언제든지 다운될 수 있습니다. --retry 플래그를 사용하면 일시적인 서비스 중단(서비스를 다시 시작할 때)으로 인해 테스트 제품군이 실패하지 않도록 테스트를 다시 실행할 수 있습니다.

이 기능에 대한 개인적인 의견 차이와 관련하여(이 주장은 엔지니어링 세계에서 탭 대 공백만큼 무익할 수 있음) 도구 사양인 Cucumber가 이를 구현하는 경우 이 도구의 JS 버전에서도 이를 지원해야 합니다.

또한 광범위한 테스트 제품군과 복잡한 응용 프로그램이 있는 현실 세계에서는 박편에 대해 100% 방어할 수 없으므로

현실 세계에서 사전 예방 조치를 위한 취약성을 식별하기 위해 우수한 추적 기능 을 추가하여 실패한 테스트를 재시도할 수 있는 것은 매우 가치가 있습니다.

이 문제를 종료하기로 한 결정을 재고해 주시면 감사하겠습니다. 앞서 언급한 대로 몇 가지 지침에 따라 이 문제를 해결해 드리겠습니다.

이 cucumber-js already 추가하려면 기본적으로 재시도일 뿐이지만 별도의 프로세스로 실행해야 하므로 효율성이 떨어지는 rerun 기능이 있습니다. 다시 시도하는 것이 훨씬 더 나은 솔루션입니다.

cc @charlierudolph

또한 광범위한 테스트 제품군과 복잡한 응용 프로그램이 있는 현실 세계에서는 박편에 대해 100% 방어할 수 없으므로 엄청나게 비쌉니다.

나는 비정상적 테스트를 절대적으로 싫어한다. 현재 프로젝트에서 저는 CI에서 비정상적 테스트를 실행하지 않고 수동 실행을 위해 저장하려고 합니다. 비정상으로 인해 무언가가 실패하면 다시 실행하거나 수동으로 확인할 수 있습니다. 이는 벗겨짐의 원인을 찾고 이를 처리해야 하는 테스트 수를 제한하는 데 달려 있습니다.

이 오이-js에 추가하려면 기본적으로 재시도일 뿐이지만 별도의 프로세스로 실행해야 하므로 효율성이 떨어지는 재실행 기능이 이미 있습니다(이는 올바르게 이해하고 있습니다). 다시 시도하는 것이 훨씬 더 나은 솔루션입니다.

재실행은 수정해야 하는 테스트에 쉽게 집중할 수 있도록 구축되었습니다. 예, 실패한 시나리오만 다시 시도하는 데 사용할 수 있습니다.

나는 비정상적 테스트가 피해야 한다는 것에 100% 동의합니다. 즉, 테스트의 취약성은 종종 팀의 통제 하에 있지 않은 것입니다. 여기 내 상황이 있습니다.

Cucumber, Nightwatch, Selenium 및 Browserstack을 사용하여 웹 앱에서 종단 간 테스트를 실행하고 있습니다. 종종 시나리오는 Selenium, Browserstack 또는 테스트 중인 브라우저의 고유한 취약성으로 인해 실패합니다. 마우스 움직임과 관련된 상호 작용은 이로 인해 악명이 높습니다. 내 모든 시나리오를 최소한 소수의 비정상적 상태 없이 실행할 수 있는 경우는 드뭅니다.

Selenium, Browserstack 또는 브라우저를 덜 불안정하게 만들 수는 없습니다. 이는 제가 작업해야 하는 도구의 특성일 뿐입니다. 내가 필요한 솔루션은 실패할 경우 내 시나리오를 두 번 다시 시도할 수 있는 것입니다.

나는 우리가 이것을 재고해야 한다고 생각한다. Cucumber-Ruby는 지금 그것을 가지고 있습니다.

동의. 다음은 Ruby 구현을 위한 코드입니다. JS 구현에 유용할 수 있습니다. https://github.com/cucumber/cucumber-ruby/pull/920/files

안녕하세요 여러분, 이제 Cucumber-JS에서 '재시도' 기능을 사용할 수 있습니까? 비정상적 테스트가 수정되어야 한다는 데 동의하지만 경험에 따르면 많은 외부 종속성이 관련된 대규모 프로젝트에서 작업할 때 항상 가능한 것은 아닙니다.
하루가 끝나면 재시도 논리가 없기 때문에 이러한 불안정한 테스트 케이스를 자동화로 처리할 수 없다면 어쨌든 수동으로 테스트해야 합니다.
재시도 논리를 사용하는 것은 Cucumber 사용자에게 선택 사항으로 남겨두어야 한다고 생각합니다.
나는 '재실행' 기능을 알고 있지만 이를 사용하면 오이 러너가 투명하게 수행하도록 하기 위해 별도로 테스트를 다시 실행해야 하므로 복잡성이 추가됩니다.

안녕하세요 @charlierudolph 와 @aslakhellesoy입니다. 이 기능에 진전이 있습니까?

내가 아는 한 아무도 그것에 대해 작업하지 않습니다. 누군가가 pull 요청을 제공한다면 나는 그것을 추가하는 것을 고려할 것입니다.

안녕하세요 @aslakhellesoy 너무 빨리 답장을 보내 주셔서 감사합니다. 이것은 우리가 자동화해야 하는 장치 중 하나가 약간 불안정하고 이 경우 실패한 시나리오를 다시 실행하는 것 외에 실제로 실용적인 대안이 없기 때문에 현재 우리에게 정말 필요한 것입니다.
내 생각은 재시도 횟수를 지정하기 위해 시나리오별 태그를 사용하는 것이지만 최소한 명령줄 매개변수일 수 있는 시작 구현으로 사용하는 것입니다.
나는 앞으로 며칠 안에 코드를 살펴보려고 노력할 것이다.

그것은 좋을 것입니다! Cucumber-Ruby와 같은 방식으로 동작하도록 해보세요. 통합/일관성이 우리가 추구하는 것이므로 병합하지 않을 수 있습니다.

@aslakhellesoy 안녕하세요. 기본 재시도 기능을 CLI --retry 옵션으로 구현했습니다. 나는 우리 프로젝트와 함께 그것을 테스트했고 잘 작동합니다. 내 작업 지점을 푸시하고 구현을 논의하기 위해 PR을 열려면 권한이 필요합니다. 알려주세요. 감사합니다.

@hurrikam 수고 했어.. 👏👏👏
저도 이것을 사용하기를 고대하고 있습니다. 나는 nightwatch-cucumber를 사용하고 있으며 그들은 이것을 오이 js에서 수정하기를 기다리고 있습니다. 참조 번호 https://github.com/mucsi96/nightwatch-cucumber/issues/213

@charlierudolph 도와주시겠습니까? 지금은 PR을 제출할 수 없습니다.

@hurrikam 포크를 만들고 거기에 코드를 푸시한 다음 포크에서 이 https://help.github.com/articles/fork-a-repo/

@charlierudolph 는 PR-1114 를 참조하십시오.
제목에서 언급했듯이 이것은 기존 포맷터 및 보고서를 손상시키지 않고 기능을 작동하도록 하는 최소한의 구현(실제로 코드 변경이 거의 없음)입니다.

Cucumber Ruby repo에서 비정상적 테스트의 각 실행을 보고해야 하는지 여부와 관련하여 이전 실행에 대한 '비정상적' 결과 상태를 소개하는 오래된 대화를 살펴보았습니다. 그것이 완료되었는지 확실하지 않으며 동일한 테스트 케이스의 모든 시도를 로그로 가져오는 것이 단점입니다.

논의해 봅시다.

@hurrikam 우리 팀은 이 기능을 사용할 수 있도록 PR을 포크했습니다. 그것은 지금까지 정말 잘 작동합니다. 플래그가 큰 도움이 되는 즉시 병합할 수 있기를 바랍니다!

@Nick-Lucas 굉장합니다-그것이 있습니까?

@thomaswmanion 네, 우리는 이 기능을 적극적으로 사용하고 있습니다. 우리는 때때로 작업 대기열을 통해 플러싱하는 데 약간 질식할 수 있는 백엔드를 가지고 있으므로 생명의 은인이 되었습니다.

PR을 사용하려는 사람은 내 포크에서 package.json을 가리킬 수 있습니다.

  "dependencies": {
    "cucumber": "https://github.com/Nick-Lucas/cucumber-js.git#feature/issue-727-retry",
  },

Cucumber는 미리 빌드되어 있으므로 node_modules에 설치하기만 하면 됩니다. 기능이 아직 사전 알파도 아니기 때문에 보증이나 지원 이 없습니다.

편집하다:

이제 회사를 그만두고 포크를 github에 넘겼습니다. https://github.com/wonderbill/cucumber-js.git#feature/issue -727-retry

멋진!!!! @Nick-Lucas에게 감사드립니다. 시스템 환경이 본질적으로 불안정할 수 있다는 점을 이해해 주셔서 감사합니다!

이것은 마스터에 병합되어야 하며 닫혀 있지 않습니다.

@thomaswmanion 네, 우리는 이 기능을 적극적으로 사용하고 있습니다. 우리는 때때로 작업 대기열을 통해 플러싱하는 데 약간 질식할 수 있는 백엔드를 가지고 있으므로 생명의 은인이 되었습니다.

PR을 사용하려는 사람은 내 포크에서 package.json을 가리킬 수 있습니다.

  "dependencies": {
    "cucumber": "https://github.com/Nick-Lucas/cucumber-js.git#feature/issue-727-retry",
  },

Cucumber는 미리 빌드되어 있으므로 node_modules에 설치하기만 하면 됩니다. 기능이 아직 알파 버전도 아니기 때문에 _보증이나 지원이 절대적으로 제공되지 않는다는 것은 말할 필요도 없습니다.

편집하다:

이제 회사를 그만두고 포크를 github에 넘겼습니다. https://github.com/wonderbill/cucumber-js.git#feature/issue -727-retry

테스트를 실행할 때 재시도 기능을 어떻게 실행할 수 있습니까?

@ricardgarcia 는 --retry 옵션을 사용합니다. https://github.com/owncloud/phoenix/pull/1207/files 참조
언젠가 병합될 때까지 여기 https://github.com/cucumber/cucumber-js/pull/1205 에서 내 PR의 분기를 사용하고 있습니다.

안녕하세요 @individual-it , 답변에 감사드립니다. 오이-js에서 테스트를 실행하기 위해 webdriverIO를 사용하는 경우 작동해야 합니까?
"--retry 1" 명령을 시도했지만 재시도가 수행되지 않습니다.

@ricardgarcia https://github.com/cucumber/cucumber-js/pull/1205에 설명된 대로 이 기능을 사용하려면 다음을 사용할 수 있습니다.

"cucumber": "cucumber/cucumber-js#issue-727-retry"

변경 사항이 아직 주요 오이 저장소에 병합되지 않았기 때문입니다.

예 @jain-neeeraj 저는 package.json에서 이 버전을 사용했지만 작동하지 않았습니다. 그러나 언급한 대로 webdriverIO에서 오이를 사용하여 테스트를 실행하고 있으므로 다음 프레임워크 "wdio-cucumber-framework"입니다. 어떻게든 작동해야 합니까? 오이-js 프레임워크를 사용하는 경우 재시도를 위해 테스트를 어떻게 실행합니까?

@ricardgarcia 는 gitter https://gitter.im/cucumber/cucumber-js 에서 공동 작업을 할 수 있습니다. 이 문제를 해결하는 데 도움을 드릴 수 있어야 합니다.

@charlierudolph 이것이 마스터에 병합될 가능성이 있습니까?