Cucumber-js: --retryを実装します

@ericyliuキュウリ3に入っています。キュウリ2がまだRCにある理由は

@charlierudolphまたは何かポインタがあれば、私はこれを拾って試してみてください。

私の推定アプローチは、実行中のシナリオの最後に、失敗したかどうかを判断して再実行することです（再試行されたカウントのためにいくつかの状態を維持します）。 どこでこれに引っ掛かることができますか？

これに加えて、プロセス全体の最後に、すべてのシナリオのリスト、再試行の回数、および最終ステータスにアクセスできるようになると期待します。これにより、a）ログに記録され、b）必要に応じてディスクにダンプされます。 。

私は個人的にこれに同意しないのでこれを実装したくないので締めくくります。 ちらつきの原因を修正する代わりに、ちらつきテストを処理するために使用できる機能を提供するのは好きではありません。

👏👏👏

@charlierudolphは、ちらつきテストに対処できない場合があります。 たとえば、私たちの環境では、アプリケーションがヒットする23の異なるサービスがあり、それらのサービスを所有していないため、いつでもそれらのいずれかがダウンする可能性があります。 --retryフラグを使用すると、テストを再実行できるため、一時的なサービスの停止（サービスの再起動時）によってテストスイートが失敗することはありません。

この機能に対する個人的な意見の不一致（この議論は、エンジニアリングの世界ではタブとスペースのように無駄になる可能性があります）に関して、ツール仕様としてのCucumberがこれを実装している場合は、このツールのJSバージョンでもこれをサポートする必要があります。

また、現実の世界では、幅広いテストスイートと複雑なアプリケーションを使用して、フレークネスから100％防御することは不可能であるため、非常に高価になります。 絶対にそれを改善するためのエンジニアリングの旅をすることができますが、まともなROIでそのような努力をサポートするためのリソースの贅沢を持っている多くの企業があるとは思えません。

現実の世界では、失敗したテストを再試行して、プロアクティブなアクションの不安定さを特定するための適切な追跡を追加できることは非常に価値があります。

この問題を解決する決定を再検討していただければ幸いです。前に述べたように、いくつかのガイダンスを提供してこれに取り組むことができてうれしいです。

これに追加するには、 cucumber-js alreadyにrerun機能があります。これは基本的に再試行ですが、別のプロセスとして実行する必要があるため効率が低下します（これにより、正しく理解できます）。 再試行は、はるかに優れたソリューションです。

cc @charlierudolph

また、現実の世界では、幅広いテストスイートと複雑なアプリケーションを使用して、フレークネスから100％防御することは不可能であるため、非常に高価になります。

私はフレークテストが絶対に嫌いです。 私の現在のプロジェクトでは、CIでのフレークテストの実行から離れて、手動実行用にそれらを保存しようとしています。フレークが原因で何かが失敗した場合は、再実行するか、手動で確認できます。 これは、フレークネスの原因を見つけ、それに対処する必要のあるテストの数を制限することに依存しています。

このcucumber-jsに追加するには、再実行機能がすでにあります。これは基本的に再実行ですが、別のプロセスとして実行する必要があるため効率が低下します（これにより、正しく理解できなくなります）。 再試行ははるかに優れたソリューションです

Rerunは、修正が必要なテストに簡単に集中できるように構築されています。 はい、失敗したシナリオだけを再試行するために使用できます。

不安定なテストは避けるべきものであることに100％同意します。 そうは言っても、テストの不安定さは、チームの管理下にないものであることがよくあります。 これが私の状況です。

Cucumber、Nightwatch、Selenium、Browserstackを使用して、Webアプリでエンドツーエンドのテストを実行しています。 多くの場合、シナリオは、Selenium、Browserstack、またはテストしているブラウザーの固有の不安定さのために失敗します。マウスの動きを伴う相互作用は、これで有名です。 少なくとも一握りが不安定になることなく、すべてのシナリオを実行できることはめったにありません。

Selenium、Browserstack、またはブラウザーのフレークを少なくすることはできません。それは、私が使用しなければならないツールの性質にすぎません。 必要な解決策は、シナリオが失敗した場合に、シナリオを数回再試行できるようにすることです。

これを再考すべきだと思います。 キュウリ-ルビーは今それを持っています。

同意しました。 これがRuby実装のコードです。 JSの実装に役立つ可能性があります。 https://github.com/cucumber/cucumber-ruby/pull/920/files

みなさん、こんにちは。「再試行」機能がCucumber-JSで利用できるようになりましたか？ 不安定なテストを修正する必要があることに同意しますが、経験によれば、多くの外部依存関係が関係する大規模なプロジェクトで作業する場合、常にそれが可能であるとは限りません。
結局のところ、再試行ロジックがないためにそのような不安定なテストケースを自動化でカバーできなかった場合は、とにかく手動でテストする必要があります。
再試行ロジックの使用は、Cucumberユーザーの選択に任せるべきだと思います。
「再実行」機能は知っていますが、Cucumberランナーに透過的に実行させるには、テストを個別に再実行する必要があるため、これを使用するとさらに複雑になります。

こんにちは@charlierudolphと@aslakhellesoy。 この機能の進歩はありますか？

私の知る限り、誰もそれに取り組んでいません。 誰かがプルリクエストを提供した場合、私はそれを追加することを検討したいと思います。

こんにちは@aslakhellesoyとても迅速に返信してございます。 自動化する必要のあるデバイスの1つが少し不安定であり、そのような場合、失敗したシナリオを再実行するだけの実際的な代替手段がないため、これは現時点で本当に必要なものです。
私の考えは、シナリオごとのタグを使用して再試行回数を指定することですが、少なくともコマンドラインパラメーターである可能性のある開始実装として使用します。
数日中にコードを見てみます。

それは素晴らしいことです！ Cucumber-Rubyと同じように動作するようにしてください。 それが逸脱した場合、統合/一貫性は私たちが目指しているものであるため、マージできない可能性があります。

こんにちは@aslakhellesoy 、私はCLI--retryオプションとして基本再試行機能を実装しました。 私は私たちのプロジェクトでそれをテストしました、そしてそれはうまくいきます。 作業ブランチをプッシュし、PRを開いて実装について話し合うには、アクセス許可が必要です。 教えてください、ありがとう。

@hurrikamお疲れ様でした。👏👏👏
私もこれを使うのを楽しみにしています。 私はnightwatch-cucumberを使用していますが、cucumberjsで修正されるのを待っています。 参照番号https://github.com/mucsi96/nightwatch-cucumber/issues/213

@charlierudolphこれを手伝ってくれませんか。 現在、PRを提出できません。

@hurrikamフォークを作成してそこにコードをプッシュし、フォークからこのリポジトリにPRを送信できます。 https://help.github.com/articles/fork-a-repo/

@ charlierudolphPR -1114をご覧ください
タイトルで述べたように、これは、既存のフォーマッターやレポートを壊すことなく機能を機能させるための最小限の実装です（実際にはコードの変更はほとんどありません）。

フレーク状のテストの各実行を報告する必要があるかどうかについて、Cucumber Rubyリポジトリでいくつかの古い会話を行いました。おそらく、前の実行の「フレーク状」の結果ステータスが導入されました。 それが行われたかどうかはわかりませんが、同じテストケースのすべての試行をログに記録するという欠点があります。

それについて話し合いましょう。

@hurrikam私のチームは、この機能を利用できるようにPRのフォークを取りました。 これまでのところ、非常にうまく機能しています。 旗が大いに役立つので、すぐにそれをマージできることを願っています！

@ Nick-Lucasそれはすごい-あなたはそれを持っていますか？

@thomaswmanionはい、この機能を積極的に使用しています。 バックエンドがあり、ジョブキューを介してフラッシュが少し詰まることがあるため、これは命の恩人です。

PRを使用したい人は、package.jsonを私のフォークに向けることができます（または私からフォークしてください）。

  "dependencies": {
    "cucumber": "https://github.com/Nick-Lucas/cucumber-js.git#feature/issue-727-retry",
  },

Cucumberは事前に構築されているため、node_modulesにインストールするだけで済みます。 この機能はまだプレアルファ版ではないため、

編集：

私は今、会社を辞めて、フォークを彼らのgithubに渡しました： https ：

良い！！！！ @ Nick-Lucasに感謝します-システムの環境は本質的に不安定である可能性があることを理解してください！

これはマスターにマージする必要があります、これは閉じられていません。

@thomaswmanionはい、この機能を積極的に使用しています。 バックエンドがあり、ジョブキューを介してフラッシュが少し詰まることがあるため、これは命の恩人です。

PRを使用したい人は、package.jsonを私のフォークに向けることができます（または私からフォークしてください）。

  "dependencies": {
    "cucumber": "https://github.com/Nick-Lucas/cucumber-js.git#feature/issue-727-retry",
  },

Cucumberは事前に構築されているため、node_modulesにインストールするだけで済みます。 この機能はまだプレアルファ版ではないため、_保証やサポートはまったくありません_ことは言うまでもありません。

編集：

私は今、会社を辞めて、フォークを彼らのgithubに渡しました： https ：

テストの実行時に再試行機能を実行するにはどうすればよいですか？

@ricardgarciaは--retryオプションを使用するだけですhttps://github.com/owncloud/phoenix/pull/1207/filesを参照して
私のPRのブランチをhttps://github.com/cucumber/cucumber-js/pull/1205で使用しており、いつかマージされるまで使用してい

こんにちは@ individual-それ、返信ありがとうございます。 webdriverIOを使用してcucumber-jsでテストを実行している場合、機能するはずですか？
「--retry1」コマンドを試しましたが、再試行が行われていません。

@ricardgarcia https://github.com/cucumber/cucumber-js/pull/1205で説明されているように、この関数を使用するには、

"cucumber": "cucumber/cucumber-js#issue-727-retry"

変更はまだメインのキュウリリポジトリにマージされていないためです。

はい@ jain-neeerajこのバージョンをpackage.jsonで使用しましたが、機能しませんでしたが、前述したように、webdriverIOでcucumberを使用してテストを実行しているため、次のフレームワーク「wdio-cucumber-framework」を使用します。 それはどういうわけか動作する必要がありますか？ cucumber-jsフレームワークを使用している場合、再試行するためにテストを実行するにはどうすればよいですか？

@ricardgarciaはgitterhttps ： //gitter.im/cucumber/cucumber-jsでコラボレーションできます。この問題の解決をお手伝いできるはずです。

@charlierudolphこれがマスターにマージされる可能性はありますか？