Nunit: テスト結果にファイルを添付する

あなたが言及するメソッドは、MicrosoftのテストフレームワークのTestContextクラスの一部です。 NUnitにも同じ名前のクラスがありますが、MsTestクラスとは関係がなく、そのようなメソッドもありません。 NUnitには、出力にファイルを添付する機能はありません。

チャーリーありがとう。
しかし、AddResultFileメソッドは将来NUnitに追加されますか？
この方法は本当に役に立ちます。

現時点ではその予定はありません。 この問題をそのような機能のリクエストに変更したい場合は、それを実行して再度開くことができます。

もしそうなら、あなたはそれがどのように機能するかをより詳細に説明する必要があります。 ファイルはどのように作成され、どこに保存されるかなどです。NUnitが実際にファイルを作成するのか、それとも単にファイルへの参照を保持するのかを尋ねていますか？

当然のことながら、私たちはそのアイデアを受け入れ、優先順位を付け、いくつかのリリースをスケジュールする必要があります。

チャーリーからの返信ありがとうございます。
そのメソッドがNUnitに追加されれば素晴らしいと思います。
これは、MicrosoftのテストフレームワークのTestContextクラスのAddResultFileメソッドと同じように機能します。
テスト結果（ファイルhtmlテスト結果またはスクリーンショット）をVSのテストエクスプローラーのテスト出力にリンクするようなものがあります。 以下のスクリーンショットを見ることができます。

アイデアをありがとう。 これを再開します。

ただし、さらに詳しく説明するには、アダプターだけでなく、NUnit自体でどのように機能するかを理解する必要があります。 私はこれをアイデアとしてマークしています。これは、将来の機能として検討するには十分に定義されていないものと呼ばれるものです。 たぶん、他の人々が提案でチャイムを鳴らします。

考慮する必要があること：

• これはXMLの結果でどのように見えますか
• 結果と添付ファイルが一緒に保持されるように、これらすべてを何らかの方法でパッケージ化できますか？
• どちらかといえば、NUnitコンソールはそれをどのように処理しますか。
• NUnitGUIはそれを何らかの方法で表示しますか

この機能は必須です。
NUnitとSeleniumを使用して自動動作テストを実行しています。 テストが失敗した場合は、テスト結果にブラウザのスクリーンショットを添付するのが大好きです。これは、テストを修正するのに非常に役立ちます。
これを行うには、Microsoftのテストフレームワークを使用する必要がありましたが、NUnit（アセンブリまたはクラスレベルの属性、汎用テストクラス...）ほど強力ではありません。 したがって、NUnitのこの機能を楽しみにしています。

これを、アイデアよりもしっかりしたデザインが必要な機能に変更します。 以前のコメントに記載されている質問を解決する必要があります。

xmlでファイルをシリアル化するか、それ以外に参照ディレクトリを保持していると思います。 1つは、膨大なxml、一般的な速度低下、および特定のインタープリターを必要とするファイルにつながり、もう1つは、ファイルが結果から分離され、参照が破損する可能性につながります。

どちらが悪の少ないですか？ 前者の場合、すべてをパッケージに収めることのメリットよりも苦痛が勝るような気がします。「うまくいけば利用できる」相対リンクがあれば十分です。

• どちらかといえば、NUnitコンソールはそれをどのように処理しますか。
• NUnitGUIはそれを何らかの方法で表示しますか

GUIの場合、上記のインターフェイスのようなものは十分に見栄えがよく、添付ファイルへのハイパーリンクだけです。 コンソールのimoは、失敗したテストメッセージで、ファイルが利用可能であることとその場所をユーザーに通知する必要があります。

デザインが完成したら、誰かがPRを提出する必要があると思います-

MSTestがファイルを保存する方法を確認する必要があります。 Visual Studio拡張機能には、ドライブ上のファイルへのリンクが必要だと思います。

XMLでの参照が進むべき道のようです。 NUnitの場合、論理的な初期位置は作業ディレクトリであり、これはデフォルトでXMLが配置される場所です。 これで、上記の最初の2つのポイントが解決します。

私の他のポイントに答える：

• 結果の場合と同じように、コンソールはパスとともに添付ファイルを一覧表示するだけだと思います。
• GUIには、添付ファイルを一覧表示するための何らかのメニューまたはパネルを含めることができます。 特定のファイルタイプに対してデフォルトのアプリケーションが定義されていれば、それらを表示できます。

私は通常の優先順位に上げることに傾倒する良い機能のようです。

@rprouse Gallioが添付ファイルをどのように処理したか

属性と要素に関して、添付ファイル要素には何を含める必要がありますか？ このようなもの？

<attachments>
    <attachment  description="Final screen shot">ScreenShot.jpg</attachment>
    ...
</attachments>

私はそれを生成したテストの子であると想定しているので、その情報があります。 ユーザーは複数のスクリーンショットを含めることをお勧めします。そのため、説明を含めます。 他に何か？

何かを添付するための構文は何ですか？ TestContextを使用する必要がありますか？ 失敗時に添付ファイルが自動的に作成されるように、それをアサーションに関連付ける方法はありますか？

誰かがこれの仕様を書きたいですか？

私は通常の優先順位に上げることに傾倒する良い機能のようです。

👍

@rprouse Gallioが添付ファイルをどのように処理したか

いいえ、添付ファイルを使用したことはありません。 私はあなたのXMLフォーマットが好きです。 個人的には、TestContextから添付ファイルを追加することから始めるべきだと思います。これは、より単純なルートだからです。 次に、それをAssertsに拡張するかどうかを評価できます。

だからTestContext.CurrentContext.AddAttachment ？

(string path)と(string path, string description)オーバーロードあり？

多分私たちはすでにスペックを持っています！

この機能の優先度を上げてください。 テスト結果の要約にUIスクリーンショットを添付すると非常に役立ちます。 これらの添付ファイルは、VSTS（Visual Studio Team Services）内のビルド結果で利用できますか？
チャーリー、どうもありがとう

これは優れた機能だと思います。添付ファイルをビルドアーティファクトとしてTeamCityに公開します。

@rprouseがすでにそれを提案していたので、私はそれを通常の優先順位に上げました。 ただし、優先度の低いアイテムと通常のアイテムは、NUnitコミッターまたはコントリビューターのいずれかが実装するように促されるのを待たなければならない場合があることに注意してください。 それは、いつ完了するかについてのチームの決定というよりも、個人的な決定です。

誰もこれを忘れていないことを願っています。 これは非常に役立つ機能です。

以前のコメントですべての設計上の問題が解決したと思うので、設計ラベルを外して、実装の問題をバックログに追加します。

多くのことが起こっているので、私たちがこれを忘れていることはそれほど多くありません。 以前のコメントで述べたように、このような通常の優先項目は、リリース計画の一部としてスケジュールされていません。 彼らがそれを引き受けるのに十分な興味を持ってもらうのは、チームメンバーまたは外部の貢献者次第です。 うまくいけば、それをバックログに追加することで、誰かがステップアップする動機付けになります。 あなたのスキルに応じて、それはあなたかもしれません！ 😄

素晴らしい機能です！ よろしくお願いします。 うまくいけば、誰かがこれをすぐに実装します😄

＃2152で、これを実装するために必要なフレームワーク機能のPRを実行しました。 この問題を追跡している人が数人いることを考えると、そこで何をすべきかを決定したら、この問題をエピックに変換してランナーのサポートを追跡することを計画しています。

これが私の考えです：

VSアダプター
これはMSTestの機能であるため、VSアダプタフレームワークには、添付ファイルを表示する機能がすでに備わっています。 プラグインする方法を追跡する必要があります。🙂

コンソール/ NUnitLite
私はここで混乱しています。 エラー/警告テストでは、添付ファイルのファイルパス/説明を結果とともに表示するのが理にかなっています。 合格したテストへの添付ファイルはどうですか？ これらを表示するための「情報」出力が必要ですか？ したがって、コンソールランナーには、情報/警告/エラーの3種類の出力があります。

GUI / Xamarin
これらは両方とも最終的にこれをサポートするはずですが、私はそれが優先度が高いとは思いません。 問題を作成しますが、このエピックに添付することはしません。需要/時間の許す限り、問題を作成できます。

TeamCity
@ NikolayPianikov-あなたはこれに興味があると言った。 たぶんあなたが＃2152を追跡する価値があります。 🙂

上記のすべてについての考え？ @ nunit / framework-team？ 次のステップが決まったら、個別に問題を出します。

@ChrisMaddockの問題は設計の問題でもある可能性があるため、「GUIで添付ファイルをサポートする方法を理解する」という問題を実行できます。これは、確信が持てない他の問題でも同じです。

コンソールランナーの場合、現在すべてのテストを表示しているわけではありませんが、表示することはできます。 詳細レポートは、拡張機能またはカスタムXSL変換で処理できます。 後者は、XSLコーディングを喜んで行う人にとっては簡単に実装できます。 😄それは貢献した変革かもしれません。

NUnitLiteは非常に軽量に保ちたいので、注意が必要です。 ただし、ユーザーがインテリジェントな方法で添付ファイルに名前を付け、すべて同じディレクトリに配置することを前提としているため、簡単に見つけることができます。 実際、それはコンソールランナーにとってはウェルとして機能します
GUIの自然なことは、添付ファイルの名前と説明を、テスト結果に関する他のすべてと一緒に表示することだと思います。 ユーザーがファイルを開く適切なアプリケーションをインストールしている場合は、リンクにすることができます。

添付ファイルを取得したら、アダプターからVisualStudioに渡す結果に添付ファイルを追加するのは非常に簡単だと思います。

次のステップをカバーするために、 https ：//github.com/nunit/docs/issues/197とhttps://github.com/nunit/nunit3-vs-adapter/issues/332を作成しました。

ランナーのサポートに関して-これに対する現在の唯一の要求がVSアダプターとの統合である場合、今のところ、そこに実装するだけの傾向があります。 これは、グラフィカルランナー、次にcliに適した機能であり、必要に応じて、将来的に他のランナーサポートをいつでも追加できます。

@ChrisMaddockコンソールランナーからのアタッチメントサポートが欲しいです。

@ kdubau-完璧なタイミング！ 😄その場合、どのように見せたいですか？ あなたのユースケースは何ですか？

失敗/警告、リストの説明、ファイルパスをテストするために、テキストの「添付ファイル」ブロックを追加することを想像できます。 これを行わないことを議論した理由の1つは、多くのユーザーがそれぞれのファイルを見つけるためにシェルからファイルパスをコピーして貼り付けたいとは思わなかったためです。 同意しませんか？

考慮すべきもう1つの問題は、コンソールには現在、失敗した/警告されたテストのみが表示され、すべてのテストが表示されるわけではないということです。 添付ファイル付きの合格したすべてのテストを示す結果の3番目のリスト（「情報」？）を作成する必要がありますか？

おそらく、コンソールランナーが失敗したテストの添付ファイルのみを表示することは実際には問題ありません。これは、コンソールの実行で興味深いことのすべてである可能性があるためです。 ここでの失敗などに関連するログファイルを想像しています。

@kdubauここで説明するのではなく、nunit-consoleリポジトリで新しい問題を作成することをお勧めします。

@ ChrisMaddock @ CharliePooleここでのコンテキストを誤解した可能性があります。 添付ファイルを出力XMLで参照することにのみ関心があります。実際に、添付ファイル情報をコンソール出力に表示する必要はありません。 私のユースケースは、CIシステム（Visual Studio Team Services）がXMLにリストされている添付ファイルをビルドアーティファクトとしてアップロードできるようにすることです（したがって、ローカルディスク上のファイルへの参照が必要です）。

コンソールランナーを介してテストを実行すると、XMLに添付ファイルがないのではないかと心配していましたが、さらに読んでみると、これは問題ではないと思います。 私が間違っている場合は私を訂正してください:)

@ kdubau-その通りです。 🙂＃2152がマージされました。これは、結果xmlの添付ファイルをサポートします。 すべてが計画通りに進んだ場合、それは来週リリースされるNUnit3.7の一部になります。

そうです...コンソールで「サポート」が必要な場合、それは単にフレームワークからのXMLを保存する以上のことを意味します。 nunit3アダプターの場合、@ ChrisMaddockがそれが何を意味するかを定義していると思います。

みなさん、この作業は完了しましたか、それとも保留中ですか？ それに関連する未解決の問題やPRは見つかりませんでした。

何かが足りないのに、テストの添付ファイルがVSテストエクスプローラーに表示されない場合は、お詫びします。 NuGetのNUnit3TestAdapter3.8.0とAPI TestContext.AddTestAttachement(file)を使用していますが、テストエクスプローラーに添付ファイルが表示されません。 私はこのようなものを期待しています：

私の期待は間違っていますか？

@ kdubau-いいえ、これはNUnitv3.7およびNUnit3TestAdapter3.8でリリースされるはずです。 実装については、 https：//github.com/nunit/nunit3-vs-adapter/issues/332を参照して

それが機能しない場合は、最初にNUnitコンソールでテストを実行し、添付ファイルが結果のxmlファイルに正しく記録されているかどうかを確認します。 そうでない場合は、このリポジトリで問題を開きます。そうである場合は、アダプターリポジトリで問題を開きます。さらに調査することができます。 🙂

@ChrisMaddockわかりました、問題が作成されましたhttps://github.com/nunit/nunit3-vs-adapter/issues/373

@kdubauからのモチベーションのおかげで、私はついにこの機能を文書化し、このEpicを閉じることができます。 😄