Nunit: 테스트 결과에 파일 첨부

언급한 방법은 Microsoft 테스트 프레임워크의 TestContext 클래스의 일부입니다. NUnit에도 같은 이름의 클래스가 있지만 MsTest 클래스와 관련이 없으며 이러한 메서드가 없습니다. NUnit에는 출력에 파일을 첨부하는 기능이 없습니다.

찰리 감사합니다.
그러나 AddResultFile 메소드는 미래에 NUnit에 추가됩니까?
이 방법은 정말 도움이 됩니다.

현재로서는 계획이 없습니다. 이 문제를 그러한 기능에 대한 요청으로 변경하고 싶다면 그렇게 하고 다시 열 수 있습니다.

그렇다면 어떻게 작동하는지 자세히 설명해야 합니다. 파일은 어떻게 생성되고 어디에 저장되는지 등입니다. NUnit이 실제로 파일을 생성하거나 단순히 파일에 대한 참조를 유지하도록 요청하고 있습니까?

물론 우리는 아이디어를 받아들이고 우선 순위를 정하고 출시 일정을 잡아야 했습니다.

Charlie님 답변 감사합니다.
그 방법이 NUnit에 추가되면 좋을 것입니다.
Microsoft의 테스트 프레임워크에 있는 TestContext 클래스의 AddResultFile 메서드처럼 작동합니다.
테스트 결과(파일 html 테스트 결과 또는 스크린샷)를 VS의 테스트 탐색기에 있는 테스트 출력에 연결하는 것과 같은 것입니다. 아래와 같이 스크린샷을 볼 수 있습니다.

아이디어 주셔서 감사합니다. 다시 열겠습니다.

그러나 더 나아가려면 어댑터뿐만 아니라 NUnit 자체에서 작동하는 방식을 파악해야 합니다. 저는 이것을 아이디어로 표시하고 있습니다. 이는 미래의 기능으로 간주하기에 충분히 정의되지 않은 것을 우리가 부르는 것입니다. 아마도 다른 사람들이 제안을 할 것입니다.

고려해야 할 사항:

• 이것이 XML 결과에서 어떻게 보일 것인가?
• 결과와 첨부 파일이 함께 유지되는 방식으로 이 모든 것을 패키징할 수 있습니까?
• NUnit 콘솔은 무엇을 할 수 있습니까?
• NUnit GUI가 어떤 식으로든 표시할까요?

이 기능은 반드시 있어야 합니다.
NUnit 및 Selenium을 사용하여 자동화된 동작 테스트를 실행하고 있습니다. 테스트가 실패하면 테스트 결과에 브라우저의 스크린샷을 첨부하는 것을 좋아합니다. 이것은 테스트를 수정하는 데 큰 도움이 됩니다.
이를 위해 Microsoft의 테스트 프레임워크를 사용해야 했지만 NUnit(어셈블리 또는 클래스 수준의 속성, 일반 테스트 클래스...)보다 강력하지 않습니다. 따라서 우리는 NUnit에서 이 기능을 기대합니다.

아이디어보다 확고한 디자인이 필요한 기능으로 바꾸겠습니다. 우리는 여전히 이전 의견에 나열된 질문을 해결해야 합니다.

나는 그것이 xml에서 파일을 직렬화하거나 그 외에 참조 디렉토리를 유지하고 있다고 생각합니다. 하나는 방대한 xml, 일반적인 속도 저하 및 특정 인터프리터가 필요한 파일로 이어지며, 다른 하나는 파일이 결과에서 분리되고 참조가 손상될 가능성으로 이어집니다.

어느 것이 더 작은 악입니까? 전자의 경우 모든 것을 패키지로 유지하는 것의 이점보다 고통이 더 클 것이며 '희망적으로 사용 가능한' 상대 링크가 있으면 충분할 것입니다.

• NUnit 콘솔은 무엇을 할 수 있습니까?
• NUnit GUI가 어떤 식으로든 표시할까요?

GUI의 경우 위의 인터페이스와 같은 것이 첨부 파일에 대한 하이퍼링크만 있으면 충분해 보입니다. 콘솔 imo는 실패한 테스트 메시지에서 사용자에게 파일을 사용할 수 있고 파일의 위치를 ​​알려야 합니다.

디자인이 완성 되면 누군가 PR을 제출해야 한다고 생각합니다.

MSTest가 파일을 저장하는 방법을 살펴봐야 합니다. Visual Studio 확장에는 드라이브의 파일에 대한 링크가 필요합니다.

XML의 참조가 가야 할 길인 것 같습니다. NUnit의 경우 논리적 초기 위치는 XML이 기본적으로 이동하는 작업 디렉터리입니다. 그것은 위의 처음 두 가지 사항을 해결합니다.

내 다른 요점에 대답하기:

• 콘솔은 결과와 마찬가지로 경로와 함께 첨부 파일을 나열하는 것 이상을 수행하지 않을 것입니다.
• GUI에는 첨부 파일을 나열하는 일종의 메뉴 또는 패널이 있을 수 있습니다. 특정 파일 형식에 대해 기본 응용 프로그램이 정의된 경우 이를 표시할 수 있습니다.

정상적인 우선 순위로 올리는 쪽으로 기울고 싶은 좋은 기능인 것 같습니다.

@rprouse Gallio가 첨부 파일을 처리한 방법을 기억하십니까?

어태치먼트 요소는 속성 및 요소 측면에서 무엇을 포함해야 합니까? 이 같은?

<attachments>
    <attachment  description="Final screen shot">ScreenShot.jpg</attachment>
    ...
</attachments>

나는 그것이 그것을 생산한 테스트의 자식이라고 가정하고 있으므로 우리는 그 정보를 가지고 있습니다. 사용자는 여러 스크린샷을 포함할 수 있으므로 설명이 필요합니다. 다른 건 없나요?

무언가를 첨부하는 구문은 무엇입니까? TestContext를 사용해야 합니까? 첨부 파일이 실패 시 자동으로 생성되도록 어설션과 연결하는 방법이 있어야 합니까?

누군가 이것에 대한 사양을 작성하고 싶습니까?

정상적인 우선 순위로 올리는 쪽으로 기울고 싶은 좋은 기능인 것 같습니다.

👍

@rprouse Gallio가 첨부 파일을 처리한 방법을 기억하십니까?

아니요, 첨부 파일을 사용한 적이 없습니다. 나는 당신의 XML 형식을 좋아합니다. 개인적으로 TestContext가 더 간단한 경로이므로 첨부 파일을 추가하는 것으로 시작해야 한다고 생각합니다. 그런 다음 이를 Asserts로 확장할지 여부를 평가할 수 있습니다.

그래서 TestContext.CurrentContext.AddAttachment ?

(string path) 및 (string path, string description) 대한 오버로드가 있습니까?

어쩌면 우리는 이미 사양을 가지고 있습니다!

이 기능의 우선순위를 높여주세요. 테스트 결과 요약에 UI 스크린샷을 첨부하면 매우 유용할 것입니다. VSTS(Visual Studio Team Services) 내의 빌드 결과에서 이러한 첨부 파일을 사용할 수 있습니까?
정말 감사합니다 찰리

좋은 기능이라고 생각하며 TeamCity에서 첨부 파일을 빌드 아티팩트로 게시하겠습니다.

@rprouse 가 이미 제안했기 때문에 일반 우선 순위로

아무도 이것을 잊지 않았으면 합니다. 매우 유용한 기능이 될 것입니다.

이전 댓글이 모든 디자인 문제를 해결했다고 생각하므로 디자인 레이블을 제거하고 구현 문제를 백로그에 추가합니다.

우리는 많은 일들이 일어나고 있기 때문에 이것을 잊어버린 것이 아닙니다. 이전 의견에서 언급했듯이 이와 같은 일반적인 우선 순위 항목은 릴리스 계획의 일부로 예정되어 있지 않습니다. 어떤 팀원이나 외부 기여자가 그 일을 맡을 만큼 충분히 관심을 갖게 하는 것입니다. 바라건대, 그것을 백로그에 추가하면 누군가가 한 걸음 더 나아가도록 동기를 부여할 수 있습니다. 당신의 능력에 따라 당신이 될 수 있습니다! 😄

훌륭한 기능! 대단히 감사합니다. 누군가가 이것을 곧 구현하기를 바랍니다 😄

#2152에서 이것을 구현하는 데 필요한 프레임워크 기능에 대한 PR을 수행했습니다. 이 문제를 추적하는 사람이 몇 명 있다는 점을 감안할 때, 저는 이 문제를 Epic으로 전환하고 여기서 무엇을 할지 결정하는 대로 러너 지원을 추적할 계획입니다.

제 생각은 다음과 같습니다.

VS 어댑터
이것은 MSTest에 있는 기능이므로 VS 어댑터 프레임워크에는 이미 첨부 파일을 표시하는 기능이 있습니다. 연결하는 방법을 추적하기만 하면 됩니다. 🙂

콘솔/NUnitLite
나는 여기에서 생각이 엇갈린다. 오류/경고 테스트에서는 첨부 파일의 파일 경로/설명을 결과와 함께 표시하는 것이 좋습니다. 통과된 테스트에 대한 첨부 파일은 어떻습니까? 이를 표시하기 위해 '정보' 출력이 있어야 합니까? 따라서 콘솔 실행자는 정보/경고/오류의 세 가지 유형의 출력을 갖게 됩니다.

GUI/자마린
이 두 가지 모두 결국에는 이를 지원해야 하지만 우선 순위가 높지 않다고 생각합니다. 문제를 만들지만 이 에픽에 첨부하지는 않습니다. 수요/시간이 허락할 때 할 수 있습니다.

팀시티
@NikolayPianikov - 당신은 당신이 이것에 관심이 있다고 말했습니다. #2152를 추적할 가치가 있습니다. 🙂

위의 모든 것에 대한 생각? @nunit/framework-team ? 다음 단계가 결정되면 개별 문제를 만들겠습니다.

@ChrisMaddock 문제는 디자인 문제일 수도 있으므로 "gui에서 첨부 파일을 지원하는 방법 파악"이라는 작업을 수행할 수 있습니다. 확실하지 않은 다른 문제도 마찬가지입니다.

콘솔 러너의 경우 현재 모든 테스트를 표시하지는 않지만 완료할 수는 있습니다. 모든 세부 보고서는 확장 또는 사용자 지정 XSL 변환으로 처리할 수 있습니다. 후자는 XSL 코딩을 하고자 하는 사람이라면 누구나 쉽게 구현할 수 있습니다. 😄 기여한 변형일 수 있습니다.

NUnitLite는 매우 가볍게 유지하기를 원하기 때문에 까다롭습니다. 그러나 사용자가 지능적인 방식으로 첨부 파일의 이름을 지정하고 모두 동일한 디렉토리에 저장하므로 찾기가 충분히 쉬워야 한다고 가정합니다. 사실, 그것은 콘솔 러너에게도 마찬가지로 작동합니다.
gui에 대한 자연스러운 것은 테스트 결과에 대한 다른 모든 것과 함께 첨부 파일의 이름과 설명을 표시하는 것입니다. 사용자가 파일을 열 수 있는 적절한 응용 프로그램이 설치되어 있는 경우 링크를 만들 수 있습니다.

첨부 파일이 있으면 어댑터에서 Visual Studio로 전달하는 결과에 추가하는 것이 매우 쉽다고 생각합니다.

다음 단계를 다루기 위해 https://github.com/nunit/docs/issues/197 및 https://github.com/nunit/nunit3-vs-adapter/issues/332 를 만들었습니다.

러너 지원과 관련하여 - 이에 대한 유일한 현재 요청이 VS 어댑터와의 통합인 경우 현재로서는 거기에서 구현하려는 경향이 있습니다. 이것은 그래픽 러너에 더 잘 맞는 기능이며 cli 및 기타 러너 지원은 사람들이 필요로 하는 경우 항상 추가될 수 있습니다.

@ChrisMaddock 콘솔 러너의 첨부 파일 지원을 보고 싶습니다.

@kdubau - 완벽한 타이밍! 😄 그렇다면 어떤 모습을 하고 싶나요? 귀하의 사용 사례는 무엇입니까?

테스트 실패/경고, 설명 및 파일 경로를 나열하기 위해 '첨부 파일' 텍스트 블록을 추가하는 것을 상상할 수 있습니다. 내가 이것을 하지 않는 것에 대해 토론한 한 가지 이유는 많은 사용자가 해당 파일을 찾기 위해 쉘에서 파일 경로를 복사/붙여넣기를 원할 것이라고 확신하지 않았기 때문입니다. 동의하지 않으시겠습니까?

고려해야 할 또 다른 문제는 콘솔이 현재 모든 테스트가 아닌 실패한/경고된 테스트만 표시한다는 것입니다. 첨부 테스트를 통과한 모든 것을 보여주는 세 번째 결과 목록('정보'?)을 만들어야 합니까?

콘솔 러너가 실패한 테스트에 대한 첨부 파일만 표시하는 것이 실제로는 괜찮을 수도 있습니다. 콘솔 실행에서 흥미로운 것은 이것이 전부일 수 있기 때문입니다. 나는 여기에 실패에 대한 관련 로그 파일을 상상하고 있습니다.

@kdubau 여기에서 설명하기 보다는 nunit-console repo에서 새 문제를 만드는 것이 좋습니다.

@ChrisMaddock @CharliePoole 여기서 맥락을 잘못 이해했을 수 있습니다. 출력 XML에서 첨부 파일을 참조하는 데만 관심이 있습니다. 실제로 콘솔 출력에 첨부 파일 정보를 표시할 필요는 없습니다. 내 사용 사례는 내 CI 시스템(Visual Studio Team Services)이 XML에 나열된 첨부 파일을 빌드 아티팩트로 업로드할 수 있도록 하는 것입니다(따라서 로컬 디스크의 파일에 대한 참조만 필요함).

콘솔 러너를 통해 테스트를 실행하면 XML에 첨부 파일이 없을까 걱정했지만 더 읽어보니 이것이 문제가 아닌 것 같습니다. 틀리면 지적해주세요 :)

@kdubau - 맞습니다. 🙂 #2152가 방금 병합되어 결과 xml의 첨부 파일을 지원합니다. 모든 것이 계획대로 진행된다면 다음 주에 출시되는 NUnit 3.7의 일부가 될 것입니다.

맞습니다... 콘솔에서 "지원"이 필요하다면 프레임워크에서 가져온 XML을 단순히 저장하는 것 이상의 작업을 수행해야 합니다. nunit3 어댑터의 경우 @ChrisMaddock 이 이것이 의미하는 바를 정의하고 있다고 생각합니다.

안녕하세요 여러분, 이 작업이 완료되었거나 더 보류 중입니까? 공개된 문제나 관련 PR을 찾을 수 없었습니다.

누락된 것이 있지만 테스트 첨부 파일이 예상대로 VS 테스트 탐색기에 표시되지 않는 경우 사과드립니다. NuGet의 NUnit3TestAdapter 3.8.0과 API TestContext.AddTestAttachement(file) 있지만 테스트 탐색기에 첨부 파일이 표시되지 않습니다. 나는 다음과 같은 것을 기대하고 있습니다.

내 예상이 잘못된 건가요?

@kdubau - 아니요, 이것은 NUnit v3.7 및 NUnit3TestAdapter 3.8에서 출시되어야 합니다. 구현에 대해서는 https://github.com/nunit/nunit3-vs-adapter/issues/332 를 참조

작동하지 않으면 먼저 NUnit 콘솔에서 테스트를 실행하고 결과 xml 파일에 첨부 파일이 올바르게 기록되었는지 확인합니다. 그렇지 않은 경우 이 리포지토리에서 문제를 열고 문제가 있는 경우 어댑터 리포지토리에서 문제를 엽니다. 그러면 더 조사할 수 있습니다. 🙂

@ChrisMaddock 좋아, 문제 생성 https://github.com/nunit/nunit3-vs-adapter/issues/373

@kdubau 의 동기 부여 덕분에 마침내 이 기능을 문서화했으며 이 Epic을 닫을 수 있습니다. 😄