Autofixture: AutoFixture.AutoNSubstitute를 사용하여 잘못된 값을 반환하는 NSubstitute.ReceivedCalls()

문제를 해결해 주셔서 감사합니다. 사실, 이 문제는 AutoFixture와 아무 관련이 없지만 우리도 영향을 받습니다 😕

이 문제는 대부분 xUnit에 의해 발생하며 다음과 같이 테스트를 다시 작성하면 통과합니다.
```c#
[이론, AutoNSubstituteData]
공개 무효 DoItNow_UsingAutoNSubstitute_CreateManually(IFixture 고정 장치)
{
// 마련하다
var runSpeed ​​= fixture.Freeze();
var sut = 고정물.만들기();
runSpeed.Speed.Returns(49);

//Act
sut.DoItNow();

//Assert
var tmp = runSpeed.Received(1).Speed;
Assert.Single(runSpeed.ReceivedCalls());

}
```

테스트를 실행할 때 xUnit은 테스트 이름의 형식을 지정하려고 시도합니다. 해당 유형이 알려져 있지 않고 ToString() 오버로드가 없는 경우 구조적 검사를 사용하고 속성 값을 재귀적으로 가져옵니다. 테스트 이름을 확인하면 다음이 표시됩니다.

알 수 있듯이 xUnit은 테스트 인수를 멋지게 보여주기 위해 Speed 속성 값을 가져왔습니다. 이것은 일반적인 호출이므로 NSubstitute는 이를 호출로 간주했습니다.

v3에서는 이 문제가 발생하지 않았다는 것이 매우 이상합니다. 그 점에서 변경된 사항은 없습니다. 방금 xUnit2 + AutoFixture v3 테스트했지만 여전히 문제가 있습니다. 아마도 xUnit도 업그레이드했을 것입니다.

해결 방법에 관해서는 좋은 소식과 나쁜 소식이 있습니다. 좋은 소식은 프록시 ID를 반환하기 위해 ToString() 메서드를 재정의하기 시작했기 때문에 NSubsitute의 다음 주요 버전에서 해결될 것이라는 것입니다. 결과적으로 xUnit은 더 이상 속성을 건드리지 않습니다.

나쁜 소식은 NSubsitute v4가 아직 출시되지 않았다는 것입니다.

다음 중 하나를 제안할 수 있습니다.

• NSubsitute v4가 출시될 때까지 마이그레이션을 연기합니다.
• NSubsitute의 최신 master 소스 코드를 사용하고 로컬 빌드를 만들고 NuGet 패키지 대신 자체 NSubsitute.dll 사용합니다. v4가 릴리스된 후 NuGet 패키지로 전환할 수 있습니다.
• xUnit 버전도 업데이트한 경우(이전에 이 문제가 발생하지 않은 이유를 설명할 수 있음) 해당 변경 사항을 되돌리고 xUnit의 이전 버전을 사용하십시오.

불편을 드려 죄송합니다. 하지만 안타깝게도 AutoFixture 측에서는 이 문제를 해결하기 위해 아무 것도 할 수 없습니다.

방금 이것을 테스트했습니다. 마침내 ReceivedCalls를 주장하는 테스트가 다시 성공적인 결과를 얻었습니다.
여전히 실패하는 것은 위에서 언급한 Received(1).Speed ​​Daniel과 같은 Received(x)에 대한 주장입니다.

모자에 대한 답변 / 솔루션도 있습니까?

같은 프로젝트를 진행 중이신가요? :) 그렇다면 문제를 해결한 방법을 명확히 해주실 수 있습니까?

위에서 제안한 옵션은 두 가지 문제에 모두 도움이 됩니다. 그렇지 않은 경우 - 시나리오를 명확히 합니다.

실제로 같은 프로젝트가 아니라 같은 회사에서.
우리는 xunit 1.9 + nsubstitute 2 / 3을 오랫동안 사용해왔고 마침내 내부 어셈블리를 가져오기 위해 관리했습니다(nuget 패키지이므로 하나의 참조만 있는 이전 버전으로 돌아가는 간단한 방법은 소리만큼 쉽지 않습니다 될) xunit2와 호환됩니다. 이제 이 두 가지 문제가 있습니다.

우리는 이미 몇 가지를 시도했고 마침내 그것이 자동 고정과 관련이 있을 것이라고 생각했습니다. 왜냐하면 frozen-속성과 하드 코딩된 테스트 실행 횟수 때문입니다.
다니엘이 이 케이스를 연 후 그는 나에게 그것에 대한 링크를 게시했습니다.

위에서 설명한 것처럼 nuget 3.1 참조를 새로 컴파일된 nsubstitute 프로젝트의 참조로 대체했습니다. 그 후 Receiced(x)가 여전히 잘못된 호출 횟수를 평가하고 있기 때문에 178개의 실패한 테스트 대신 118개의 테스트가 실패했습니다.

내 프로젝트는 현재 xunit2, nsubstitute의 현재 repo 버전 및 autofixture 4.2가 참조된 .net 4.5.2를 기반으로 합니다. 모든 테스트가 동일한 두 가지 이유로 실패하고 있습니다. 또한 단위 테스트에서 여전히 실패한 일부 수신 호출이 있습니다.
나는 다시 사무실로 돌아갈 때(부활절을 위해) 더 깊이 들여다봐야 한다고 생각합니다.
한편 @dklinger 는 시나리오를 설명할 수 있습니다.

@dklinger @evilbaschdi 확인 후 후속 조치를 취해 주십시오. 패치를 적용한 후에도 문제가 계속 나타나는 이유는 매우 흥미롭습니다.

아직 조사가 진행 중임을 나타내기 위해 문제를 다시 엽니다.

좋아요, 그래서 지난 몇 시간 동안 테스트했습니다. 첫째: 귀하의 답변, 설명 및 제안에 감사드립니다. 많은 도움이 되었습니다.
NSubstitute의 v4를 테스트했습니다. 위의 예제 코드에서는 작동하지만 실제 프로젝트에서 문제를 완전히 해결하지는 못합니다. 문제는 속성이 아닌 메서드에 대한 SUT 호출에 대해서만 잘못된 ReceivedCalls 수 문제를 해결한다는 것입니다.

현재 작동 중인 코드의 예:

        [Theory, AutoNSubstituteData]
        public void DoItNow_UsingAutoNSubstitute(
            [Frozen] IRunSpeed runSpeed,
            GetToDaChoppa sut)
        {
            // Arrange
            runSpeed.Speed.Returns(49);

            //Act
            sut.DoItNow();

            //Assert
            var tmp = runSpeed.Received(1).Speed;
            Assert.Equal(1, runSpeed.ReceivedCalls().Count());
        }

하지만 "GetToDaChoppa.DoItNow();" 메서드를 변경하면 "GetToDaChoppa.DoItNow" 속성이 되려면 ReceivedCallsCount가 다시 +1입니다.

        [Theory, AutoNSubstituteData]
        public void DoItNow_UsingAutoNSubstitute(
            [Frozen] IRunSpeed runSpeed,
            GetToDaChoppa sut)
        {
            // Arrange
            runSpeed.Speed.Returns(49);

            //Act
            var x = sut.DoItNow;

            //Assert
            var tmp = runSpeed.Received(1).Speed;
            Assert.Equal(1, runSpeed.ReceivedCalls().Count());
        }

작업 방법 구현을 위해 이것을 얻었을 때 xUnit 이름 지정과 다시 관련이 있다고 생각합니다.

그리고 작동하지 않는 속성 구현을 위한 것:

xUnit이 테스트 이름에 사용하기 위해 값을 검색하기 위해 SUT 속성을 호출하는 것처럼 보이지만 SUT 메서드에는 이 작업을 수행하지 않습니다. 내 첫 번째 생각은 무효인 "GetToDaChoppa()" 메서드의 반환 값과 관련이 있다는 것입니다. 그러나 "public int GetToDaChoppa()"로 변경한 후에도 xUnit은 여전히 ​​테스트 이름에 대한 반환 값을 얻기 위해 호출하지 않습니다. 속성을 사용하는 문제일 뿐입니다.

지금은 다시 붙어 있습니다. 나는 이것이 AutoFixture의 문제가 아니라는 데 전적으로 동의합니다. 그러나 우리보다 모든 패킷을 더 잘 알고 있다고 생각한다면 어떤 제안을 하시겠습니까?

• NSubstitute에 대한 문제를 여는 것?
• xUnit2에 대한 문제를 여는 중이신가요?
• 아니면 완전히 새로운 것?

@dklinger 후속 MCVE 를 공유해 주

그 후에 왜 그런 일이 발생하고 어떻게 해결해야 하는지 조사하려고 합니다.

감사 해요.

네, 물론입니다. 여기있어:

테스트 중인 시스템:

    public interface IRunSpeed
    {
        int Speed { get; }
        void Dude();
        int Dude2();
    }

    public class GetToDaChoppa
    {
        private readonly IRunSpeed _runSpeed;

        public GetToDaChoppa(IRunSpeed runSpeed)
        {
            _runSpeed = runSpeed ?? throw new ArgumentNullException(nameof(runSpeed));
        }

        public int DoItNow
        {
            get
            {
                var runningSpeed = _runSpeed.Speed;
                return 0;
            }
        }
    }

테스트 케이스:

        [Theory, AutoNSubstituteData]
        public void DoItNowAsProperty_UsingAutoNSubstitute(
            [Frozen] IRunSpeed runSpeed,
            GetToDaChoppa sut)
        {
            // Arrange
            runSpeed.Speed.Returns(49);

            //Act
            var x = sut.DoItNow;

            //Assert
            var tmp = runSpeed.Received(1).Speed;
            Assert.Equal(1, runSpeed.ReceivedCalls().Count());
        }

현재 저는 https://github.com/xunit/xunit/issues/1386 및 https://github.com/AutoFixture/AutoFixture/issues/805 에서 토론을 따라잡으려고 노력하고
또한 DisplayName 속성을 재정의하는 나만의 이론 속성을 만들려고 시도했지만 xUnit이 여전히 내부적으로 자동 생성된 이름을 사용하고 있기 때문에 도움이 되지 않습니다. 그러나 이는 참고용일 뿐이며 위의 데모 코드와 전혀 관련이 없습니다.

        public sealed class MyTheoryAttribute : TheoryAttribute
        {
            public MyTheoryAttribute([CallerMemberName] string memberName = null)
            {
                DisplayName = "MyTestCase";
            }
        }

안녕, 또 나야 :)
복합 유형인 테스트 방법 매개변수의 모든 속성 및 필드를 호출하는 것은 실제로 xUnit2입니다. 코드 줄은 다음과 같습니다. https://github.com/xunit/assert.xunit/blob/2b70a9b0c5bb291f98472ec24cec437acf8d65c8/Sdk/ArgumentFormatter.cs#L156

지원해 주셔서 감사합니다. 토론이 계속되어야 하는 xUnit-Repo에서 문제를 다시 열었습니다. https://github.com/xunit/xunit/issues/1682

@dklinger 자세한 시나리오에 감사드립니다. 그것은 실제로 상당히 까다롭고 어떻게든 해결하기 어렵습니다. AutoFixture와 NSubsitute 관점에서 보면 코드가 xUnit 내부 깊숙한 곳에서 호출되든 테스트 본문에서 호출되든 차이가 없습니다.

일반적으로 해결 방법으로 NSubstitute의 명확한 기능을 사용할 수 있습니다.

runSpeed.ClearReceivedCalls();

이 코드는 정확한 호출 수를 확인하는 각 테스트의 프롤로그에서 실행해야 합니다. 몇 가지 테스트가 있으면 잘 작동하지만 분명히 수천 개의 테스트가 영향을 받으면별로 도움이되지 않습니다 😅

NSubsitute + xUnit2 + AutoFixture 통합이 제대로 작동하지 않고 이러한 종류의 문제로 고통받는 것은 유감입니다. AutoFixture 제품은 악몽을 꾸기보다는 삶을 단순화하도록 설계되었습니다 😕 xUnit의 직원들이 전체 프로젝트의 문제를 해결하는 빠른 방법을 조언해주기를 바랍니다.

상황을 개선하기 위해 우리 측에서 뭔가를 할 수 있다고 생각되면 알려주십시오.