Mocha: -무작위 테스트 주문을위한 주문 옵션?

meh, 도구의 도움없이 교차 테스트 종속성을 피하는 것은 매우 쉽습니다.

to avoid cross-test dependencies without help of tooling 는 쉽지만, 알아 차리지 않고 테스트 스위트에 이러한 종속성을 추가하는 것도 쉽습니다. 테스트 스위트의 버그는 일반적으로 테스트 된 시스템의 버그로 변환됩니다. 이러한 버그는 코드가 테스트 대상이기 때문에 추적하기 어렵습니다.

도구없이 교차 테스트 종속성이 없는지 테스트하는 것은 불가능합니다.

@visionmedia , 재고 해주세요.

+1 @yanovich. 시드 번호를 출력하는 임의 순서 옵션을 사용합니다. 이것은 CI 환경에서 매우 유용합니다.

@visionmedia , mongoose 모델은 교차 테스트 종속성의 쉬운 예를 제공합니다. mongoose.model 'User', UserSchema 는 mongoose.models 배열에 모델을 추가합니다. 따라서 mongoose.models에로드되는 사용자 모델에 의존하는 파일을 생성 할 수 있습니다. Comment.find().populate('_user').exec(cb) 를 예로 들어 보겠습니다. 사용자 테스트가 주석 테스트 전에 실행되면 아마도 require('./models/user') (또는 무언가)가 사용자 모델을 mongoose.models에로드했기 때문에 정상적으로 실행됩니다. 그러나 사용자 테스트 전에 주석 테스트가 실행되면 Schema hasn't been registered for model "User" 오류가 발생합니다. 이것은 주석 API가 사용자 API보다 먼저 실행되고 주석 파일이 파일 간 종속성이 있음을 알지 못하는 경우 프로덕션에서 발생할 수 있습니다.

테스트 파일에 require ( './ models / user') (또는 기타)가 있고 사용자를 mongoose.models로로드하는 경우 테스트 작업에 프로덕션 문제가 계속 발생할 수 있습니다. 그러나 임의의 순서를 갖는 것은 이와 같은 잠재적 인 문제를 발견하는 데 유용한 도구 중 하나입니다.

나는 그것을 잘 표현하기를 바랍니다. 당신의 생각을 듣기를 기대합니다.

미안합니다. 과잉이라고 생각합니다. 모카는 그대로 부풀어 있습니다. 더 많은 관심이 있다면 아마도 유지 관리 부담이 될 것입니다.

생각해 주셔서 감사합니다.

코드에있는 대부분의 것들과 마찬가지로, 아는 사람들은 이것을 의도적으로 피하는 것이 쉽습니다. 실수로하지 않는 것이 더 어렵습니다. 그리고 그것이 문제라는 것을 모른다면 (예 : 혼합 된 경험 팀) 일어날 가능성이 매우 높습니다. :)

꽤 많은 사람들이 그것에 관심이있는 것 같습니다 (많은 사람들이 그것이 minitest의 최고의 기능 중 하나라고 생각합니다). 합쳐지면 기꺼이 구현할 수 있습니다.

+1 관심이 있습니다.

가지고 있으면 좋을 것입니다! 파일 이름을 변경하여 테스트가 실패하는 것을 발견했습니다.

+1 이것은 중요합니다

: +1 :

: +1 :

+1 이것은 상당히 큰 결함입니다.

rspec 의미론은 매우 견고합니다. 주문 시드를 전달하거나 무작위로 선택할 수 있습니다. 무작위로 시드를 선택하면 출력하므로 재현하기 쉽습니다.

교차 테스트 종속성을 피하는 것은 종종 쉽지 않습니다. 때로는 예기치 않은 글로벌 상호 작용으로 인해 때로는 편리하지 않습니다. 나는 모카를 사용하는 프로젝트의 50 % 이상이 주문이 무작위 화되면 테스트 실패를 보게 될 것이라고 생각합니다. 다음은 테스트 실행 순서에 의존하는 것으로 보이는 몇 가지 예입니다.

https://github.com/visionmedia/mocha/blob/master/test/hook.async.js#L95
https://github.com/visionmedia/superagent/blob/master/test/node/not-modified.js#L31

이 두 가지는 http://visionmedia.github.io/mocha/ 에 예제 테스트 모음으로 나열되어 있으며 문제를 찾는 데 많은 시간을 소비하지 않았습니다.

다시 열어 볼게요. 도움이 될 것 같아요. 도구없이 교차 테스트 deps를 결정하는 방법이 있지만이를 자동화 할 수 있다면 사람들의 시간을 절약 할 수 있습니다.

이것으로 약간 놀아 본 후에는 스위트의 계층 적 특성으로 인해 사소하지 않은 것처럼 보입니다. 테스트는 스위트로 반복하여 실행됩니다. _Tests_를 무작위로 실행하려면 열거하고 무작위 화 한 다음 거꾸로 작업해야합니다.

이로 인해 before() 및 after() Hooks는 Suite에서 _n_ 번 테스트 당 _n_ 번 실행되기 때문에 다소 의미가 없습니다 (또는 _worst_의 경우,하지만 신중할 경우에만) ), 우리는 지속적으로 컨텍스트를 변경합니다. 성능이 저하되는 것 같습니다.

임의의 시드를 사용하고 자동 생성 된 시드를보고하는 것은 사소한 것처럼 보이지만 리포터는이 정보에 대해 알아야 할 수 있으므로 리포터에서 구현해야합니다.

물론 여기에 설명 된 내용이 요청 된 내용이라고 가정합니다. 이와 같은 기능에는 사양이 필요합니다.

다른 옵션으로는 "스위트 랜덤 화"또는 "스위트 내 테스트 랜덤 화"또는이 둘의 조합이 있습니다. 실질적으로 이것은 describe() describe() 블록 _A_에 있으면 _A_의 모든 테스트가 실행될 때까지 부모 또는 형제 before() / after() )와 관련하여 불편 함을 유발하지 않습니다.

내가 (그리고 다른 사람들이) 요구하는 것은 가장 간단한 옵션입니다.

• 가장 낮은 수준에서 테스트를 무작위 화 : 단일 설명 블록 내에서; "그것"문장을 섞는다.
• 최상위 제품군의 순서를 무작위로 지정 (또는로드되는 파일의 순서를 무작위로 지정)

나는 중간 수준에서 물건을 섞는 데 많은 가치가 있다고 생각하지 않습니다.

확실히 해킹이지만 가장 낮은 수준에서 작동합니다 https://github.com/syrnick/mocha/compare/random_order?expand=1&w=0

mocha - fail
connect - pass
superagent - fail
express - pass** 
websocket.io - pass (can't tell for sure)

** 어느 쪽이든 전체 테스트 스위트의 100 회 실행 중 2 번의 간헐적 인 실패가 발생했습니다.

네, 확실히 구현하기가 더 쉽습니다!

나는 이것을 위해 seedrandom lib를보고 있었다; pass 옵션을 사용하십시오.

PR을 받아 들일 것입니다.

앞으로 며칠 동안 해당 코드를 정리하고 테스트 스위트를 조정할 것입니다. 밑줄이 이것에 대한 의존성이 너무 무겁습니까? http://stackoverflow.com/questions/6274339/how-can-i-shuffle-an-array-in-javascript 와 같은 가벼운 것을 사용할 수 있습니다

@boneskull 나는 이것을 다시 여는 당신의 결정을지지합니다. : +1 :

다른 옵션으로는 "스위트 랜덤 화"또는 "스위트 내 테스트 랜덤 화"또는이 둘의 조합이 있습니다.

나를 위해 충분히 좋은 것 같습니다. 끝까지 반복해서 열거하고 섞을 필요가 없습니다.

이것이 들어간다는 소식을 들으니 반갑습니다.

rspec이 재귀 셔플을 처리했는지 궁금합니다. 볼 가치가있을 수 있습니다
그들의 코드에서?

2014 년 8 월 26 일 화요일에 Joshua Appelman [email protected]
썼다 :

@boneskull https://github.com/boneskull 귀하의 결정을지지합니다.
이것을 다시여십시오. [이미지 : : +1 :]

다른 옵션에는 "스위트 무작위 화"또는 "내부 테스트 무작위 화
스위트 "또는이 둘의 조합.

나를 위해 충분히 좋은 것 같습니다. 끝까지 반복 할 필요가 없습니다.
열거하고 섞습니다.

—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/visionmedia/mocha/issues/902#issuecomment -53482124.

@syrnick 나는 그렇게 큰 의존성을 가진 PR을 받아들이고 싶지 않고 대신 seedrandom 합니다. 그것 없이는 어떻게 씨 뿌리기를 지원할 것인지 잘 모르겠습니다. seedrandom 를 사용하면 시드를 지정할지 여부를 지정할 수 있으며 지정하지 않으면 시드가 반환됩니다. 그런 다음 사용자에게 표시하고 RSpec을 지정하도록 허용 할 수 있습니다.

@syrnick 시드를 생성 할 경우 기자에게 전달하지 않고는 "표시 할 수"없을 수도 있습니다. 보고 아키텍처에 대해 잘 알지 못해서 어떻게해야하는지 확실히 말할 수 없었습니다.

+1

나는 구현을 보지 않았지만 무작위로 정렬 된 테스트 실행에 +1은 기본적으로 매우 중요합니다.

@syrnick 이 일을 할 생각이 있으면 알려주십시오. 감사합니다.

그렇게해서 기쁘지만 당장 ETA가 없습니다.

: +1 : 아직 PR에 도움이 필요 하신가요?

실제로 아무도 이것에 대해 작업을 시작하지 않은 것 같습니다.

첫째, Fisher-Yates 셔플이 여기서 일을 할 것 같습니다.

둘째, --order random , --order random-suites , --order default 를 선택적인 :<seed> 와 함께 3 개의 인수로 사용합니다.

+1. 테스트가 무작위로 추출되면 오래 전에 나타 났을 버그를 방금 발견했습니다. RSpec이 지원하는 방식과 유사합니다.

다음은 무작위 테스트 순서의 유용성을 보여주는 코드입니다. 더 간단한 예제가 있지만 이것은 TDD 데모에서 방금 만난 것입니다. 테스트 순서를 반대로하면 첫 번째 테스트는 항상 실패합니다.

game.js :

var express = require('express');
app = exports.app = express();

var sum = 0;

app.post('/bowl/:pins', function(req,res) {
    var score = parseInt(req.params.pins);
    console.log('Bowled ' + score);
    sum += parseInt(req.params.pins);
});

app.get('/score', function(req,res) {
    console.log('Sum: ' + sum);
    res.send(sum + '');
});

app.listen(process.env.PORT || 3000);

test \ gameTest.js :

var request = require('supertest'),
    should = require('should'),
    game = require('../game.js').app;

describe('a game of bowling', function() {
    describe('a gutter game', function() {
        it('should score 0', function(done){
            request(game).get('/score').expect(200, '0', done);
        });
    });

    describe('a single pin game', function() {
        it('should score 20', function(done){
            for(var i = 0; i < 20; i++) {
                request(game).post('/bowl/1').expect(200, done);
            }
            request(game).get('/score').expect(200, '20', done); 
        });
    });
});

나는 이것을 갖고 싶다.

: +1 :

몇 가지 전역을 포함하고 (Javascript입니다. 기억하세요) 서버 호출을 스터 빙하고 테스트에서 DOM에서 항목을 삽입 / 제거하면 주문 종속성을 쉽게 추가 할 수 있습니다. 테스트 순서를 무작위로 지정하면 나중에보다는 일찍 발견하는 데 도움이됩니다.
: +1 :

: +1 :

: +1 :

+1

기본적으로 임의 순서, 순서를 다시 생성하기위한 선택적 시드가 있으면 좋은 기능이 될 것입니다.

+1하려면 내 테스트가 임의의 순서로 실행될 때 가끔 실패합니다 ...

그동안 유닉스를 구출하십시오 (안타깝게도 임의의 시드는 지원되지 않음) :

mocha `ls -1 test/*.js | sort --random-sort `

mocha가 테스트를 실행하는 순서를 검색하고 이것을 발견했습니다. 무작위 화가없는 경우 기본 실행 순서는 무엇입니까? 항상 테스트가 파일에 물리적으로 나타나는 순서입니까?

: +1 :

@danielabar 예 그들은 파일에 나타나는 순서대로 될 것입니다.

@NicolasJacob 음 , 무작위 시드는 실제로 어느 정도 가능합니다. :)

$ seq 10 | shuf --random-source=<(yes 2883)
1
7
3
4
6
2
10
5
9
8

https://github.com/bahmutov/rocha 가이를 위해 작동합니다.

@boneskull 이 오래된 문제이지만 PR Please 레이블이 여전히 유효합니까? 그렇다면 다음 날 정도에 기부금을받을 것입니다.

결국 모카 코어를 최소한으로 유지하려는 노력에서 팀은 많은 새로운 기능을 도입하는 것을 주저 할 수 있다고 생각합니다. mocha의 다음 주요 릴리스는 플러그 형 인터페이스를 갖는 것을 목표로합니다.

작동한다면 https://github.com/bahmutov/rocha를 사용하는 것이 좋습니다.

굉장한 소스

플러그 형 인터페이스 란 무엇을 의미합니까? 이 인터페이스를 통해 무작위 테스트 순서를 도입 할 수 있습니까?

기능 요청에 대한 +1

@sulabhjain , 이전 및 다음 지지자들은 대신 +1 반응을 사용하세요.

이 분기의 진행.

이 기능에 대한 +1

이것은 테스트 프레임 워크에서 테스트를 독립적으로 유지하는 데 도움이되는 가장 중요한 기능 중 하나입니다. 모든 주요 JVM 테스트 프레임 워크에는이 기본 기능이 있습니다.

이 기능에 대한 +1입니다. 예, 충분한 경험 및 / 또는 단독으로 작업하는 테스트 종속성을 피하는 것은 쉽지만 항상 그런 것은 아닙니다.

이 기능에 관심이있는 사람들을 위해 무작위 분기 에 대해 PR을 보내 남은 것을 완료 할 수 있습니다.

기능에 +1. 이를 위해 분기가 진행 중이라는 점에 진심으로 감사드립니다.

아직도 이것을 기다리고 있습니다 :))

이것은 정말 유용 할 수 있습니다.
@tj 테스트에 대한 기본 기술을 가진 사람들과 함께 작업 할 때 테스트 종속성을 피하는 것이 쉽다는 것을 이해합니다.하지만 때로는 개발 팀을 인수해야하고 테스트 사례에 대한 기본 지식조차없는 사람들과 충돌 할 수 있습니다.

실제로 이것은 기존 프로젝트를 인수하고 하나의 테스트가 이전 프로젝트에 연결되어 있는지 쉽게 확인하려는 경우에도 유용합니다.

@boneskull 훌륭합니다! 이 수정의 상태는 무엇입니까? 도움이 필요하십니까?

모카 테스트를 무작위로 실행하는 데 사용하는 임시 솔루션을 공유하고 싶었습니다. 누군가에게 유용 할 수도 있습니다.

mocha $(find tests/ -name *.spec.js | shuf)

불행히도 동일한 예제 내에서 테스트 예제를 섞지 않지만 여전히 꽤 영리하고 편리합니다!

이 기능을 지원하는 +1

이건 아직 탁자 위에 있지만 내가 아닌 사람의주의가 필요하다

그래서 실제로 여기에 무엇이 남아 있습니까? 어디서부터 시작할 수 있습니까?

구현 된 ❤️보고 싶어요

방금 choma 패키지를 찾았습니다.이 패키지는 Mocha가 테스트 스위트와 케이스의 순서를 무작위로 지정할 수있는 매우 간단한 플러그인을 제공합니다. 앞서 언급 한 rocha의 좋은 대안. 간단하고 나를 위해 문제를 해결합니다!

대안은 테스트를 병렬로 실행하는 것입니다.

• Karma (+ mocha 또는 jasmine) -karma-parallel- 현재 코드 적용 범위를 지원하지 않습니다.
• Mocha- mocha-parallel-tests 또는 mocha.parallel
• Jest-기본적으로 수행