Mocha: - यादृच्छिक परीक्षण के आदेश के लिए विकल्प?

meh, टूलींग की मदद के बिना पार परीक्षण निर्भरता से बचने के लिए बहुत आसान है

हालांकि यह आसान to avoid cross-test dependencies without help of tooling , लेकिन यह भी ध्यान दिए बिना टेस्ट सूट में इस तरह की निर्भरता को जोड़ना आसान है। परीक्षण सूट में एक बग आमतौर पर एक परीक्षण प्रणाली में एक बग का अनुवाद करता है। इन बगों को ट्रेस करना मुश्किल है, क्योंकि कोड माना जाता है कि टेस्ट कवर किया गया है।

क्रॉस-टेस्ट पर निर्भरता की अनुपस्थिति के लिए परीक्षण टूलींग के बिना असंभव है।

@ संशोधन, कृपया पुनर्विचार करें।

+1 @ ज्ञानोविक। मैं एक यादृच्छिक क्रम विकल्प का उपयोग करूंगा जो एक बीज संख्या को आउटपुट करता है। यह एक CI वातावरण में बहुत उपयोगी होगा।

@ संशोधन , मोंगोज़ मॉडल क्रॉस-टेस्ट निर्भरता का एक आसान उदाहरण प्रदान करते हैं। mongoose.model 'User', UserSchema mongoose.models की सरणी पर एक मॉडल जोड़ता है। तो यह एक फ़ाइल बनाना संभव है जो mongoose.models में लोड किए जा रहे उपयोगकर्ता मॉडल पर निर्भर करता है। उदाहरण के रूप में Comment.find().populate('_user').exec(cb) लें। यदि उपयोगकर्ता परीक्षण टिप्पणी परीक्षण से पहले चलता है, तो यह ठीक निष्पादित करेगा, क्योंकि संभवतः require('./models/user') (या कुछ), ने उपयोगकर्ता मॉडल को mongoose.models में लोड किया है। लेकिन यदि टिप्पणी परीक्षण उपयोगकर्ता परीक्षण से पहले निष्पादित होता है तो आपको यह त्रुटि Schema hasn't been registered for model "User" । यह उत्पादन में तब हो सकता है जब उपयोगकर्ता एपीआई से पहले टिप्पणी एपीआई चलाता है और टिप्पणी फाइल को यह नहीं पता था कि इसमें क्रॉस फाइल निर्भरता थी।

यदि परीक्षण फ़ाइल के लिए ('./ मॉडल / उपयोगकर्ता') (या जो भी) की आवश्यकता होती है और जो उपयोगकर्ता को mongoose.models में लोड करता है, तब भी परीक्षण कार्य के साथ उत्पादन की समस्या होना संभव है। हालाँकि इस तरह की संभावित समस्याओं को खोजने के लिए एक यादृच्छिक क्रम एक और उपयोगी उपकरण होगा।

मुझे उम्मीद है कि यह अच्छी तरह से स्पष्ट है। अपने विचारों को सुनने के लिए तत्पर हैं।

क्षमा करें, मुझे लगता है कि यह प्रमुख ओवरकिल है, मोचा पर्याप्त रूप से फूला हुआ है। यदि बहुत अधिक रुचि थी तो शायद यह रखरखाव के बोझ के लायक होगा।

इसके बारे में सोचने के लिए धन्यवाद।

कोड की अधिकांश चीजों की तरह, यह उन लोगों के लिए आसान है जो जानबूझकर ऐसा करने से बचना जानते हैं। इसे अनायास ही करने से बचना कठिन है। और अगर आपको पता नहीं है कि यह एक समस्या भी है (यानी मिश्रित अनुभव वाली टीमें) तो यह होने की पूरी संभावना है :)

लगता है जैसे कुछ पीपीएल इसमें रुचि रखते हैं (और बहुत से यह मिनिटेस्ट की सबसे अच्छी विशेषताओं में से एक है)। यदि यह विलीन हो जाता है तो मुझे लागू करने में खुशी होगी।

+1 रुचि।

अच्छा लगा होगा! मैंने पाया कि मेरे नाम, फ़ाइल नाम बदलकर मेरे परीक्षण विफल हो गए।

+1 यह महत्वपूर्ण है

: +1:

: +1:

+1 यह एक बहुत बड़ी कमी है।

rspec शब्दार्थ बहुत ठोस होते हैं: आप एक ऑर्डर बीज पास कर सकते हैं, या इसे यादृच्छिक पर ले सकते हैं। यदि यह बीज को यादृच्छिक रूप से चुनता है, तो यह इसे प्रिंट करता है, इसलिए इसे पुन: पेश करना आसान है।

यह अक्सर क्रॉस-टेस्ट पर निर्भरता से बचने के लिए आसान नहीं होता है। कभी-कभी अप्रत्याशित वैश्विक संबंधों के कारण, कभी-कभी सुविधा से बाहर हो जाते हैं। मुझे संदेह है कि 50% से अधिक परियोजनाएं जो मोचा का उपयोग करती हैं, यदि क्रम यादृच्छिक रूप से परीक्षण विफलताओं को देखेगा। यहां कुछ उदाहरण दिए गए हैं जो परीक्षण निष्पादन के आदेश पर भरोसा करते हैं:

https://github.com/visionmedia/mocha/blob/master/test/hook.async.jn##95
https://github.com/visionmedia/superagent/blob/master/test/node/not-modified.js#L31

इन दोनों को http://visionmedia.github.io/mocha/ पर अनुकरणीय परीक्षण सूट के रूप में सूचीबद्ध किया गया है और मैंने मुद्दों की तलाश में अधिक समय नहीं बिताया।

मैं इसे फिर से खोलूंगा। मुझे लगता है कि यह मददगार होगा। हालांकि, क्रॉस-टेस्ट डिप्स w / o टूलींग निर्धारित करने के तरीके हैं, अगर हम इसे स्वचालित कर सकते हैं, तो यह लोगों के समय को बचाएगा।

इस के साथ एक बिट करने के बाद, यह सूट के पदानुक्रमित प्रकृति के कारण गैर-तुच्छ प्रतीत होता है। सूट में परीक्षण करके टेस्ट चलाए जाते हैं। _Tests_ को बेतरतीब ढंग से चलाने के लिए, हमें उनकी गणना करनी होगी, उन्हें यादृच्छिक बनाना होगा, फिर पीछे की ओर काम करना होगा।

इससे before() और after() हुक कुछ हद तक निरर्थक हो जाएंगे क्योंकि उन्हें सूट में _n_ बार प्रति _n_ परीक्षण मिलेगा (या यों कहें कि _worst_ मामले में, लेकिन अगर हम सावधान रहें ), जैसा कि हम लगातार संदर्भ बदलते हैं। ऐसा लगता है कि यह प्रदर्शन के लिए जुर्माना लगाएगा।

यादृच्छिक बीजों का उपयोग करना और स्वतः उत्पन्न बीजों की रिपोर्टिंग करना तुच्छ लगता है, हालांकि, पत्रकारों को इस जानकारी के बारे में जानने की आवश्यकता हो सकती है, ताकि पत्रकारों में इसे लागू करने की आवश्यकता हो।

बेशक, मैं यह मान रहा हूं कि मैंने यहां जो वर्णन किया है वह क्या है। इस तरह की सुविधा के लिए एक विनिर्देश की आवश्यकता होती है।

अन्य विकल्पों में "यादृच्छिक सूट" या "सूट के भीतर यादृच्छिकता परीक्षण" या दोनों के कुछ संयोजन शामिल हैं। व्यावहारिक रूप से, इसका मतलब है कि एक बार जब आप describe() ब्लॉक _A_ में होते हैं, तो आप किसी भी माता-पिता में परीक्षण निष्पादित नहीं कर सकते हैं या describe() ब्लॉक _B_ तक _A_ में सभी परीक्षण चला चुके हैं (जो अधिक सरल कार्यान्वयन प्रतीत होता है, और before() / after() ) के साथ हीनता का कारण नहीं होगा।)

जो मैं कर रहा हूं (और मुझे लगता है कि अन्य लोग हैं) विकल्प के लिए सबसे सरल है:

• निम्नतम स्तर पर परीक्षणों को यादृच्छिक करें: एक एकल वर्णन ब्लॉक के भीतर; फेरबदल "यह" बयान।
• शीर्ष स्तर के सूटों के क्रम को यादृच्छिक करें (या लोड होने वाली फ़ाइलों के क्रम को यादृच्छिक करें)

मुझे नहीं लगता कि मध्यवर्ती स्तरों पर चीजों को फेरबदल करने में बहुत मूल्य है।

निश्चित रूप से एक हैक, लेकिन निम्नतम स्तर के लिए काम करता है https://github.com/syrnick/mocha/compare/random_order?expand=1&w=0

mocha - fail
connect - pass
superagent - fail
express - pass** 
websocket.io - pass (can't tell for sure)

** मुझे पूरे टेस्ट सूट के 100 रनों में से 2 रुक-रुककर असफलता मिली।

ठीक है, यह निश्चित रूप से लागू करने के लिए उत्सुक है!

मैं इसके लिए सीडब्रैंडम लिब को देख रहा था; pass विकल्प का उपयोग करें।

पीआर स्वीकार करेंगे।

मैं संभवतः उस कोड को साफ कर दूंगा और अगले कुछ दिनों में परीक्षण सूट को समायोजित करूंगा। क्या अंडरस्कोर इसके लिए बहुत अधिक निर्भरता का है? मैं संभवतः इस तरह से कुछ प्रकाश का उपयोग कर सकता हूं: http://stackoverflow.com/questions/6274339/how-can-i-shuffle-an-array-in-javascript।

@boneskull मैं इसे फिर से खोलने के आपके निर्णय का समर्थन करता हूं। : +1:

अन्य विकल्पों में "यादृच्छिक सूट" या "सूट के भीतर यादृच्छिकता परीक्षण" या दोनों के कुछ संयोजन शामिल हैं।

मेरे लिए पर्याप्त से अधिक अच्छा लगता है। सभी तरह से नीचे, घनीभूत और फेरबदल करने की आवश्यकता नहीं है।

यह सुनकर बहुत अच्छा लगा।

मुझे आश्चर्य है कि अगर rspec ने पुनरावर्ती फेरबदल को संभाला है? देखने लायक हो सकता है
उनके कोड पर?

मंगलवार 26 अगस्त 2014 को, यहोशू Appelman सूचनाएं @github.com
लिखा था:

@boneskull https://github.com/boneskull मैं आपके निर्णय का समर्थन करता हूं
इसे फिर से खोलें। [छवि:: +1:]

अन्य विकल्पों में "रैंडमाइज़ सूट" या "रैंडमाइज़ टेस्ट" शामिल हैं
सूट "या दो के कुछ संयोजन।

मेरे लिए पर्याप्त से अधिक अच्छा लगता है। नीचे सभी तरह से पुनरावृत्ति करने की आवश्यकता नहीं है,
गणना करना और फेरबदल करना।

-
इस ईमेल का उत्तर सीधे दें या इसे GitHub पर देखें
https://github.com/visionmedia/mocha/issues/902#issuecomment -53482124।

@ साइरनिक मैं एक पीआर को इतने बड़े निर्भरता के साथ स्वीकार नहीं करना चाहता, और इसके बजाय seedrandom । इसके बिना, मुझे यकीन नहीं है कि आप सीडिंग का समर्थन कैसे करेंगे। seedrandom आपको एक बीज निर्दिष्ट करने की अनुमति देता है या नहीं, और यदि आप नहीं करते हैं, तो यह आपके लिए एक बीज लौटाएगा। तब हम इसे उपयोगकर्ता को दिखा सकते हैं और उन्हें इसे निर्दिष्ट करने की अनुमति दे सकते हैं, एक ला RSpec।

@syrnick आपका मन करता है कि यदि आप बीज उत्पन्न करते हैं, तो हो सकता है कि वे पत्रकारों के पास जाने के बिना "प्रदर्शन योग्य" न हों। मैं रिपोर्टिंग आर्किटेक्चर से बहुत परिचित नहीं हूं, इसलिए मैं आपको निश्चित रूप से नहीं बता सकता, या क्या करना है ...

+1

मैंने कार्यान्वयन को नहीं देखा है, लेकिन डिफ़ॉल्ट रूप से यादृच्छिक रूप से आदेशित परीक्षण निष्पादन के लिए +1 डिफ़ॉल्ट रूप से सुपर महत्वपूर्ण है।

@syrnick कृपया मुझे बताएं कि क्या आप ऐसा करने का इरादा रखते हैं, धन्यवाद।

मुझे ऐसा करने में खुशी हो रही है, लेकिन मेरे पास तत्काल ईटीए नहीं है।

: +1:, क्या आप लोगों को अभी भी एक पीआर के साथ मदद की ज़रूरत है?

वास्तव में, किसी ने भी इस पर काम करना शुरू नहीं किया है।

सबसे पहले, ऐसा लगता है कि फिशर-येट्स फेरबदल यहां काम करेगा।

दूसरा, मेरे पास --order random , --order random-suites , और --order default तीन तर्कों के रूप में एक वैकल्पिक :<seed> ।

+1। बस एक बग मिला है जो बहुत पहले दिखाया गया था अगर परीक्षण यादृच्छिक किए गए थे। RSpec इसका समर्थन कैसे करता है, इसके समान।

यहां कुछ कोड दिए गए हैं जो यादृच्छिक परीक्षण आदेश की उपयोगिता को दर्शाते हैं। जबकि सरल उदाहरण हैं, यह एक है जिसका मैंने अभी-अभी TDD डेमो के दौरान सामना किया है। यदि आप परीक्षणों के क्रम को उलट देते हैं, तो पहला परीक्षण हमेशा विफल रहता है।

game.js:

var express = require('express');
app = exports.app = express();

var sum = 0;

app.post('/bowl/:pins', function(req,res) {
    var score = parseInt(req.params.pins);
    console.log('Bowled ' + score);
    sum += parseInt(req.params.pins);
});

app.get('/score', function(req,res) {
    console.log('Sum: ' + sum);
    res.send(sum + '');
});

app.listen(process.env.PORT || 3000);

परीक्षण \ gameTest.js:

var request = require('supertest'),
    should = require('should'),
    game = require('../game.js').app;

describe('a game of bowling', function() {
    describe('a gutter game', function() {
        it('should score 0', function(done){
            request(game).get('/score').expect(200, '0', done);
        });
    });

    describe('a single pin game', function() {
        it('should score 20', function(done){
            for(var i = 0; i < 20; i++) {
                request(game).post('/bowl/1').expect(200, done);
            }
            request(game).get('/score').expect(200, '20', done); 
        });
    });
});

मुझे इसे रखने में प्रसन्नता होगी।

: +1:

एक बार जब आप कुछ ग्लोबल्स को शामिल कर लेते हैं (यह जावास्क्रिप्ट है, तो याद रखें), सर्वर कॉल से हटना शुरू करें, और अपने परीक्षणों में DOM से चीजें सम्मिलित / हटाएं, यह आदेश-निर्भरता को जोड़ने के लिए _very_ आसान है। परीक्षण क्रम को रैंडम करने से बाद की बजाय पहले इन की खोज में मदद मिलेगी।
: +1:

: +1:

: +1:

+1

डिफ़ॉल्ट रूप से रैंडम ऑर्डर, वैकल्पिक बीज के साथ ऑर्डर को फिर से बनाने के लिए, एक बड़ी सुविधा होगी।

+1 इसे करने के लिए, यादृच्छिक क्रम में चलाने पर मेरे परीक्षण कभी-कभी विफल हो जाते हैं ...

इस बीच में, बचाव के लिए यूनिक्स (दुर्भाग्य से, यादृच्छिक बीज समर्थित नहीं):

mocha `ls -1 test/*.js | sort --random-sort `

मोचा किस क्रम में टेस्ट कर रहा था और इसके लिए उसे ढूंढना पड़ा। रैंडमाइजेशन के अभाव में, डिफॉल्ट रन ऑर्डर क्या है? क्या यह हमेशा वह क्रम है जिसमें परीक्षण फ़ाइल में भौतिक रूप से दिखाई देते हैं?

: +1:

@danielabar हाँ, वे फ़ाइल में दिखाई देते हैं।

@ निकोलस जैकोब अच्छी तरह से, यादृच्छिक बीज वास्तव में कुछ हद तक संभव है, btw। :)

$ seq 10 | shuf --random-source=<(yes 2883)
1
7
3
4
6
2
10
5
9
8

https://github.com/bahmutov/rocha इसके लिए काम करता है।

@boneskull whilst यह एक पुराना मुद्दा है, क्या PR Please लेबल अभी भी मान्य है? यदि ऐसा है तो मुझे अगले दिन कुछ न कुछ योगदान मिलेगा।

मुझे लगता है कि मोचा कोर को न्यूनतम रखने की कोशिश में, टीम कई नई विशेषताओं को पेश करने में संकोच कर रही है। मोचा की अगली प्रमुख रिलीज़ में प्लग-योग्य इंटरफ़ेस होने का लक्ष्य है।

अगर मैं काम करता हूं तो क्या मैं सिर्फ https://github.com/bahmutov/rocha का उपयोग करने का सुझाव दे सकता हूं?

अद्भुत सॉस

प्लग-इन इंटरफ़ेस से आपका क्या तात्पर्य है? क्या इस इंटरफ़ेस के माध्यम से यादृच्छिक परीक्षण आदेश पेश करना संभव होगा?

सुविधा अनुरोध के लिए +1

@sulabhjain , पिछले और बाद के समर्थकों, कृपया इसके बजाय +1 प्रतिक्रिया का उपयोग करें।

इस शाखा में प्रगति।

इस सुविधा के लिए +1

परीक्षण को स्वतंत्र रखने में मदद करने के लिए परीक्षण ढांचे के लिए यह वास्तव में सबसे महत्वपूर्ण विशेषताएं हैं। हर प्रमुख JVM परीक्षण ढांचे में यह बुनियादी विशेषता है।

इस सुविधा के लिए +1। हां, पर्याप्त अनुभव और / या अकेले काम करने के साथ परीक्षण निर्भरता से बचना आसान है, लेकिन यह हमेशा ऐसा नहीं होता है।

इस सुविधा में रुचि रखने वालों के लिए, वे यादृच्छिकता शाखा के खिलाफ पीआर भेज सकते हैं ताकि जो बचा है उसे खत्म करने में मदद मिल सके।

सुविधा के लिए +1। वास्तव में सराहना करते हैं कि इसके लिए एक शाखा चल रही है।

अभी भी इस पर इंतजार :))

यह वास्तव में उपयोगी हो सकता है।
@ मैं समझता हूं कि परीक्षण पर निर्भरता से बचना आसान है जब आप परीक्षण के बारे में कुछ बुनियादी कौशल वाले लोगों के साथ काम करते हैं, लेकिन कभी-कभी आपको एक विकास टीम संभालने की आवश्यकता होती है और आप ऐसे लोगों से टकरा सकते हैं जो परीक्षण मामलों के बारे में बुनियादी ज्ञान भी नहीं रखते हैं।

वास्तव में, यह तब भी उपयोगी है जब आप मौजूदा परियोजनाओं को लेते हैं और आसानी से जांचना चाहते हैं कि क्या एक परीक्षण प्रीविओस से बंधा हुआ है।

@boneskull महान काम! इस फिक्स की स्थिति क्या है? क्या आपको किसी चीज़ में मदद की ज़रूरत है?

मैं बस अपने अस्थायी समाधान को साझा करना चाहता था जिसका उपयोग मैं यादृच्छिक क्रम में मोचा परीक्षण चलाने के लिए करता हूं। शायद यह किसी के लिए उपयोगी होगा।

mocha $(find tests/ -name *.spec.js | shuf)

दुर्भाग्य से यह एक ही उदाहरण के भीतर परीक्षण उदाहरण में फेरबदल नहीं करता है, लेकिन यह अभी भी बहुत चालाक और आसान है!

इस सुविधा के समर्थन में +1

यह अभी भी मेज पर है, लेकिन मुझ पर ध्यान देने की जरूरत है

तो, वास्तव में यहाँ क्या बचा है? मैं कहां से शुरू कर सकता हूं?

उस कार्यान्वित Would को देखना पसंद करेंगे

मुझे सिर्फ choma पैकेज मिला, जो टेस्ट सूट और मामलों के क्रम को यादृच्छिक बनाने के लिए मोचा के लिए एक बहुत ही सरल प्लगइन प्रदान करता है। रोचा का अच्छा विकल्प, जिसका उल्लेख पहले किया गया था। सरल और मेरे लिए समस्या हल करती है!

एक विकल्प समानांतर में परीक्षण चलाने के लिए होगा:

• कर्म (+ मोचा या चमेली) - कर्म-समानांतर - इस समय कोड कवरेज का समर्थन नहीं करता है
• मोचा - मोचा-समानांतर-परीक्षण या मोचा.परेल
• Jest - यह डिफ़ॉल्ट रूप से होता है