Cucumber-js: प्रस्ताव: ककड़ी-जेएस चलाने के लिए प्रोग्रामेटिक एपीआई

प्रारंभिक प्रतिक्रिया के लिए पेजिंग: @aslakhellesoy @charlierudolph @ @mattwynne @nicojs @jan-molak

मुझे यह प्रस्ताव पसंद है! हम पहले से ही इस तरह एक एपीआई नकली-ककड़ी के रनककड़ी में

@davidjgoss - बहुत अच्छा लगता है!

आपके संदर्भ के लिए, इस समय कैसे Serenity/JS ककड़ी को आमंत्रित करता है - CucumberCLIAdapter
और यहाँ कॉन्फ़िगरेशन पैरामीटर को argv - CucumberOptions बदलने का तर्क है।

argv के बजाय एक विकल्प वस्तु प्रदान करने में सक्षम होना बहुत अच्छा होगा

इसे प्यार करना!

उस नए सार्वजनिक एपीआई को निर्दिष्ट करते समय, हम यह भी विचार कर सकते हैं कि हाल ही में #1489 अंक के साथ क्या हुआ और फ़िल्टर के साथ अधिक और बेहतर बातचीत करने और परीक्षण के तहत परिणामी सुविधाओं के लिए सार्वजनिक एपीआई प्रदान करने के बारे में सोच सकते हैं।

और उसमें जोड़ने के लिए - आइए कुछ ऐसा बनाते हैं जिससे ककड़ी-इलेक्ट्रॉन के लिए भी यह आसान हो जाए:

• https://github.com/cucumber/cucumber-electron/blob/1c2faaa77065754d1ca17dce27fff1c421d226d0/src/renderer/main.js#L49
• https://github.com/cucumber/cucumber-electron/blob/0617ab15545ac5ceb4587599e589fefd0b670142/src/renderer/index.js#L41 -L50

एक सार्वजनिक एपीआई होना कुछ भी नहीं से बेहतर है, इसलिए आगे बढ़ें 👍!

अधिमानतः मेरे पास cucumber-js के समान नियमों का उपयोग करके प्रोफाइल लोड करने के लिए एक एपीआई भी होगा, इसलिए मैं सामान्य ककड़ी-जेएस कॉल के सटीक व्यवहार की नकल कर सकता हूं।

loadProfiles(directory = process.cwd()): Record<string, Profile>

StrykerJS भी custom_formatters API और eventBroadcaster द्वारा प्रकाशित ईवेंट पर बहुत अधिक निर्भर करेगा। क्या हम उन्हें सार्वजनिक एपीआई में भी जोड़ सकते हैं? देखें: https://github.com/stryker-mutator/stryker-js/blob/03b1f20ed933d3a50b52022cfe363c606c2b16c5/packages/cucumber-runner/src/stryker-formatter.ts#L45 -L69

अधिमानतः मेरे पास ककड़ी-जेएस के समान नियमों का उपयोग करके प्रोफाइल लोड करने के लिए एक एपीआई भी होगी, इसलिए मैं सामान्य ककड़ी-जेएस कॉल के सटीक व्यवहार की नकल कर सकता हूं।

यह लाभप्रद है। प्रोफाइल (कम से कम उनके वर्तमान रूप में) मूल रूप से सीएलआई के साथ जुड़े हुए हैं, इसलिए उन्हें सीमा के उस तरफ रखना सही लगता है, लेकिन हम अभी भी उन्हें लोड करने और आंशिक विकल्प ऑब्जेक्ट उत्पन्न करने के लिए एक फ़ंक्शन का पर्दाफाश कर सकते हैं।

उस नए सार्वजनिक एपीआई को निर्दिष्ट करते समय, हम इस बात पर भी विचार कर सकते हैं कि हाल ही में #1489 अंक के साथ क्या हुआ और फ़िल्टर और परीक्षण के तहत परिणामी सुविधाओं के साथ अधिक और बेहतर बातचीत करने के लिए सार्वजनिक एपीआई प्रदान करने के बारे में सोच सकते हैं।

मुझे लगता है कि हम एपीआई को कॉल करते समय एक कस्टम अचार फ़िल्टर प्रदान करने के लिए एक विकल्प शामिल कर सकते हैं (नाम, टैग आदि के अलावा जो अंतर्निहित फ़िल्टरिंग को चलाते हैं)।

प्रोफाइल के लिए वर्तमान सिंटैक्स यदि बहुत कमांड-लाइन-वाई।

मैं अधिक सामान्य प्रारूप जैसे कि JSON, JavaScript, YAML या पर्यावरण चर में प्रोफ़ाइल निर्दिष्ट करने में सक्षम होने के लिए ❤️❤️❤️ करूंगा। JSON में यह इस तरह दिख सकता है:

.cucumber.json

{
  "default": {
    "requireModule": ["ts-node/register"],
    "require": ["support/**/*./ts"],
    "worldParameters": {
      "appUrl": "http://localhost:3000/",
    },
    "format": ["progress-bar", "html:./cucumber-report.html"]
  },
  "ci": {
    "requireModule": ["ts-node/register"],
    "require": ["support/**/*./ts"],
    "worldParameters": {
      "appUrl": "http://localhost:3000/",
    },
    "format": ["html:./cucumber-report.html"],
    "publish": true
  }
}

या, जावास्क्रिप्ट का उपयोग कर

.cucumber.js

const common = {
  "requireModule": ["ts-node/register"],
  "require": ["support/**/*./ts"],
  "worldParameters": {
    "appUrl": "http://localhost:3000/",
  }
}

module.exports = {
  default: {
    ...common,
    "format": ["progress-bar", "html:./cucumber-report.html"]
  },
  ci: {
    ...common,
    "format": ["html:./cucumber-report.html"],
    "publish": true
  }
}

या यहां तक ​​​​कि पर्यावरण चर के साथ (उदाहरण के लिए dotenv जैसे उपकरण के साथ लोड किया गया):

.cucumber.env

CUCUMBER_PROFILE_DEFAULT_REQUIREMODULE=ts-node/register
CUCUMBER_PROFILE_DEFAULT_REQUIRE=ts-node/register
CUCUMBER_PROFILE_DEFAULT_WORLDPARAMETERS_APPURL=http://localhost:3000/
CUCUMBER_PROFILE_DEFAULT_FORMAT=progress-bar,html:./cucumber-report.html
CUCUMBER_PROFILE_CI_REQUIREMODULE=ts-node/register
CUCUMBER_PROFILE_CI_REQUIRE=ts-node/register
CUCUMBER_PROFILE_CI_WORLDPARAMETERS_APPURL=http://localhost:3000/
CUCUMBER_PROFILE_CI_FORMAT=progress-bar,html:./cucumber-report.html
CUCUMBER_PROFILE_CI_PUBLISH=true

वास्तव में, कॉन्फ़िगरेशन लाइब्रेरी ठीक यही करती है। हमने कभी भी इसे ककड़ी-जेवीएम में एकीकृत नहीं किया क्योंकि अन्य चीजें रास्ते में आ गईं, लेकिन शायद हम इसे जावास्क्रिप्ट कार्यान्वयन के साथ दे सकते हैं?

@aslakhellesoy सहमत हैं कि यह बहुत अच्छा होगा! मैं कोशिश करूंगा और इस प्रस्ताव के लिए एक पीओसी प्राप्त करूंगा ताकि हमारे पास बात करने के लिए कुछ और ठोस हो, और इसके हिस्से के रूप में प्रोफाइल बनाना अच्छा लगेगा (4.5 साल और #751 पर गिनती )

संदर्भ #1004

यह लाभप्रद है। प्रोफाइल (कम से कम उनके वर्तमान रूप में) मूल रूप से सीएलआई के साथ जुड़े हुए हैं, इसलिए उन्हें सीमा के उस तरफ रखना सही लगता है, लेकिन हम अभी भी उन्हें लोड करने और आंशिक विकल्प ऑब्जेक्ट उत्पन्न करने के लिए एक फ़ंक्शन का पर्दाफाश कर सकते हैं।

हाँ, प्लगइन निर्माताओं के दृष्टिकोण से यह बहुत बढ़िया और बहुत सराहना की जाएगी।

मैं अधिक सामान्य प्रारूप जैसे कि JSON, JavaScript, YAML या पर्यावरण चर में प्रोफ़ाइल निर्दिष्ट करने में सक्षम होने के लिए ❤️❤️❤️ करूंगा। JSON में यह इस तरह दिख सकता है:

वह बहुत अच्छा लगता है! और यही कारण है कि मैं उन्हें उसी तरह लोड करने के लिए एक एपीआई की सराहना करता हूं जैसे ककड़ीजेएस करता है। एक एकल cucumber.js फ़ाइल लोड करना मामूली है। वरीयता, फ़ाइल प्रारूप, आदि सहित कॉन्फ़िगरेशन फ़ाइल लोडिंग एल्गोरिदम को दोहराना और इसे बनाए रखना पूरी तरह से कुछ और है।

प्रश्न: क्या मैं runCucumber लगातार दो बार चला पाऊंगा _बिना कैशे को साफ किए _? यह उत्परिवर्तन परीक्षण उपयोग के मामले के लिए महत्वपूर्ण है।

हम सक्रिय म्यूटेंट को स्विच करने के लिए एक वैश्विक चर बदलते समय पर्यावरण को लोड करना चाहते हैं और त्वरित उत्तराधिकार में कई बार परीक्षण चलाना चाहते हैं।

अभी, हम cli निजी API का उपयोग कर रहे हैं और हमें प्रत्येक टेस्ट रन के बीच require.cache से चरण परिभाषा फ़ाइलों को साफ़ करने की आवश्यकता है। यह कॉमनजेएस के लिए आदर्श नहीं है और ईएसएम के लिए बिल्कुल भी काम नहीं करेगा।

हमारे उपयोग के मामले का छद्म कोड:

const profiles = await loadProfiles();
const options = {
  ...profiles.default,
  formatter: require.resolve('./our-awesomely-crafted-formatter'),
  some: 'other options we want to override',
}
const cucumber = new Cucumber(options);

// Allow cucumber to load the step definitions once. 
// This is `async`, so support for esm can be added without a breaking change
await cucumber.initialize();

// Initial test run ("dry run"), without mutants active
await cucumber.run();

collectMutantCoveragePerTestFromFormatter();

// Start mutation testing:

global.activeMutant = 1;
await cucumber.run({ features: ['features/a.feature:24']);
collectResultsFromFormatterToDetermineKilledOrSurvivedMutant()

global.activeMutant = 2;
await cucumber.run({ features: ['features/b.feature:24:25:26', 'features/c.feature:12']);
collectResultsFromFormatterToDetermineKilledOrSurvivedMutant()

// etc

@nicojs निश्चित रूप से सहमत हैं कि हमें इसकी आवश्यकता है, यह कुछ समय पहले आया है उदाहरण के लिए लोग लैम्ब्डा में ककड़ी चलाने के इच्छुक हैं, और मैं एक इंटरैक्टिव मोड भी जोड़ना चाहता हूं जिसके लिए इसकी भी आवश्यकता होगी।

मैंने अब तक जो स्केच किया था वह एक कार्यात्मक शैली में था, लेकिन वही मौलिक अवधारणा जो मुझे लगता है:

const runnerOptions = {
    support: {
        require: ['features/support/**/*.js']
    }
}

// initial run returns support code library
const { support } = await runCucumber(runnerOptions)

// subsequent run reuses support code library
await runCucumber({
    ...runnerOptions,
    support
})

यह हमारे लिए काम करता है

हमारे लिए भी काम करता है 👍🏻

मैं वास्तव में सोचता हूं कि आज हमारे पास परीक्षण उपकरण एकीकरण (जेस्ट, सरू) के साथ बड़ी गड़बड़ी के विकल्प के रूप में ऐसा कुछ बेहद उपयोगी होगा, उदाहरण के लिए मुझे ये समस्याएं मिलीं (महत्व के क्रम में):

• cypress-cucumber-preprocessor उदाहरणों पर टैग का समर्थन नहीं करता (https://github.com/TheBrainFamily/cypress-cucumber-preprocessor/issues/196)
• jest-cucumber ककड़ी JSON रिपोर्टिंग का समर्थन नहीं करता (https://github.com/bencompton/jest-cucumber/issues/27)
• cypress-cucumber-preprocessor एकत्रीकरण के लिए बिना किसी आधिकारिक समर्थन के कई ककड़ी JSON रिपोर्ट तैयार करता है (https://github.com/TheBrainFamily/cypress-cucumber-preprocessor/issues/423)
• jest-cucumber jest-cucumber-fusion जितना सुविधाजनक नहीं है
• cucumber-jest भी है ...
• कर्म का अब कोई कार्यान्वयन नहीं है (https://github.com/cucumber/cucumber-js/issues/1095)

मैं इसके बजाय जेस्ट/कर्म/सरू/आदि के बीच कुछ न्यूनतम गोंद कोड देखूंगा। और ककड़ी-जेएस इसलिए मुझे उन सभी लापता सुविधाओं के लिए पीड़ित नहीं होना पड़ेगा जिन्हें मुझे उपयोग करने की ज़रूरत है।

बढ़िया सुझाव @davidjgoss

कमांड-लाइन यूजर इंटरफेस और परीक्षणों के रूप में पार्सिंग और निष्पादन परिदृश्यों के "व्यावसायिक तर्क" के बीच चिंताओं का यह अलगाव मुझे हेक्सागोनल आर्किटेक्चर पैटर्न की याद दिलाता है।

ककड़ी-रूबी में हम वास्तव में कोर डोमेन लॉजिक (या "आंतरिक षट्भुज") को एक अलग रत्न पैकेज में विभाजित करते हैं, क्योंकि हम इसे "साफ कमरे" में खरोंच से पुनर्निर्माण कर रहे थे। मुझे एहसास है कि यहां संदर्भ नहीं है, लेकिन रूबी एपीआई में इस डिजाइन से कुछ प्रेरणा लेने या नवाचारों को वापस खिलाने के लायक हो सकता है। उस एपीआई का उपयोग करने के तरीके के बारे में ककड़ी-रूबी-कोर मणि के रीडमे में एक उदाहरण है।

ठीक है, यहाँ "रन" बिट के लिए एपीआई हस्ताक्षर पर पहला पास है। यह हमारे पास आंतरिक रूप से मौजूद IConfiguration ऑब्जेक्ट पर बहुत अधिक आधारित है (इसलिए नीचे बहुत अधिक रिफैक्टरिंग का कारण नहीं होना चाहिए) लेकिन थोड़ा कम "फ्लैट":

export interface IRunCucumberOptions {
  cwd: string
  features: {
    defaultDialect?: string
    paths: string[]
  }
  filters: {
    name?: string[]
    tagExpression?: string
  }
  support:
    | {
        transpileWith?: string[]
        paths: string[]
      }
    | ISupportCodeLibrary
  runtime: {
    dryRun?: boolean
    failFast?: boolean
    filterStacktraces?: boolean
    parallel?: {
      count: number
    }
    retry?: {
      count: number
      tagExpression?: string
    }
    strict: boolean
    worldParameters?: any
  }
  formats: {
    stdout: string
    files: Record<string, string>
    options: IParsedArgvFormatOptions
  }
}

export interface IRunResult {
  success: boolean
  support: ISupportCodeLibrary
}

export async function runCucumber(
  options: IRunCucumberOptions
): Promise<IRunResult> {
  // do stuff
}

और एक बहुत ही विकसित उदाहरण उपयोग:

const result = await runCucumber({
  cwd: process.cwd(),
  features: {
    paths: ['features/**/*.feature'],
  },
  filters: {
    name: ['Acme'],
    tagExpression: '<strong i="10">@interesting</strong>',
  },
  support: {
    transpileWith: ['ts-node'],
    paths: ['features/support/**/*.ts'],
  },
  runtime: {
    failFast: true,
    retry: {
      count: 1,
      tagExpression: '<strong i="11">@flaky</strong>',
    },
    strict: true,
    worldParameters: {
      foo: 'bar',
    },
  },
  formats: {
    stdout: '@cucumber/pretty-formatter',
    files: {
      'report.html': 'html',
      'TEST-cucumber.xml': 'junit',
    },
    options: {
      printAttachments: false,
    },
  },
})

प्रतिक्रिया का स्वागत है! ध्यान दें कि इसमें प्रोफ़ाइल/कॉन्फ़िगर लोडिंग सामग्री शामिल नहीं है जो एक और कार्य होगा।

मुझे लगता है कि यह अच्छा लग रहा है। प्रश्न: मैं एक कस्टम फ़ॉर्मेटर को कैसे कॉन्फ़िगर करूं?

@nicojs CLI पर पसंद करते हैं

formats: {
    files: {
      'report.html': './my/fancy-reporter.js',
      'other-report.html': '@me/reporter-package',
    }
  },

इस @davidjgoss पर प्रगति देखकर बहुत अच्छा लगा!

मैं इस पर प्रगति को धीमा नहीं करना चाहता, लेकिन साथ ही मैं यह सुनिश्चित करना चाहता हूं कि हम एक ऐसा प्रारूप अपनाएं जो अन्य ककड़ी कार्यान्वयन के लिए भी काम कर सके।

अंततः एक JSON स्कीमा, लेकिन जब हम इस पर चर्चा करते हैं तो मुझे लगता है कि टाइपस्क्रिप्ट प्रकार हम मनुष्यों के लिए पार्स करना आसान है।

मेरा सुझाव है कि हम प्रस्तावित प्रारूप के बारे में cucumber/common मोनोरेपो में एक नया मुद्दा बनाएं और वहां चर्चा करने के लिए कोर टीम को आमंत्रित करें।

@aslakhellesoy करेंगे।

प्रोग्रामेटिक एपीआई के सामान्य विकल्प संरचना से बंधे नहीं होने के बारे में आप क्या सोचेंगे? जैसे हम उस से runCucumber विकल्पों में मैप करेंगे। यह शायद थोड़ी जटिलता जोड़ता है लेकिन support ब्लॉक होने जैसी चीजों के कारण अपील करता है जो या तो लोड करने के लिए पैरामीटर है, या पहले लोड की गई समर्थन कोड लाइब्रेरी है। सुविधाओं के लिए भी ऐसा ही कर सकता है + अचार भी। और ऐसे कई विकल्प हैं जिनका हम CLI पर समर्थन करेंगे (उदाहरण के लिए --exit ) जो प्रोग्रामेटिक API पर उपयुक्त नहीं हैं।

प्रोग्रामेटिक एपीआई के सामान्य विकल्प संरचना से बंधे नहीं होने के बारे में आप क्या सोचेंगे?

मुझे लगता है कि यह ठीक है, जब तक हम एक ऐसा फ़ंक्शन प्रदान करते हैं जो विकल्प फ़ाइल सामग्री से डेटा संरचना runCucumber चाहता है।

अंततः एक JSON स्कीमा, लेकिन जब हम इस पर चर्चा करते हैं तो मुझे लगता है कि टाइपस्क्रिप्ट प्रकार हम मनुष्यों के लिए पार्स करना आसान है।

हमें चुनने की आवश्यकता क्यों है? हम JSON-schema-to-typescript का उपयोग करके टाइपप्रति उत्पन्न करने के लिए StrykerJS में JSON स्कीमा का उपयोग कर रहे हैं। हम TS आउटपुट फ़ाइलों को स्रोत नियंत्रण के लिए प्रतिबद्ध नहीं कर रहे हैं, इसके बजाय हम उन्हें prebuild चरण का उपयोग करके तुरंत उत्पन्न करते हैं।

JSON स्कीमा अभी भी मानव IMO के लिए कुछ हद तक पठनीय हैं। हमारे पास स्ट्राइकर रेपो पर पहले से ही पीआर हैं और लोगों को पता है कि क्या करना है 🤷‍♀️

सीएलआई की तरह सॉर्ट करें

formats: {
    files: {
      'report.html': './my/fancy-reporter.js',
      'other-report.html': '@me/reporter-package',
    }
  },

यह एक ऐसे रिपोर्टर के लिए कैसे काम करेगा जिसे आउटपुट फ़ाइल नाम की आवश्यकता नहीं है? इस तरह:

formats: {
  files: {
    '': require.resolve('./my-awesome-stryker-formatter')
  }
}

हमें चुनने की आवश्यकता क्यों है?

मुझे लगता है कि हमें कॉन्फ़िगरेशन की संरचना के लिए सत्य के एकल स्रोत के रूप में JSON स्कीमा का उपयोग करना चाहिए। -और फिर उस स्कीमा से टाइपस्क्रिप्ट/जावा/जो भी कोड जेनरेट करें।

लेकिन JSON स्कीमा मनुष्यों के लिए पढ़ना थोड़ा कठिन है, इसलिए जब हम cucumber/common में GitHub मुद्दे में स्कीमा पर चर्चा कर रहे हैं, तो मैं चर्चा को सुविधाजनक बनाने के लिए टाइपस्क्रिप्ट का सुझाव दे रहा था।

देखो मेरा मतलब है?

JSON स्कीमा अभी भी मानव IMO के लिए कुछ हद तक पठनीय हैं

मेरे लिए नहीं :-) बहुत क्रियात्मक।

यह एक ऐसे रिपोर्टर के लिए कैसे काम करेगा जिसे आउटपुट फ़ाइल नाम की आवश्यकता नहीं है?

formats: {
    stdout: './my-awesome-stryker-formatter',
    files: {
      'report.html': './my/fancy-reporter.js',
      'other-report.html': '@me/reporter-package',
    }
  },

(केवल एक फॉर्मेटर स्टडआउट स्ट्रीम का उपयोग कर सकता है)