Evalml: AutoML: कोडांतरण के लिए अलग CV विभाजन का उपयोग करें

को निर्मित 26 जन॰ 2021 · 4टिप्पणियाँ · स्रोत: alteryx/evalml

#1732 उसी डेटा स्प्लिटर का उपयोग करने के लिए हमारी स्टैक्ड एनसेम्बलिंग पाइपलाइन को अपडेट करता है जिसका उपयोग AutoML । हमने #1732 के साथ जारी रखा क्योंकि हमें विश्वास था कि यह अभी भी हमारे वर्तमान दृष्टिकोण (स्किकिट-लर्न डिफॉल्ट) में सुधार था।

यह समस्या उन दीर्घकालिक अपडेट को ट्रैक करती है जिन्हें हम AutoML में स्टैकिंग के लिए अपने डेटा स्प्लिटर में बनाना चाहते हैं।

अपडेट: # 1732 को अपडेट करना जारी रखते हुए, हम स्टैकिंग और ऑटोएमएल के बीच की बातचीत के साथ एक पहेली में भाग गए, जिससे हमें फिर से पता चला कि क्या स्टैकिंग पहनावा के लिए उसी डेटा स्प्लिट का उपयोग करना वास्तव में एक अच्छा विचार था जैसा कि हम ऑटोएमएल में उपयोग करते हैं। हमने फैसला नहीं किया, और जैसा कि रेमंड ने बताया था, हम शायद अपने पहनावे के लिए एक अलग सीवी का उपयोग करना चाहते हैं। ( @dsherry ने जानकारी की एक अच्छी डली का भी उल्लेख किया है कि संयोजन का उपयोग करने से मॉडल को अधिक जटिल मॉडल पर कम अत्यधिक महत्व देने की अनुमति मिलती है, इसलिए CV शायद इसमें मदद करता है - कृपया मुझे सही करें यदि मैंने गलत तरीके से व्याख्या की है 😂)।

उस काम को जारी रखने के बजाय, हमें इस मुद्दे का उपयोग स्टैकिंग के लिए ऑटोएमएल को अपडेट करने पर चर्चा करने के लिए करना चाहिए :

enhancement performance

स्रोत

angela97lin

सबसे उपयोगी टिप्पणी

योजना: यदि स्टैकिंग सक्षम है, तो हम एक अलग विभाजन बनाएंगे जिसे सीवी के लिए स्टैक्ड एनसेंबलिंग में पास किया जा सकता है

स्टैकिंग के लिए डेटा पास होने पर आउट-ऑफ-सैंपल भविष्यवाणियों (मूल सीवी से सत्यापन विभाजन) का उपयोग करके समर्थन में देखना साफ-सुथरा हो सकता है। हालांकि मेरा सुझाव है कि यदि स्टैकिंग सक्षम है तो हम केवल एक अलग विभाजन बनाने के सरल दृष्टिकोण से शुरू करते हैं।

आरई हमारी चर्चा, कुछ सहायक सबूत कि हमें एक अलग विभाजन क्यों रोकना चाहिए जो स्टैक्ड एनसेंबलिंग सीवी करने के लिए उपयोग कर सकते हैं:

"क्रॉस-वैरिफाइड [भविष्यवाणियों] का उपयोग करके स्टैकिंग उच्च जटिलता वाले मॉडल को गलत तरीके से उच्च वजन देने से बचाती है।" उर्फ ओवरफिटिंग
"मेटा-मॉडल के लिए प्रशिक्षण डेटासेट तैयार करने का सबसे आम तरीका बेस मॉडल के k-fold क्रॉस-सत्यापन के माध्यम से है, जहां मेटा-मॉडल के लिए प्रशिक्षण डेटासेट के आधार के रूप में आउट-ऑफ-फोल्ड भविष्यवाणियों का उपयोग किया जाता है। मेटा-मॉडल के लिए प्रशिक्षण डेटा में आधार मॉडल के इनपुट भी शामिल हो सकते हैं, उदाहरण के लिए प्रशिक्षण डेटा के इनपुट तत्व। यह मेटा-मॉडल को एक अतिरिक्त संदर्भ प्रदान कर सकता है कि कैसे मेटा- से भविष्यवाणियों को सर्वोत्तम रूप से संयोजित किया जाए- मॉडल। एक बार जब प्रशिक्षण डेटासेट मेटा-मॉडल के लिए तैयार हो जाता है, तो मेटा-मॉडल को इस डेटासेट पर आइसोलेशन में प्रशिक्षित किया जा सकता है, और बेस-मॉडल को संपूर्ण मूल प्रशिक्षण डेटासेट पर प्रशिक्षित किया जा सकता है।" --ब्लॉग पोस्ट
"यह महत्वपूर्ण है कि मेटा-लर्नर को ओवरफिटिंग से बचने के लिए स्तर 0 मॉडल को प्रशिक्षित करने के लिए उपयोग किए जाने वाले उदाहरणों के लिए एक अलग डेटासेट पर प्रशिक्षित किया जाता है।" -- एक और ब्लॉग पोस्ट
मूल पेपर सार जो चर्चा करता है कि कैसे स्टैक्ड एनसेंबलिंग को क्रॉस-सत्यापन के सामान्यीकरण के रूप में देखा जा सकता है
मैंने यह भी पाया इस एक अच्छा पढ़ा हो।

@rpeck FYI करें, कुछ कताई के बाद हम आपके सुझाव का पालन कर रहे हैं

dsherry 27 जन॰ 2021

👍2

सभी 4 टिप्पणियाँ

"क्रॉस-वैरिफाइड [भविष्यवाणियों] का उपयोग करके स्टैकिंग उच्च जटिलता वाले मॉडल को गलत तरीके से उच्च वजन देने से बचाती है।" उर्फ ओवरफिटिंग
"मेटा-मॉडल के लिए प्रशिक्षण डेटासेट तैयार करने का सबसे आम तरीका बेस मॉडल के k-fold क्रॉस-सत्यापन के माध्यम से है, जहां मेटा-मॉडल के लिए प्रशिक्षण डेटासेट के आधार के रूप में आउट-ऑफ-फोल्ड भविष्यवाणियों का उपयोग किया जाता है। मेटा-मॉडल के लिए प्रशिक्षण डेटा में आधार मॉडल के इनपुट भी शामिल हो सकते हैं, उदाहरण के लिए प्रशिक्षण डेटा के इनपुट तत्व। यह मेटा-मॉडल को एक अतिरिक्त संदर्भ प्रदान कर सकता है कि कैसे मेटा- से भविष्यवाणियों को सर्वोत्तम रूप से संयोजित किया जाए- मॉडल। एक बार जब प्रशिक्षण डेटासेट मेटा-मॉडल के लिए तैयार हो जाता है, तो मेटा-मॉडल को इस डेटासेट पर आइसोलेशन में प्रशिक्षित किया जा सकता है, और बेस-मॉडल को संपूर्ण मूल प्रशिक्षण डेटासेट पर प्रशिक्षित किया जा सकता है।" --ब्लॉग पोस्ट
"यह महत्वपूर्ण है कि मेटा-लर्नर को ओवरफिटिंग से बचने के लिए स्तर 0 मॉडल को प्रशिक्षित करने के लिए उपयोग किए जाने वाले उदाहरणों के लिए एक अलग डेटासेट पर प्रशिक्षित किया जाता है।" -- एक और ब्लॉग पोस्ट
मूल पेपर सार जो चर्चा करता है कि कैसे स्टैक्ड एनसेंबलिंग को क्रॉस-सत्यापन के सामान्यीकरण के रूप में देखा जा सकता है
मैंने यह भी पाया इस एक अच्छा पढ़ा हो।

@rpeck FYI करें, कुछ कताई के बाद हम आपके सुझाव का पालन कर रहे हैं

dsherry 27 जन॰ 2021

👍2

@dsherry @rpeck @ Angela97lin मैंने इस मुद्दे को StackedClassifier और StackedRegressor कक्षाएं ओवरफिटिंग को रोकने के लिए मॉडल के

bchen1116 11 फ़र॰ 2021

👀1

@dsherry के साथ चर्चा के बाद, यहां वह विचार है जिसके साथ हम आगे बढ़ना चाहते हैं

bchen1116 24 फ़र॰ 2021

@ bchen1116 के साथ चर्चा की गई योजना: यह समस्या ट्रैक करती है:

पहनावा पाइपलाइनों के लिए धातु की कमाई के प्रशिक्षण के लिए अलग विभाजन बनाएं
स्टैक्ड एनसेम्बलिंग के लिए स्केलेर इंप का उपयोग करना जारी रखें

अलग प्रदर्शन वृद्धि: छोटे डेटा के लिए बेहतर समर्थन। पहनावा के लिए अलग विभाजन न बनाएं। एनसेम्बलर को प्रशिक्षित करने के लिए सामान्य सीवी (सभी सीवी फोल्ड से) से आउट-ऑफ-सैंपल पाइपलाइन प्रीड्स का उपयोग करें। #1898

एक और अलग प्रदर्शन वृद्धि: विभिन्न डेटा पर पाइपलाइनों और धातु सीखने वालों को प्रशिक्षित करें। #1897

dsherry 25 फ़र॰ 2021

👍1

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Evalml: AutoML: कोडांतरण के लिए अलग CV विभाजन का उपयोग करें

सबसे उपयोगी टिप्पणी

सभी 4 टिप्पणियाँ

संबंधित मुद्दों