Evalml: डिफ़ॉल्ट रूप से बाइनरी वर्गीकरण थ्रेशोल्ड ट्यूनिंग को पुन: सक्षम करें

मैं अगले सप्ताह इस पर एक दरार लेना चाहता हूं। मैं कैशिंग करने के लिए कुछ अलग-अलग तरीकों पर शोध कर रहा हूं और स्थानीय स्तर पर कुछ सामानों का परीक्षण किया है।

हमें ऐसा तब तक नहीं करना चाहिए जब तक हमारे पास एक पूर्ण परीक्षण एमवीपी नहीं है

अब जबकि हमारे पास एमवीपी परफ टेस्ट है, हमें यह करना चाहिए! यह #1024 के भाग के रूप में सामने आया।

@ एंजेला 97 लिन धन्यवाद! हाँ निश्चित रूप से।

अगला कदम हमारी कुछ बाइनरी वर्गीकरण समस्याओं पर प्रदर्शन तुलना से पहले बनाम बाद में उत्पन्न करना है।

अतिरिक्त मुद्दो पर विचार करना

• लॉग लॉस (बिन क्लास के लिए डिफ़ॉल्ट उद्देश्य) और एयूसी को इससे बिल्कुल भी नहीं बदला जाना चाहिए, क्योंकि वे थ्रेशोल्ड-अज्ञेयवादी हैं। लेकिन F1 जैसे अन्य मेट्रिक्स में निश्चित रूप से सुधार होना चाहिए। कुछ को देखना अच्छा होगा।
• फिट टाइम हिट लेगा। सवाल यह है कि हिट कितना बुरा है? मुझे उम्मीद है कि 10-20% से अधिक की वृद्धि नहीं होगी।
• हम थ्रेशोल्ड चयन विभाजन के आकार को व्यापक बनाने के साथ प्रयोग कर सकते हैं। यह ओवरफिटिंग/अंडरफिटिंग को रोककर होल्डआउट सटीकता में सुधार कर सकता है। थ्रेशोल्ड ट्यूनिंग स्प्लिट साइज बढ़ाने से ट्रेनिंग स्प्लिट साइज भी कम हो जाएगा, जिससे तेजी से फिट होने में समय लगता है

भविष्य का कार्य

• वर्तमान में हमारे पास डेटा आकार के आसपास इसके लिए कोई सुरक्षा उपाय नहीं है। हालांकि यह सामान्य रूप से प्रशिक्षण सेट पर लागू होता है, इसलिए हमें एक अलग मुद्दा दर्ज करना चाहिए।

अप्रैल में मूल लेख में, मैंने कहा

हमें भविष्यवाणी आउटपुट को कैश करना होगा, जिसकी गणना वर्तमान में स्कोर में की जाती है।

मेरा मानना ​​है कि यह अब लागू नहीं होता, अनदेखा कर सकता है। इससे पहले कि हम score दोबारा प्रतिक्रिया दें, उस टिप्पणी को छोड़ दिया गया था। साथ ही हम एक अलग विभाजन पर थ्रेशोल्ड ऑप्टिमाइज़ेशन करते हैं, इसलिए कैश करने के लिए कुछ भी नहीं है। @freddyaboulton FYI करें

@dsherry @angela97lin मैंने यहां विश्लेषण दस्तावेज़ के पहले कुछ खंडों को एक साथ रखा

@freddyaboulton मैंने अभी कुछ टिप्पणियां छोड़ी हैं। हमें निश्चित रूप से लॉग लॉस को देखना चाहिए, जो यह दिखाना चाहिए कि कम से कम पहले बैच में कोई बदलाव नहीं हुआ है। हालाँकि मुझे लगता है कि हमें F1 या कुछ और जो थ्रेशोल्ड के प्रति संवेदनशील है, के लिए अनुकूलन करने का प्रयास करना चाहिए, ताकि हम ट्यूनिंग को सक्षम करने के प्रभाव को देख सकें।

@freddyaboulton क्षमा करें, मैं उन भूखंडों से भ्रमित हो गया जो टेम्पलेट से छोड़े गए थे, और मैंने केवल पहले भाग को पढ़ने के बारे में आपकी टिप्पणी नहीं देखी 🤦‍♂️ मुझे वह पसंद है जो आपके पास है

@freddyaboulton FYI करें जब से आपने एक डॉक्टर पोस्ट किया है, मैंने इस मुद्दे को प्रगति पर ले जाया है

@dsherry @angela97lin मैंने "datasets_small_0.yaml" फ़ाइल पर अपना विश्लेषण समाप्त किया।

संक्षेप में, थ्रेशोल्ड को ट्यून करने के बाद प्रदर्शन वास्तव में कम हो गया - क्या ऐसा इसलिए हो सकता है क्योंकि हम थ्रेशोल्ड को ट्यून करने के लिए एक स्तरीकृत विभाजन का उपयोग नहीं कर रहे हैं?

@freddyaboulton ओह, हाँ, वह हो सकता है।

मैंने आपके दस्तावेज़ की समीक्षा की और टिप्पणियाँ छोड़ दीं। मुझे नए चार्ट और आंकड़े पसंद हैं। हमें उन्हें वापस looking_glass/analysis/ में जोड़ने के तरीके खोजने चाहिए ताकि हम उनका पुन: उपयोग कर सकें। हालांकि दबा नहीं रहा है।

कुछ विकल्प जो ऊपर से दिमाग में आते हैं:

• थ्रेशोल्ड ऑप्टिमाइज़ेशन स्प्लिट के लिए स्तरीकृत विभाजन का उपयोग करें
• थ्रेशोल्ड ऑप्टिमाइज़ेशन स्प्लिट के लिए पंक्तियों की न्यूनतम संख्या लागू करें। यदि यह अप्राप्य है, चेतावनी दे सकता है और कोई सीमा निर्धारित नहीं कर सकता है, या त्रुटि कर सकता है
• छोटे डेटासेट के लिए, संपूर्ण प्रशिक्षण डेटा का उपयोग थ्रेशोल्ड ऑप्टिमाइज़ेशन स्प्लिट और जोखिम ओवरफिटिंग के रूप में करें

मुझे लगता है कि हमें पहले स्तरीकृत नमूने पर स्विच करने का प्रयास करना चाहिए और देखना चाहिए कि वह क्या करता है।

कोशिश करने की एक और बात यह होगी कि विभाजित आकार को 80% प्रशिक्षण 20% थ्रेशोल्ड ऑप्टिमाइज़ेशन से 50% प्रशिक्षण 50% थ्रेशोल्ड ऑप्टिमाइज़ेशन में बदलना होगा। मुझे थोड़ा संदेह है कि यह अच्छा करेगा लेकिन कोशिश करना आसान है और देखना दिलचस्प होगा।

चूंकि @jeremyliweishih #1049 उठा रहा है, @freddyaboulton आप इसे उसे सौंपना चाह सकते हैं। मैं आपको दो इसका पता लगाने दूँगा :)

@freddyaboulton आप इस पर काम नहीं कर रहे हैं, है ना? क्या @jeremyliweishih इसे ले सकता है?

@jeremyliweishih @dshery कृपया इसे लें! प्रारंभिक विश्लेषण से पता चला है कि केवल ट्यूनिंग को सक्षम करने से स्कोर में सुधार नहीं होता है। एक अलग डेटा विभाजन रणनीति का उपयोग करने से मदद मिल सकती है!

देव बैकलॉग पर वापस जाना और अधिक डेटा विभाजन कार्य के बाद इसके साथ आगे बढ़ना होगा।

@bchen1116 और मैंने चर्चा की, और हमें लगता है कि #973 . के लिए यह आवश्यक है