Evalml: स्वचालित उद्देश्य के रूप में याद करने की अनुमति न दें

मुझे लगता है कि सटीकता और सटीकता इस मायने में ठीक है कि वे आपको एक तुच्छ मॉडल नहीं देंगे।

हम जरूरी नहीं कि एक उद्देश्य के रूप में रिकॉल को हटाना चाहते हैं, इसे ऑटोएमएल सर्च में इसके खिलाफ ऑप्टिमाइज़ नहीं करना चाहिए। उदाहरण के लिए, मैं f1 के लिए ऑप्टिमाइज़ करना चाह सकता हूं, लेकिन फिर इसके साथ मेरा रिकॉल स्कोर देखें

@ kmax12 हाँ, ठीक है, हम उस कोड को हटाना नहीं चाहते हैं जो रिकॉल की गणना करता है, और हम अभी भी पाइपलाइन पर स्कोर के रूप में कंप्यूटिंग रिकॉल का समर्थन करना चाहते हैं, लेकिन हम इसे automl में समर्थित अनुकूलन उद्देश्य के रूप में अस्वीकार करना चाहते हैं।

यह मुझे आरओसी और भ्रम मैट्रिक्स (#427, #365) के लिए बाइनरी वर्गीकरण प्लॉटिंग/सूचना विधियों के आसपास चल रही चर्चा की याद दिलाता है। वे मेट्रिक्स नहीं हैं जिन्हें हम ऑटोएमएल में अनुकूलित कर सकते हैं, और वे सिंगल-नंबर स्कोर भी नहीं हैं, लेकिन हमारे एपीआई के तहत, उन्हें परिभाषित करने का सबसे आसान तरीका उन्हें ObjectiveBase के उदाहरणों के रूप में जोड़ना था।

वर्तमान में हमारे पास कई चीजें हैं जिनकी गणना पाइपलाइनों का उपयोग करके की जा सकती है:

1. भविष्यवाणियों
2. ऑटोएमएल के लिए ऑब्जेक्टिव फंक्शन स्कोर
3. स्कोरिंग मेट्रिक्स, automl . के बाद
4. प्लॉटिंग डेटा (बाइनरी वर्गीकरण के लिए उदाहरण: आरओसी वक्र, भ्रम मैट्रिक्स)
5. फ़ीचर महत्व

मुझे लगता है कि आज तक हम 2, 3, और 4 का प्रतिनिधित्व करने के लिए ObjectiveBase का उपयोग करने का प्रयास कर रहे हैं। दूसरे शब्दों में, हम ऑटोएमएल प्रक्रिया से अलग स्कोरिंग विधियों और प्लॉटिंग विधियों को परिभाषित करने के लिए एक स्पष्ट एपीआई खो रहे हैं। .

मुझे लगता है कि यहां अगला कदम उन एपीआई को डिजाइन करना होना चाहिए। ऐसा लगता है कि मैंने इसे #392 के रूप में पहले ही दायर कर दिया है। मैं इस टिकट को उस पर ब्लॉक होने के लिए अपडेट कर दूंगा।

उद्देश्यों के लिए अभी एपीआई पुनर्विक्रय के लिए, हमने इसके बजाय आरओसी और कन्फ्यूजन मैट्रिक्स को PlotMetrics में स्थानांतरित कर दिया है (इसमें कम डिज़ाइन चला गया था, इन दोनों को बाकी उद्देश्यों से अलग करने का यह सबसे आसान तरीका था चीजों को तोड़ना)। हमने can_optimize_threshold को BinaryClassificationObjective के लिए एक विशेषता के रूप में भी जोड़ा है, इसलिए यदि फिट() को can_optimize_threshold=True के साथ एक उद्देश्य के साथ बुलाया जाता है तो हम उस उद्देश्य के लिए अनुकूलित करते हैं, अन्यथा हम इसके लिए अनुकूलित करते हैं शुद्धता। इस पर विचार और यहां उठाए गए कुछ प्रश्नों के साथ यह कैसे संरेखित हो सकता है? क्या यह स्पष्ट नहीं होगा कि कोई उपयोगकर्ता रिकॉल पर fit कहता है, लेकिन इसके बजाय हमने सटीकता के लिए अनुकूलित किया है?

@ Angela97lin हाँ, मुझे लगता है कि ObjectiveBase से ROC/भ्रम को दूर करना एक सकारात्मक कदम था! मुझे लगता है कि #392 को आगे जाकर ट्रैक करना चाहिए। आइए इसके बजाय #392 पर एपीआई को अपडेट करने के तरीके के बारे में बातचीत जारी रखें। इस तरह, यह समस्या केवल अपडेटिंग रिकॉल को ट्रैक कर सकती है, जब हम इस बारे में निर्णय ले लेते हैं कि इस सामान को अधिक सामान्य रूप से कैसे हैंडल किया जाए।

इसके अलावा, मुझे लगता है कि बाइनरी वर्गीकरण थ्रेशोल्ड ऑप्टिमाइज़ेशन एक अलग विषय है, और शुक्र है कि #346 में आपका चल रहा काम 100% संभाल रहा है!

पहले @eccabay और @jeremyliweishih के साथ संक्षेप में चर्चा: इसका समर्थन करने के विकल्प हैं:

• याद करने के उद्देश्यों को पूरी तरह से हटा दें।
• objectives/utils.py OPTIONS में वापस बुलाए गए उद्देश्यों के लिए प्रविष्टियां हटाएं, और पुष्टि करें कि ऑटोएमएल में उन उद्देश्यों को अस्वीकार कर दिया गया है।