Evalml: कुछ उद्देश्यों के लिए जहां आधार रेखा 0 थी, "आधार रेखा से बेहतर पीसीटी" नैनो है

प्रतिलिपि प्रस्तुत करनेवाला

import evalml
import pandas as pd
X = pd.read_csv('~/Downloads/fraud_500_data.csv').drop(['id', 'expiration_date'], axis=1)
y = X.pop('fraud')
automl = evalml.automl.AutoMLSearch(problem_type="binary", objective="f1")
automl.search(X, y)
# note that all percent_better_than_baseline values are nan in the rankings table
print(automl.rankings)
# can also check the scores of any pipeline other than the baseline pipeline, which should have id 0
print(automl.results['pipeline_results'][1]['percent_better_than_baseline_all_objectives'])

डेटासेट यहाँ है

@dsherry @rpeck यह अपेक्षित व्यवहार है क्योंकि बेसलाइन पाइपलाइन को NaN ( F1 , MCCBinary , Precision ) के साथ उद्देश्यों पर 0 का स्कोर मिलता है। इस पद्धति में विभाजन को 0 से या तो अनंत या कोई नहीं के रूप में सेट करने के बारे में चर्चा हुई है, लेकिन हमने कभी तय नहीं किया है कि वे NaN से बेहतर हैं क्योंकि यदि बेसलाइन स्कोर किसी भी उद्देश्य पर सबसे खराब संभव स्कोर है, तो उस पर "प्रतिशत बेहतर" की तुलना करना उद्देश्य बहुत अच्छा नहीं करता है और इसे कोई नहीं, NaN, या अनंत के साथ व्यक्त किया जा सकता है।

कहा जा रहा है, NaN पर इनमें से किसी एक विकल्प को चुनने के अन्य कारण भी हो सकते हैं!

@freddyaboulton आह, समझ में आता है! मैं ऐसे किसी भी उद्देश्य को छोड़ने के लिए परीक्षण को बदल दूंगा जहां आधार रेखा 0 है। धन्यवाद!

धन्यवाद @freddyaboulton ! @rpeck क्षमा करें, जब आप कल मुझसे इसके बारे में पूछ रहे थे तो मैंने इसे नहीं पकड़ा।

इस मुद्दे को चर्चा के लिए खुला छोड़ना: क्या हमें इस मामले में व्यवहार बदलना चाहिए?

@freddyaboulton तो F1, MCCBinary और प्रेसिजन सभी मेट्रिक्स हैं जहां अधिक बेहतर है और [-1, 1] (corr) या [0, 1] की सीमा में बंधे हैं। क्या हम 0 से पूर्ण अंतर की गणना करने और पीसीटी सुधार के रूप में उपयोग करने के लिए पीसीटी सुधार को बदल सकते हैं? और अगर हम वर्तमान में यही कर रहे हैं, तो मुझे उन मीट्रिक के लिए nan pct सुधार का उत्पादन करने के लिए 0 की आधार रेखा की उम्मीद नहीं होगी।

@dsherry हमने डिजाइन चरण में [0, 1] से बंधे उद्देश्यों के लिए पूर्ण अंतर की गणना का प्रस्ताव दिया था, लेकिन हमने तय किया कि दो अलग-अलग संगणनाएं भ्रमित करने वाली होंगी। ऐसा कहा जा रहा है, हमें शायद उस पर पुनर्विचार करना चाहिए, यह देखते हुए कि बेसलाइन पाइपलाइन लगभग उन उद्देश्यों पर 0 स्कोर करने के लिए डिज़ाइन की गई है। ध्यान देने योग्य बात यह है कि जब हमने पहली बार यह निर्णय लिया था, तो हम केवल प्राथमिक उद्देश्य के लिए बेहतर प्रतिशत की गणना कर रहे थे (जो प्रतिगमन को छोड़कर इन बाध्य उद्देश्यों में से एक नहीं है)।

यहां तक ​​​​कि अगर हम पूर्ण अंतर की गणना करते हैं, तो हम नेन/कोई नहीं/इन्फ डिवीजन-बाय -0 व्यवहार को बदलने पर विचार करना चाहेंगे। विचार करने के लिए एक दिलचस्प मामला R2 है, क्योंकि ज्यादातर मामलों में यह [0, 1] है लेकिन यह तकनीकी रूप से है (-inf, 1]। इसलिए पूर्ण अंतर की गणना गणितीय रूप से ध्वनि नहीं हो सकती है, लेकिन चूंकि यह प्रतिगमन के लिए डिफ़ॉल्ट उद्देश्य है , हमें बहुत सी बेसलाइनों को 0 स्कोर करते हुए देखने की उम्मीद करनी चाहिए।

तो संक्षेप में, हम दो स्वतंत्र परिवर्तन कर सकते हैं, जिससे चार संभावित परिणाम प्राप्त हो सकते हैं:

1. [0, 1] में बंधे उद्देश्यों के लिए पूर्ण अंतर की गणना न करें, 0 से भाग नान है। वर्तमान व्यवहार।
2. [0, 1] में बंधे उद्देश्यों के लिए पूर्ण अंतर की गणना न करें, 0 से विभाजन inf है।
3. [0, 1] में बंधे उद्देश्यों के लिए पूर्ण अंतर की गणना करें, 0 से विभाजन नैन है।
4. [0, 1] में बंधे उद्देश्यों के लिए पूर्ण अंतर की गणना करें, 0 से विभाजन inf है।

हालाँकि, जब हम 0 से विभाजित करते हैं, तो मैं NaN को वापस करना पसंद करता हूँ, उपयोगकर्ताओं की आंत प्रतिक्रिया जब वे NaN देखते हैं तो यह मान लिया जाता है कि automl में कुछ टूट गया है। मुझे लगता है कि रिटर्निंग इंफ यह स्पष्ट कर देगा कि कुछ भी नहीं टूटा और पाइपलाइन वास्तव में बेसलाइन से बेहतर है।

वह विकल्प 2 और 4 छोड़ देता है।

मुझे लगता है कि "प्रतिशत बेहतर" के लिए दो अलग-अलग गणना होने से उपयोगकर्ताओं से संवाद करना कठिन हो जाएगा जो वास्तव में प्रत्येक पाइपलाइन के लिए गणना की जा रही है। कहा जा रहा है कि, हमारी आधारभूत पाइपलाइनों को बहुत सारे उद्देश्यों (R2, F1, MCC) के लिए 0 स्कोर करने के लिए डिज़ाइन किया गया है, विशेष रूप से असंतुलित समस्याओं में (हम केवल मोड की भविष्यवाणी करते हैं)। यह "प्रतिशत बेहतर" सुविधा को अधिकांश यथार्थवादी समस्याओं के लिए बहुत उपयोगी नहीं बनाता है क्योंकि सभी पाइपलाइन बेसलाइन से "असीम" बेहतर होंगी।

मुझे लगता है कि मैं विकल्प 4 के लिए 55% और विकल्प 2 के लिए 45% झुक रहा हूँ, लेकिन मैं उस बदलाव को करने से पहले अन्य दृष्टिकोणों को सुनना चाहता हूँ!

स्टैंडअप में आज हमने "बेसलाइन से बेहतर पीसीटी" व्यवहार को अपडेट करने का समय तय किया है। हम ऊपर विकल्प 2 और 4 के साथ जा रहे हैं:

• बिना सीमा के उद्देश्यों के लिए सापेक्ष अंतर का उपयोग करें (एमएसई, लॉग हानि, आदि)
• [0, 1] सीमा वाले उद्देश्यों के लिए पूर्ण अंतर का उपयोग करें (AUC, R2, आदि)
• हमें पियरसन सहसंबंध ([-1, 1]) जैसे किनारे के मामलों को संभालना होगा।
• यदि 0 से विभाजित करने में कोई त्रुटि हो तो inf के बजाय nan लौटाएं

@freddyaboulton क्या इस मैच में हमने चर्चा की है?

पसंद। :-)

आगे: मैं निर्णय से सहमत हूं। IMO, यदि कोई मीट्रिक [आमतौर पर, कम से कम] 0..1 है, तो 0 से 0.2 तक _feels_ 20% सुधार की तरह जा रहा है, भले ही गणितीय रूप से ऐसा नहीं है। एक तरह से, यह मुझे उन सभी फ़ार्मुलों की याद दिलाता है जो एक मात्रा का log लेते हैं, लेकिन वे पहले 1 जोड़ते हैं ताकि वे 0 का log न लें। :slightly_smiling_face: