Evalml: स्टैडआउट से स्केलेर अपरिभाषित मीट्रिक चेतावनी को रोकें (F1 स्कोर)

हाँ, हमें इसे ठीक करना चाहिए। सामान्य तौर पर हमें किसी भी चीज़ को stdout पर प्रिंट होने की अनुमति नहीं देनी चाहिए जब तक कि हमारा कोड ऐसा नहीं करता।

मुझे आश्चर्य है कि क्या यह #311 से संबंधित है।

मुझे लगता है कि हमें आपके दोनों सुझावों का पालन करना चाहिए: इस स्केलेर स्टडआउट आउटपुट को दबाएं, और यदि संभव हो तो अपना स्वयं का चेतावनी संदेश भी लिखें।

@christopherbunn आरई आप बैठक में इसका जिक्र कर रहे हैं, क्या इसे प्रगति के रूप में चिह्नित किया जाना चाहिए?

@christopherbunn @jeremyliweishih मैंने इस पर कुछ और पढ़ा , और मैं चाहता हूं कि हमारे सभी सटीक और f1 उद्देश्यों (बाइनरी और मल्टीक्लास) के लिए zero_division=0.0 सेट किया जाए।

व्याख्या
परिशुद्धता n_true_pos / (n_true_pos + n_false_pos) । इसलिए यदि मॉडल कभी भी प्रश्न में डेटा विभाजन पर किसी विशेष लेबल की भविष्यवाणी नहीं करता है, तो उस लेबल के लिए कोई सही या गलत सकारात्मक नहीं होगा, और इसलिए 0 से एक विभाजन होगा। इसी तरह f1 के बारे में भी सच है।

तर्क
आइए मान लें कि हम अपनी कक्षाओं को संतुलित करने का एक अच्छा काम करते हैं (जो हम वर्तमान में नहीं करते हैं, लेकिन एक अलग विषय है, # 194 #457)। यदि ऐसा है, तो इसकी अत्यधिक संभावना नहीं है कि प्रशिक्षण या सत्यापन विभाजन में किसी विशेष वर्ग के कुछ उदाहरण होंगे। और अगर हम यह मान सकते हैं, और मॉडल अभी भी किसी विशेष लेबल के लिए कोई भविष्यवाणी नहीं कर रहा है, तो मैं तर्क दूंगा कि यह एक खराब मॉडल है, और इसलिए हमें इसे न्यूनतम संभव स्कोर देना चाहिए, जो कि सटीकता और f1 दोनों के लिए 0 है।

अच्छा प्रतीत होता है?

उदाहरण

In [38]: import numpy as np

In [39]: import sklearn.metrics

In [40]: y_true = np.array([0, 0, 0, 0, 1])

In [41]: y_pred = np.array([0, 0, 0, 0, 0])

In [42]: sklearn.metrics.precision_score(y_true, y_pred)
/Users/dylan.sherry/.pyenv/versions/3.8.2/envs/evalml/lib/python3.8/site-packages/sklearn/metrics/_classification.py:1272: UndefinedMetricWarning: Precision is ill-defined and being set to 0.0 due to no predicted samples. Use `zero_division` parameter to control this behavior.
  _warn_prf(average, modifier, msg_start, len(result))
Out[42]: 0.0

In [43]: sklearn.metrics.precision_score(y_true, y_pred, zero_division=0.0)
Out[43]: 0.0

@dserry मुझे समझ में आता है। मुझे लगता है कि हम अभी यही कर रहे हैं लेकिन चेतावनी के साथ भी (क्योंकि यह "चेतावनी" के लिए डिफ़ॉल्ट है जो 0 पर सेट होता है और चेतावनियां भी पोस्ट करता है)

@jeremyliweishih हाँ!

इसे @christopherbunn से