Evalml: इकाई परीक्षण में चेतावनी संदेश: "डबल_स्केलर में अमान्य मान का सामना करना पड़ा" और अन्य

को निर्मित 9 जन॰ 2020 · 3टिप्पणियाँ · स्रोत: alteryx/evalml

संकट
स्थानीय रूप से चल रहा है, (पायथन 3.8 पर, लेकिन मैंने अन्य पायथन संस्करणों पर समान देखा है):

(featurelabs) ➜  evalml git:(master) pytest -v evalml/tests/automl_tests/test_autobase.py::test_pipeline_limits
====================================================================== test session starts ======================================================================
platform darwin -- Python 3.8.0, pytest-4.4.1, py-1.8.0, pluggy-0.13.1 -- /Users/dsherry/anaconda/envs/featurelabs/bin/python
cachedir: .pytest_cache
rootdir: /Users/dsherry/development/aie/featurelabs/evalml, inifile: setup.cfg
plugins: xdist-1.26.1, cov-2.6.1, nbval-0.9.3, forked-1.1.3
collected 1 item

evalml/tests/automl_tests/test_autobase.py::test_pipeline_limits PASSED       [100%]

======================================================================= warnings summary ========================================================================
evalml/tests/automl_tests/test_autobase.py::test_pipeline_limits
evalml/tests/automl_tests/test_autobase.py::test_pipeline_limits
...
  /Users/dsherry/anaconda/envs/featurelabs/lib/python3.8/site-packages/sklearn/metrics/classification.py:1436: UndefinedMetricWarning:

  Precision is ill-defined and being set to 0.0 due to no predicted samples.
...
  /Users/dsherry/anaconda/envs/featurelabs/lib/python3.8/site-packages/sklearn/metrics/classification.py:1436: UndefinedMetricWarning:

  F-score is ill-defined and being set to 0.0 due to no predicted samples.
...
  /Users/dsherry/anaconda/envs/featurelabs/lib/python3.8/site-packages/sklearn/metrics/classification.py:872: RuntimeWarning:

  invalid value encountered in double_scalars
...
  /Users/dsherry/development/aie/featurelabs/evalml/evalml/automl/auto_base.py:307: RuntimeWarning:

  invalid value encountered in double_scalars

स्केलेर से तीन चेतावनियां आ रही हैं और एक हमारे कोड से आ रही है। हर बार जब मैं परीक्षण चलाता हूं तो मुझे चेतावनियों का थोड़ा अलग संयोजन/क्रम मिलता है।

और जानकारी
यहां बताया गया है लाइन पिछले चेतावनी में, से आ रही है AutoBase._add_result :
high_variance_cv = (scores.std() / scores.mean()) > .2

मुझे संदेह है कि scores सब खाली है या सभी 0. लेकिन क्यों? यह देखने वाली अगली बात है। शायद खाली परीक्षण डेटा जब हम मॉडल स्कोर कर रहे हैं?

मेरा संदेह यह है कि यह डेटासेट बहुत छोटा या बहुत समान है, और इस पर प्रशिक्षित मॉडल सभी समान मूल्य या कुछ इसी तरह की भविष्यवाणी कर रहे हैं। यदि मैं सही हूं, तो यह पुष्ट करता है कि जब उपयोगकर्ता अपना डेटा अपलोड करता है तो हमें इस समस्या का पता लगाने के लिए गार्ड रेल की आवश्यकता होती है, और वास्तविक फिटिंग से बचने के लिए यूनिट परीक्षणों में मज़ाक करना (#275) महत्वपूर्ण है (भले ही यह विशेष परीक्षण नहीं है उपहास योग्य)।

बग #167 डीबग करते समय मुझे इन चेतावनियों का सामना करना पड़ा, इसलिए यह संभव है कि यह उसी से संबंधित हो।

अगला कदम
हमें यह निर्धारित करना चाहिए कि ये चेतावनियां क्यों दिखाई दे रही हैं। यदि परीक्षण सेटअप में कोई समस्या है, तो आइए इसे ठीक करने या इससे बचने के लिए परीक्षण को बदलें। अन्यथा, यह एक बग हो सकता है। हमें वैसे भी सामान्य उपयोग के तहत इस तरह की चेतावनियों को प्रिंट नहीं करना चाहिए।

bug

स्रोत

dsherry

सभी 3 टिप्पणियाँ

यह #445 में विलय के बाद मास्टर में दिखाई नहीं दे रहा है। 3.8 के लिए टेस्ट यहां देखा जा सकता @dsherry को भी यकीन नहीं है कि यह विलय के उद्देश्यों के साथ क्यों गायब हो गया, लेकिन क्या मुझे अभी के लिए बंद करना चाहिए?

jeremyliweishih 14 अप्रैल 2020

@jeremyliweishih एचएम, अजीब! हाँ, मुझे double_scalar बारे में वह विशेष चेतावनी दिखाई नहीं दे रही है। शायद #445 ने यूनिट परीक्षणों को सही तरीके से इधर-उधर कर दिया।

मैं इसे आपके द्वारा लिंक की गई मंडली की नौकरी में देखता हूं:

=============================== warnings summary ===============================
evalml/utils/gen_utils.py:98
  /home/circleci/evalml/evalml/utils/gen_utils.py:98: RuntimeWarning: invalid value encountered in true_divide
    conf_mat = conf_mat.astype('float') / conf_mat.sum(axis=0)

test_python/lib/python3.8/site-packages/numpy/core/_methods.py:38
  /home/circleci/evalml/test_python/lib/python3.8/site-packages/numpy/core/_methods.py:38: ComplexWarning: Casting complex values to real discards the imaginary part
    return umr_sum(a, axis, dtype, out, keepdims, initial, where)

आइए इनसे छुटकारा पाएं, हाँ? बग को कवर कर सकता है।

पहले के लिए सुझाव: "कोशिश करें" जोड़ेंरनटाइमवार्निंग को छोड़कर e: assert False, e" in evalml/evalml/utils/gen_utils.py:98 , इसे सर्कलसी पर चलाएं और देखें कि यह कहां टूटता है। दूसरे के लिए, सुनिश्चित नहीं है। हो सकता है कि अगर वे चेतावनियां फेंकते हैं तो यूनिट परीक्षण विफल होने का कोई तरीका है?

dsherry 14 अप्रैल 2020

👍1

@dsherry @jeremyliweishih मैंने इस बारे में जेरेमी से बात की लेकिन मुझे लगता है कि मैं वर्तमान में जो पीआर कर रहा हूं वह दूसरी चेतावनी का ख्याल रखता है! :) (#638)

angela97lin 14 अप्रैल 2020

🚀1

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Evalml: इकाई परीक्षण में चेतावनी संदेश: "डबल_स्केलर में अमान्य मान का सामना करना पड़ा" और अन्य

सभी 3 टिप्पणियाँ

संबंधित मुद्दों