Evalml: 단위 테스트의 경고 메시지: "double_scalars에서 잘못된 값이 발견됨" 및 기타

문제
로컬에서 실행(python 3.8에서, 그러나 다른 Python 버전에서도 비슷한 것을 보았습니다)

(featurelabs) ➜  evalml git:(master) pytest -v evalml/tests/automl_tests/test_autobase.py::test_pipeline_limits
====================================================================== test session starts ======================================================================
platform darwin -- Python 3.8.0, pytest-4.4.1, py-1.8.0, pluggy-0.13.1 -- /Users/dsherry/anaconda/envs/featurelabs/bin/python
cachedir: .pytest_cache
rootdir: /Users/dsherry/development/aie/featurelabs/evalml, inifile: setup.cfg
plugins: xdist-1.26.1, cov-2.6.1, nbval-0.9.3, forked-1.1.3
collected 1 item

evalml/tests/automl_tests/test_autobase.py::test_pipeline_limits PASSED       [100%]

======================================================================= warnings summary ========================================================================
evalml/tests/automl_tests/test_autobase.py::test_pipeline_limits
evalml/tests/automl_tests/test_autobase.py::test_pipeline_limits
...
  /Users/dsherry/anaconda/envs/featurelabs/lib/python3.8/site-packages/sklearn/metrics/classification.py:1436: UndefinedMetricWarning:

  Precision is ill-defined and being set to 0.0 due to no predicted samples.
...
  /Users/dsherry/anaconda/envs/featurelabs/lib/python3.8/site-packages/sklearn/metrics/classification.py:1436: UndefinedMetricWarning:

  F-score is ill-defined and being set to 0.0 due to no predicted samples.
...
  /Users/dsherry/anaconda/envs/featurelabs/lib/python3.8/site-packages/sklearn/metrics/classification.py:872: RuntimeWarning:

  invalid value encountered in double_scalars
...
  /Users/dsherry/development/aie/featurelabs/evalml/evalml/automl/auto_base.py:307: RuntimeWarning:

  invalid value encountered in double_scalars

sklearn에서 3개의 경고가 발생하고 코드에서 1개가 발생합니다. 테스트를 실행할 때마다 경고의 조합/순서가 약간 다른 것 같습니다.

더 많은 정보
AutoBase._add_result 에서 마지막 경고가 발생한 행은 다음과 같습니다 .
high_variance_cv = (scores.std() / scores.mean()) > .2

scores 이 모두 비어 있거나 모두 0인 것 같습니다. 그런데 왜 그럴까요? 이것은 다음에 살펴볼 사항입니다. 모델을 채점할 때 테스트 데이터가 비어 있습니까?

내 의심은 이 데이터 세트가 너무 작거나 너무 균일하고 이에 대해 훈련된 모델이 모두 동일한 값 또는 이와 유사한 것을 예측하고 있다는 것입니다. 내가 옳다면 이것은 사용자가 데이터를 업로드할 때 이 문제를 감지하기 위해 가드레일이 필요하고 실제 피팅(#275)을 피하기 위해 단위 테스트에서 조롱하는 것이 중요하다는 것을 강조합니다(이 특정 테스트가 그렇지 않더라도 조롱).

버그 #167 을 디버깅하는 동안 이러한 경고가 발생했습니다. 그래서 이것이 그것과 관련이 있을 수 있습니다.

다음 단계
이러한 경고가 나타나는 이유를 확인해야 합니다. 테스트 설정에 문제가 있다면 테스트를 변경하여 수정하거나 피하도록 합시다. 그렇지 않으면 버그일 수 있습니다. 어쨌든 정상적인 사용에서 이와 같은 경고를 인쇄해서는 안됩니다.