Evalml: Mensajes de advertencia en la prueba unitaria: "valor no válido encontrado en double_scalars" y otros

Problema
Ejecutando localmente (en Python 3.8, pero he visto algo similar en otras versiones de Python):

(featurelabs) ➜  evalml git:(master) pytest -v evalml/tests/automl_tests/test_autobase.py::test_pipeline_limits
====================================================================== test session starts ======================================================================
platform darwin -- Python 3.8.0, pytest-4.4.1, py-1.8.0, pluggy-0.13.1 -- /Users/dsherry/anaconda/envs/featurelabs/bin/python
cachedir: .pytest_cache
rootdir: /Users/dsherry/development/aie/featurelabs/evalml, inifile: setup.cfg
plugins: xdist-1.26.1, cov-2.6.1, nbval-0.9.3, forked-1.1.3
collected 1 item

evalml/tests/automl_tests/test_autobase.py::test_pipeline_limits PASSED       [100%]

======================================================================= warnings summary ========================================================================
evalml/tests/automl_tests/test_autobase.py::test_pipeline_limits
evalml/tests/automl_tests/test_autobase.py::test_pipeline_limits
...
  /Users/dsherry/anaconda/envs/featurelabs/lib/python3.8/site-packages/sklearn/metrics/classification.py:1436: UndefinedMetricWarning:

  Precision is ill-defined and being set to 0.0 due to no predicted samples.
...
  /Users/dsherry/anaconda/envs/featurelabs/lib/python3.8/site-packages/sklearn/metrics/classification.py:1436: UndefinedMetricWarning:

  F-score is ill-defined and being set to 0.0 due to no predicted samples.
...
  /Users/dsherry/anaconda/envs/featurelabs/lib/python3.8/site-packages/sklearn/metrics/classification.py:872: RuntimeWarning:

  invalid value encountered in double_scalars
...
  /Users/dsherry/development/aie/featurelabs/evalml/evalml/automl/auto_base.py:307: RuntimeWarning:

  invalid value encountered in double_scalars

Tres advertencias provenientes de sklearn y una proveniente de nuestro código. Parece que obtengo una combinación / orden de advertencias ligeramente diferente cada vez que ejecuto la prueba.

Más información
Aquí está la línea de la que proviene la última advertencia, en AutoBase._add_result :
high_variance_cv = (scores.std() / scores.mean()) > .2

Sospecho que scores está todo vacío o todo 0. ¿Pero por qué? Esto es lo siguiente que debemos analizar. ¿Quizás datos de prueba vacíos cuando estamos evaluando el modelo?

Mi sospecha es que este conjunto de datos es demasiado pequeño o demasiado uniforme, y que los modelos entrenados en él predicen el mismo valor o algo así. Si estoy en lo cierto, esto refuerza que necesitamos barandillas para detectar este problema cuando el usuario carga sus datos, y que burlarse de las pruebas unitarias para evitar el ajuste real (# 275) es importante (incluso si esta prueba en particular no lo es). burlarse).

Encontré estas advertencias mientras depuraba el error # 167, por lo que es posible que esto esté relacionado con eso.

Próximos pasos
Debemos determinar por qué aparecen estas advertencias. Si se trata de un problema con la configuración de la prueba, cambiemos la prueba para solucionarlo o evitarlo. De lo contrario, podría ser un error. De todos modos, no deberíamos imprimir advertencias como esta con un uso normal.