Evalml: Actualizar el indicador "raise_errors" de búsqueda automática al valor predeterminado verdadero

En # 252, @ angela97lin corrigió un error que no se descubrió porque nuestra cobertura de prueba unitaria de automl fit estaba configurada para no generar errores (específicamente, el parámetro raise_errors actualmente predeterminado es falso). Su RP actualizó las pruebas unitarias para establecer raise_errors en verdadero en cada llamada a automl fit en las pruebas.

Quería crear un ticket para discutir esto un poco más. Estoy confundido acerca del parámetro raise_errors . ¿Por qué existe? ¿Por qué solo se aplica a automl fit ? Si es un parámetro necesario, ¿hay un diseño mejor y, en particular, uno que desalentaría errores como este? Me preocupa que si confiamos en que el equipo recuerde establecer raise_errors en verdadero en las pruebas unitarias, podríamos encontrarnos nuevamente con problemas similares.

Ideas: Sé que @ kmax12 mencionó el uso de una variable de entorno para esto . Si este parámetro es necesario pero mis preocupaciones sobre las pruebas unitarias son válidas, esta podría ser una buena solución. También podríamos actualizar todas las pruebas para usar un dispositivo de prueba que de alguna manera se asegure de que raise_errors esté configurado apropiadamente, ya sea a través de env var, otra configuración global o envolviendo el método automl fit .