Dans #252 , @angela97lin a corrigé un bogue qui n'a pas été découvert car notre couverture de test unitaire d'automl fit
était configurée pour ne pas générer d'erreurs (en particulier, le paramètre raise_errors
actuellement par défaut sur false). Son PR a mis à jour les tests unitaires pour définir raise_errors
sur true à chaque appel à automl fit
dans les tests.
Je voulais créer un ticket pour en discuter un peu plus. Je suis confus au sujet du paramètre raise_errors
. Pourquoi existe-t-il ? Pourquoi cela ne s'applique-t-il qu'à automl fit
? Si c'est un paramètre nécessaire, existe-t-il une meilleure conception, et en particulier qui découragerait les bugs comme celui-ci ? Je crains que si nous comptons sur l'équipe pour ne pas oublier de définir raise_errors
sur true dans les tests unitaires, nous pourrions à nouveau rencontrer des problèmes similaires.
Idées : je sais que @kmax12 a mentionné l' utilisation d'une variable d'environnement pour cela . Si ce paramètre est nécessaire mais que mes préoccupations concernant les tests unitaires sont valides, cela pourrait être une bonne solution. Nous pourrions également mettre à jour tous les tests pour utiliser un appareil de test qui garantit en quelque sorte que raise_errors
est défini de manière appropriée, soit via env var, une autre configuration globale, soit en enveloppant la méthode automl fit
.
Je pense que vous soulevez beaucoup de points valables ici ! Mon hypothèse avec l'indicateur raise_error
est que si un seul pipeline échoue, un utilisateur peut ne pas vouloir que toute son exécution d'Auto(*) échoue. Donc, au lieu de cela, nous n'augmentons pas (discrètement) l'erreur et avons simplement défini tous les scores sur NaN pour ce pipeline.
Je suis d'accord cependant, il serait trop facile de glisser, d'oublier de définir ce drapeau dans les nouveaux tests et de rater à nouveau des bogues comme celui-ci, et cela mérite une discussion plus approfondie !
Celui-ci est apparu dans le récent blitz d'utilisabilité . La décision que nous avons prise était de conserver raise_errors
mais par défaut, la valeur est vraie.
@angela97lin travaille sur un PR pour ceci : #638
@ angela97lin pouvez-vous s'il vous plaît déplacer cela en cours puisque vous avez un PR ouvert pour cela?
Commentaire le plus utile
Celui-ci est apparu dans le récent blitz d'utilisabilité . La décision que nous avons prise était de conserver
raise_errors
mais par défaut, la valeur est vraie.