Evalml: Mettre à jour l'indicateur "raise_errors" de la recherche automatique par défaut sur true

Créé le 10 déc. 2019  ·  4Commentaires  ·  Source: alteryx/evalml

Dans #252 , @angela97lin a corrigé un bogue qui n'a pas été découvert car notre couverture de test unitaire d'automl fit était configurée pour ne pas générer d'erreurs (en particulier, le paramètre raise_errors actuellement par défaut sur false). Son PR a mis à jour les tests unitaires pour définir raise_errors sur true à chaque appel à automl fit dans les tests.

Je voulais créer un ticket pour en discuter un peu plus. Je suis confus au sujet du paramètre raise_errors . Pourquoi existe-t-il ? Pourquoi cela ne s'applique-t-il qu'à automl fit ? Si c'est un paramètre nécessaire, existe-t-il une meilleure conception, et en particulier qui découragerait les bugs comme celui-ci ? Je crains que si nous comptons sur l'équipe pour ne pas oublier de définir raise_errors sur true dans les tests unitaires, nous pourrions à nouveau rencontrer des problèmes similaires.

Idées : je sais que @kmax12 a mentionné l' utilisation d'une variable d'environnement pour cela . Si ce paramètre est nécessaire mais que mes préoccupations concernant les tests unitaires sont valides, cela pourrait être une bonne solution. Nous pourrions également mettre à jour tous les tests pour utiliser un appareil de test qui garantit en quelque sorte que raise_errors est défini de manière appropriée, soit via env var, une autre configuration globale, soit en enveloppant la méthode automl fit .

enhancement

Commentaire le plus utile

Celui-ci est apparu dans le récent blitz d'utilisabilité . La décision que nous avons prise était de conserver raise_errors mais par défaut, la valeur est vraie.

Tous les 4 commentaires

Je pense que vous soulevez beaucoup de points valables ici ! Mon hypothèse avec l'indicateur raise_error est que si un seul pipeline échoue, un utilisateur peut ne pas vouloir que toute son exécution d'Auto(*) échoue. Donc, au lieu de cela, nous n'augmentons pas (discrètement) l'erreur et avons simplement défini tous les scores sur NaN pour ce pipeline.

Je suis d'accord cependant, il serait trop facile de glisser, d'oublier de définir ce drapeau dans les nouveaux tests et de rater à nouveau des bogues comme celui-ci, et cela mérite une discussion plus approfondie !

Celui-ci est apparu dans le récent blitz d'utilisabilité . La décision que nous avons prise était de conserver raise_errors mais par défaut, la valeur est vraie.

@angela97lin travaille sur un PR pour ceci : #638

@ angela97lin pouvez-vous s'il vous plaît déplacer cela en cours puisque vous avez un PR ouvert pour cela?

Cette page vous a été utile?
0 / 5 - 0 notes