Evalml: Aktualisieren Sie das Flag "raise_errors" für die automatische ml-Suche auf den Standardwert "true".

Erstellt am 10. Dez. 2019  ·  4Kommentare  ·  Quelle: alteryx/evalml

In #252 hat @angela97lin einen Fehler behoben, der unentdeckt blieb, weil unsere Unit-Test-Abdeckung von automl fit so konfiguriert war, dass keine Fehler ausgelöst wurden (insbesondere ist der Parameter raise_errors derzeit standardmäßig auf false eingestellt). Ihr PR hat die Unit-Tests aktualisiert, um raise_errors bei jedem Aufruf von automl fit in den Tests auf true zu setzen.

Ich wollte ein Ticket erstellen, um dies etwas weiter zu besprechen. Ich bin verwirrt über den Parameter raise_errors . Warum existiert es? Warum gilt es nur für automl fit ? Wenn es ein notwendiger Parameter ist, gibt es ein besseres Design, und insbesondere eines, das Fehler wie diesen abschrecken würde? Ich mache mir Sorgen, dass wir wieder auf ähnliche Probleme stoßen könnten, wenn wir uns darauf verlassen, dass das Team daran denkt, raise_errors in den Komponententests auf true zu setzen.

Ideen: Ich weiß, dass @kmax12 dafür eine Umgebungsvariable verwendet hat . Wenn dieser Parameter erforderlich ist, aber meine Bedenken hinsichtlich des Unit-Tests gültig sind, könnte dies eine gute Lösung sein. Wir könnten auch alle Tests aktualisieren, um ein Testgerät zu verwenden, das irgendwie sicherstellt, dass raise_errors richtig eingestellt ist, entweder über env var, eine andere globale Konfiguration oder durch Umschließen der automl-Methode fit .

enhancement

Hilfreichster Kommentar

Dieser kam im letzten Usability-Blitz auf . Die Entscheidung, die wir getroffen haben, war, raise_errors beizubehalten, aber standardmäßig auf true zu setzen.

Alle 4 Kommentare

Ich denke, Sie sprechen hier viele gültige Punkte an! Meine Vermutung / Vermutung mit dem raise_error Flag ist, dass ein Benutzer möglicherweise nicht möchte, dass seine gesamte Ausführung von Auto(*) fehlschlägt, wenn nur eine Pipeline fehlschlägt. Stattdessen erhöhen wir den Fehler (leise) nicht und setzen stattdessen einfach alle Scores für diese Pipeline auf NaN.

Ich stimme jedoch zu, es wäre zu einfach, einen Fehler zu machen, dieses Flag in neueren Tests zu vergessen und Fehler wie diesen wieder zu übersehen, und dies rechtfertigt weitere Diskussionen!

Dieser kam im letzten Usability-Blitz auf . Die Entscheidung, die wir getroffen haben, war, raise_errors beizubehalten, aber standardmäßig auf true zu setzen.

@angela97lin arbeitet an einer PR dafür: #638

@angela97lin können Sie dies bitte in Arbeit verschieben, da Sie eine PR dafür offen haben?

War diese Seite hilfreich?
0 / 5 - 0 Bewertungen