Evalml: automl検索の「raise_errors」フラグをデフォルトのtrueに更新します

作成日 2019年12月10日  ·  4コメント  ·  ソース: alteryx/evalml

#252で、 @ angela97linは、automl fitユニットテストカバレッジがエラーを発生させないように構成されていたために発見されなかったバグを修正しました(具体的には、パラメーターraise_errors現在デフォルトでfalseになっています)。 彼女のPRは、単体テストを更新して、テストでautoml fitを呼び出すたびにraise_errorsをtrueに設定しました。

これについてもう少し議論するためのチケットを作成したかったのです。 raise_errorsパラメーターについて混乱しています。 なぜそれが存在するのですか? automl fitにのみ適用されるのはなぜですか? それが必要なパラメータである場合、より良い設計、特にこのようなバグを思いとどまらせるような設計はありますか? 単体テストでraise_errorsをtrueに設定することを忘れないようにチームに頼ると、同様の問題が再び発生する可能性があるのではないかと心配しています。

アイデア: @ kmax12がこのための環境変数の使用について言及ています。 このパラメーターが必要であるが、単体テストの懸念が有効である場合、これは良い解決策になる可能性があります。 また、env var、その他のグローバル構成を介して、またはautoml fitメソッドをラップすることにより、 raise_errorsが適切に設定されていることを確認するテストフィクスチャを使用するようにすべてのテストを更新することもできます。

enhancement

最も参考になるコメント

これは最近のユーザビリティブリッツで登場しraise_errorsを維持すること

全てのコメント4件

ここでたくさんの有効なポイントを上げていると思います! raise_errorフラグを使用した私の直感的な仮定/推測では、1つのパイプラインだけが失敗した場合、ユーザーはAuto(*)の実行全体が失敗することを望まない可能性があります。 その代わりに、(静かに)エラーを発生させず、代わりにそのパイプラインのすべてのスコアをNaNに設定します。

しかし、私は同意しますが、簡単にスリップし、新しいテストでこのフラグを設定するのを忘れ、このようなバグをもう一度見逃す可能性があります。これについては、さらに議論する必要があります。

これは最近のユーザビリティブリッツで登場しraise_errorsを維持すること

@ angela97linはこのためのPRに取り組んでいます:#638

@ angela97lin PRを開いているので、これを進行中の状態に移動してください。

このページは役に立ちましたか?
0 / 5 - 0 評価