#252で、 @ angela97linは、automl fit
ユニットテストカバレッジがエラーを発生させないように構成されていたために発見されなかったバグを修正しました(具体的には、パラメーターraise_errors
現在デフォルトでfalseになっています)。 彼女のPRは、単体テストを更新して、テストでautoml fit
を呼び出すたびにraise_errors
をtrueに設定しました。
これについてもう少し議論するためのチケットを作成したかったのです。 raise_errors
パラメーターについて混乱しています。 なぜそれが存在するのですか? automl fit
にのみ適用されるのはなぜですか? それが必要なパラメータである場合、より良い設計、特にこのようなバグを思いとどまらせるような設計はありますか? 単体テストでraise_errors
をtrueに設定することを忘れないようにチームに頼ると、同様の問題が再び発生する可能性があるのではないかと心配しています。
アイデア: @ kmax12がこのための環境変数の使用について言及ています。 このパラメーターが必要であるが、単体テストの懸念が有効である場合、これは良い解決策になる可能性があります。 また、env var、その他のグローバル構成を介して、またはautoml fit
メソッドをラップすることにより、 raise_errors
が適切に設定されていることを確認するテストフィクスチャを使用するようにすべてのテストを更新することもできます。
ここでたくさんの有効なポイントを上げていると思います! raise_error
フラグを使用した私の直感的な仮定/推測では、1つのパイプラインだけが失敗した場合、ユーザーはAuto(*)の実行全体が失敗することを望まない可能性があります。 その代わりに、(静かに)エラーを発生させず、代わりにそのパイプラインのすべてのスコアをNaNに設定します。
しかし、私は同意しますが、簡単にスリップし、新しいテストでこのフラグを設定するのを忘れ、このようなバグをもう一度見逃す可能性があります。これについては、さらに議論する必要があります。
これは最近のユーザビリティブリッツで登場しraise_errors
を維持すること
@ angela97linはこのためのPRに取り組んでいます:#638
@ angela97lin PRを開いているので、これを進行中の状態に移動してください。
最も参考になるコメント
これは最近のユーザビリティブリッツで登場し
raise_errors
を維持すること