Evalml: Perbarui tanda pencarian automl "raise_errors" ke default ke true
Di #252 , @angela97lin memperbaiki bug yang tidak ditemukan karena cakupan pengujian unit automl kami fit dikonfigurasi untuk tidak menimbulkan kesalahan (khususnya, parameter raise_errors saat ini default ke false). PR-nya memperbarui pengujian unit untuk menyetel raise_errors menjadi true di setiap panggilan ke automl fit dalam pengujian.
Saya ingin membuat tiket untuk membahas ini lebih jauh. Saya bingung dengan parameter raise_errors . Mengapa itu ada? Mengapa ini hanya berlaku untuk automl fit ? Jika ini adalah parameter yang diperlukan, apakah ada desain yang lebih baik, dan khususnya yang akan mencegah bug seperti ini? Saya khawatir jika kita mengandalkan tim untuk mengingat untuk menyetel raise_errors menjadi true dalam pengujian unit, kita dapat mengalami masalah serupa lagi.
Ide: Saya tahu @ kmax12 disebutkan menggunakan variabel lingkungan untuk ini . Jika parameter ini diperlukan tetapi masalah pengujian unit saya valid, ini bisa menjadi solusi yang baik. Kami juga dapat memperbarui semua pengujian untuk menggunakan perlengkapan pengujian yang entah bagaimana memastikan raise_errors diatur dengan tepat, baik melalui env var, konfigurasi global lainnya, atau dengan membungkus metode automl fit .
dsherry
Semua 4 komentar
Saya pikir Anda mengumpulkan banyak poin yang valid di sini! Asumsi / tebakan saya dengan flag raise_error adalah bahwa jika hanya satu jalur pipa yang gagal, pengguna mungkin tidak ingin seluruh proses Auto(*) mereka gagal. Jadi sebagai gantinya, kami (diam-diam) tidak menaikkan kesalahan dan malah hanya mengatur semua skor ke NaN untuk pipa itu.
Saya setuju meskipun, akan terlalu mudah untuk tergelincir, lupa untuk mengatur bendera ini dalam tes yang lebih baru, dan melewatkan bug seperti ini lagi, dan ini memerlukan diskusi lebih lanjut!
angela97lin
pada 10 Des 2019
Yang ini muncul di blitz kegunaan baru-baru ini . Keputusan yang kami capai adalah mempertahankan raise_errors tetapi default ke true.
dsherry
pada 14 Apr 2020
@ angela97lin sedang mengerjakan PR untuk ini: #638
dsherry
pada 14 Apr 2020
@ angela97lin bisakah Anda memindahkan ini ke dalam proses karena Anda memiliki PR terbuka untuk itu?
dsherry
pada 15 Apr 2020
Masalah terkait
bchen1116
·
4Komentar
angela97lin
·
5Komentar
dsherry
·
3Komentar
dsherry
·
3Komentar
freddyaboulton
·
3Komentar
Komentar yang paling membantu
Yang ini muncul di blitz kegunaan baru-baru ini . Keputusan yang kami capai adalah mempertahankan
raise_errorstetapi default ke true.