Evalml: Penjelasan prediksi

Kita harus melihat menggunakan SHAP (SHapley Additive exPlanations)
https://github.com/slundberg/shap
Saya menemukan perpustakaan ini melalui buku catatan ini:
https://github.com/d6t/d6t-python/blob/master/blogs/blog-20200426-shapley.ipynb

Dokumen Desain: https://alteryx.quip.com/D4ZwAOUklY5X/Prediction-Explanations

@freddyaboulton dan saya bertemu untuk membahas ini kemarin. Ini siap untuk diimplementasikan. Di bawah ini adalah rencana implementasi dari dokumen desain :

Tugas
Fase 1

1. Menerapkan algoritma interpretasi (1 hari rekayasa dan pengujian, 1 hari peninjauan).
   
   
   
   1. Tambahkan metode compute_features ke PipelineBase (metode pribadi)
   
   
   2. Menerapkan ShapIntrepeter
   
   
2. Menerapkan UI interpretasi (1 hari rekayasa dan pengujian, 1 hari peninjauan).
   
   
   
   1. Terapkan explain_prediction
   
   
3. Tulis/tambahkan tutorial untuk menampilkan fungsionalitas baru (1 hari rekayasa dan pengujian, 1 hari peninjauan).
   
   
   
   1. Tambahkan ke Panduan Pengguna
   
   
   2. Pertimbangkan untuk menambahkan sesuatu ke Tutorial
   
   
4. Analisis Kualitatif kualitas penjelasan: (3 hari)
   
   
   
   1. Jalankan AutoML pada kumpulan data yang sulit.
   
   
   2. Ambil beberapa jalur pipa dan pastikan penjelasan prediksi masuk akal.
   
   
   3. Mengejek set data dan menjalankan penelusuran AutoML, lalu menjelaskan prediksi.
   
   
   4. Tambahkan buku catatan di repo
   
   
5. Tugas Peregangan: Mengevaluasi kinerja pada banyak kumpulan data.

Catatan: sampai semua ini selesai, kita harus merahasiakan implementasi untuk rilis Juli, yaitu _explain_prediction

Perkiraan keseluruhan: 9 hari

Fase 2

1. Terapkan explain_predictions, yang menemukan dan menjelaskan n prediksi paling/paling tidak percaya diri. (5 hari)

Perkiraan keseluruhan: 5 hari

Tanggal Penting
Rilis Juli: 28 Juli 2020.

Sasaran
Gabungkan Fase 1 pada Sel 4 Agustus
Gabungkan Fase 2 pada Selasa, 11 Agustus

Peregangan Tujuan
Gabungkan Fase 1 pada Selasa 28 Juli (rilis Juli)
Gabungkan Fase 2 pada Sel 4 Agustus

Hai @freddyaboulton , hingga saat ini kami telah menyimpan epik di jalur Epic dan alih-alih memindahkan masalah individu melalui jalur. Bisakah Anda mengikuti pola itu di sini juga? Jika itu terasa aneh atau salah bagi Anda, dengan senang hati mendiskusikan perubahan proses kami tentang cara kami mengatur epos. Cukup sederhana saat ini.

@dsherry Kesalahan saya! Menjaga epos dalam alur epik masuk akal bagi saya 👍

@freddyaboulton dari sudut pandang saya, kita harus selesai meninjau analisis kualitatif yang Anda lakukan (yang sangat membantu!!), menyelesaikan diskusi tersebut dan mungkin membuat beberapa perbaikan/pembaruan. Tapi apa yang saya lihat di sana sudah terasa cukup baik untuk dipublikasikan untuk bulan Juli!

Untuk mengonfirmasi: explain_predictions sekarang bersifat publik, di dokumen API dan kami menambahkan panduan pengguna, benar? Berarti itu akan menjadi bagian dari rilis Juli? Sangat bagus!!

@freddyaboulton bisakah epik ini ditutup?

@dsherry Saya pikir setelah kami mendapatkan #1107 bergabung, kami dapat menutup ini!