Scikit-learn: Tambahkan regresi kuantil linier

Tampaknya tidak banyak paket dalam python dengan quantile
regresi...

Kenapa harus di scikit-learn?

Jika memungkinkan, mengapa tidak?

Karena kami sudah memiliki banyak kode untuk dipelihara dan kami hanya menyertakan algoritme ML yang populer. Apakah ini populer? Apakah itu memiliki manfaat yang jelas untuk tugas pembelajaran mesin dibandingkan pendekatan lain?

(Btw. VW memiliki regresi kuantil , dengan kerugian (p,y) = (p - y)[[y p]] + (1 - )(y - p)[[y p]] di mana [ [⋅]] adalah tanda kurung Iverson.)

GradientBoostingRegressor mendukung regresi kuantil (menggunakan loss=quantile dan parameter alpha ). Lihat http://scikit-learn.org/dev/auto_examples/ensemble/plot_gradient_boosting_quantile.html#example -ensemble-plot-gradient-boosting-quantile-py untuk contoh.

Aku seharusnya memeriksa itu. Menutup masalah ini.

Meskipun saya tidak setuju bahwa tidak banyak paket untuk Regresi Kuantil di Python, saya percaya ini penting untuk memiliki Regresi Kuantil murni (bukan di dalam metode Ensemble) pada pembelajaran sci-kit.

Regresi Kuantil memiliki keuntungan penargetan pada kuantil tertentu dari y. Dengan ini, dimungkinkan untuk mengurangi perbedaan median y_pred dan y. Ini mirip dengan meminimalkan kesalahan absolut dalam kasus ini, tetapi jauh lebih umum dan berfungsi untuk kuantil lainnya.

Bank banyak menggunakan ini ketika berhadapan dengan penilaian kredit dan model lainnya, jadi ini adalah model yang diuji pertempuran dengan aplikasi nyata. R dan SAS telah menerapkan model ini.

@prcastro maksud Anda untuk model linier?

Tepat. Hari ini, sklearn mengimplementasikan regresi kuantil pada metode ensemble. Namun, biasanya digunakan sebagai model linier biasa.

Saya akan terbuka untuk menambahkannya. @jnothman @GaelVaroquaux?

Tampaknya memang cukup mapan

Saya akan terbuka untuk menambahkannya. @jnothman @GaelVaroquaux?

Tidak ada oposisi. Kita hanya perlu PR yang baik, dan waktu untuk meninjaunya.

Mengenai kasus spesifik regresi kuantil untuk median (kerugian mutlak), sebagai lawan dari kuantil yang lebih umum, tampaknya http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.HuberRegressor.html akan memungkinkan kalau saja kita bisa melewati epsilon=0.0. Mengapa HuberRegressor membutuhkan epsilon : float, greater than 1.0 ? ( The Huber Regressor optimizes the squared loss for the samples where |(y - X'w) / sigma| < epsilon and the absolute loss for the samples where |(y - X'w) / sigma| > epsilon. )

Kehilangan Huber dengan epsilon=0 adalah masalah pengoptimalan yang tidak mulus: satu
tidak dapat menggunakan kelas pemecah yang sama.

Saya menambahkan regresi linier kuantil klasik dalam permintaan tarik di atas. Silakan tinjau!

Halo semuanya! Silakan tinjau PR saya ketika Anda punya waktu untuk itu.

ping

Tampaknya tidak banyak paket dalam python dengan regresi kuantil ...

mereka tidak akan mendengarkannya pada tahun 2020 dan kami masih belum memiliki paket regresi qunatile yang tepat