sklearn์์ Poisson, gamma ๋ฐ ๊ธฐํ Tweedie ๊ฐ์กฑ ์์ค ๊ธฐ๋ฅ์ ์ง์ํ๊ณ ์ถ์ต๋๋ค. ์ด๋ฌํ ์์ค ๋ถํฌ๋ ์นด์ดํธ ๋ฐ ๊ธฐํ ๋กฑํ ์ผ ๋ฐ์ดํฐ์ ๋ํด ์ ๊ณ์์ ๋๋ฆฌ ์ฌ์ฉ๋ฉ๋๋ค. ๋ํ R: GLM, GLMNET, GBM ext์ ๊ฐ์ ๋ค๋ฅธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์์๋ ๊ตฌํ๋ฉ๋๋ค. ์ด๋ฌํ ๋ถํฌ๋ฅผ ๊ตฌํํ๋ ๋ถ๋ถ์ ์คํ์ ์ด ์์ค ํจ์์ ์ ๋ฌ๋๋ ๋ฐฉ๋ฒ์ ํฌํจํ๋ ๊ฒ์ ๋๋ค. ์ด๊ฒ์ ์ด๋ฌํ ๋ถํฌ์ ํจ๊ป ๋ก๊ทธ ๋งํฌ ๊ธฐ๋ฅ์ ์ฌ์ฉํ ๋ ๋ ธ์ถ์ ์ฒ๋ฆฌํ๋ ์ผ๋ฐ์ ์ธ ๋ฐฉ๋ฒ์ ๋๋ค.
sklearn ์ปค๋ฎค๋ํฐ์์ ์ด๋ฌํ ์์ค ๊ธฐ๋ฅ์ ์ถ๊ฐํ ์ ์์ต๋๊น? ๊ทธ๋ ๋ค๋ฉด ๋ ๋๋ (๋ค๋ฅธ ์ฌ๋๋ค๋) ์ด๋ฌํ ์์ค ํจ์ ๋ฐ ์คํ์ ์ sklearn API์ ๊ตฌํํ๋ ๊ฐ๋ฅ์ฑ์ ๊ธฐ๊บผ์ด ์กฐ์ฌํ ๊ฒ์ ๋๋ค. ๊ฐ์ฌ ํด์
๋๋ ๊ทธ๊ฒ์ ๋ํด ์ ์์ง๋ ๋ชปํ์ง๋ง ์ ์ด๋ ํฌ์์ก ํ๊ท๋ฅผ ์ถ๊ฐํด์ผ ํ๋ค๊ณ ์๊ฐํฉ๋๋ค.
์ด๋ ค ์๋ ์์ ๋ฐ์ดํฐ ์ธํธ๊ฐ ์์ต๋๊น?
๊ฐ๋ง ์์ค์ ์ด๋ค ์ข
๋ฅ์ ๋ฐ์ดํฐ์ ์ฌ์ฉ๋ฉ๋๊น?
์คํ์ ์ ๋ํด ์์ธํ ์ค๋ช ํด ์ฃผ์๊ฒ ์ต๋๊น?
์ด๊ฒ๋ค์ ๋ชจ๋ linear_model
์ ๋ณ๋ ๋ชจ๋ธ์ด ๋ ๊ฒ์ด๋ผ๊ณ ์๊ฐํฉ๋๋ค. ๋๋ ๊ทธ๋ค์ด ์ผ๋ฐ์ ์ผ๋ก l-bfgs๋ฅผ ์ฌ์ฉํ์ฌ ํ์ตํ๋์ง ๋๋ ์ฌ๋๋ค์ด CD ์๋ฒ๋ฅผ ์ฌ์ฉํ๋์ง ์ ๋ชจ๋ฅด๊ฒ ์ต๋๋ค. @mblondel ๋๋ @larsmans ๋๋ @agramfort ๊ฐ ๋ ๋ง์ด ์๊ณ ์์ต๋๊น?
ํฌ์์ก ๋ถํฌ๋ ์นด์ดํธ ๋ฐ์ดํฐ ๋ชจ๋ธ๋ง์ ๋๋ฆฌ ์ฌ์ฉ๋ฉ๋๋ค. ์ํ ํ์๊ฐ ๋ฌดํ๋๋ก ๊ฐ๊ณ ํ๋ฅ ์ด 0์ด ๋๊ณ ๋ ๋ค np๊ฐ ํ๋ก์ธ์ค์ ํ๊ท ๋น๋์ ๊ฐ์ ๋น์จ๋ก ๋ฐ์ํ๋ ์ดํญ์์ ๋ํ ์ ๊ท ๊ทผ์ฌ์ ๋ํ ์ ํ ๋ถํฌ๋ก ํ์๋ ์ ์์ต๋๋ค. ๊ฐ๋ง๋ ํฌ์์ก ์ด๋ฒคํธ๊ฐ ๋ฐ์ํ ๋๊น์ง์ ์๊ฐ์ผ๋ก ์ด๋ก ์ ์ผ๋ก ํ์๋ ์ ์์ต๋๋ค. ์๋ฅผ ๋ค์ด ์ฌํด ๋ฐ์ํ ์ฌ๊ณ ์ ์๋ ์ด๋ก ์ ์ผ๋ก ํฌ์์ก์ผ๋ก ํ์๋ ์ ์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ๋ค์ ์ฌ๊ณ ๊น์ง ์์๋๋ ์๊ฐ์ ๊ฐ๋ง ํ๋ก์ธ์ค์ ๋๋ค. Tweedie๋ 0์ ์ถ๊ฐ ๊ฐ์ค์น๋ฅผ ํ์ฉํ๋ ์ด๋ฌํ ๋ถํฌ์ ์ผ๋ฐํ๋ ๋ถ๋ชจ์ ๋๋ค. tweedie๋ฅผ ์์ค ๋น์ฉ์ ๋ชจ๋ธ๋งํ๋ ๊ฒ์ผ๋ก ์๊ฐํ๊ณ ๋ชจ๋ ๊ณ ๊ฐ์ 99%๋ ๊ฐ์ค์น๊ฐ 0์ ๋๋ค. ๋๋จธ์ง๋ ๊ธด ๊ผฌ๋ฆฌ์ ์์ ์์ค ๋๋ ๊ฐ๋ง๊ฐ ์์ต๋๋ค. ์ค์ ๋ก ์ด๋ฌํ ๋ถํฌ๋ ๋ณดํ, ์ํ ๋ชจ๋ธ๋ง, ์ฌํด ๋ชจ๋ธ, ๊ธ์ต, ๊ฒฝ์ ๋ฐ ์ฌํ ๊ณผํ์ ํ๊ท ๋ฌธ์ ์ ๋๋ฆฌ ์ฌ์ฉ๋ฉ๋๋ค. ์์ ๋กญ๊ฒ ์ํคํผ๋์๋ฅผ ์ฐธ์กฐํ์ญ์์ค. ์ด๋ฌํ ์์ค ๊ธฐ๋ฅ์ glmnet, GBM ๋ฐ ๋๋ค ํฌ๋ ์คํธ์์ ์ ํํ๊ณ ์ถ์ต๋๋ค. ์ด๊ฒ์ ์๋ฅผ ๋ค์ด GBM์์ Freedman์ ๋ถ์คํ ์๊ณ ๋ฆฌ์ฆ์ด ๊ฐ์ฐ์์ ๋๋ ์ฌ๋ถ์์ ์์ค ๋์ ์ด ์์ค์ ์ฌ์ฉํ๋ค๋ ๊ฒ์ ์๋ฏธํฉ๋๋ค. ๊ฐ๋ง ๋ฐ ํฌ์์ก(๋ฒ ํ tweedie)์ ์ด๋ฏธ Rs GBM ๋ฐ glm ํจํค์ง์ ์์ผ๋ฉฐ xgboost๊ฐ ์ผ๋ถ ์ง์ํฉ๋๋ค. ์คํ์ ์ ๋ ธ์ถ์ ๋ฐ๋ผ ๋ฐ์ดํฐ์ ๊ฐ์ค์น๋ฅผ ์ฃผ๊ธฐ ์ํด ์ค๋ฌด์๊ฐ ์ฌ์ฉํฉ๋๋ค. ์ผ๋ฐ์ ์ผ๋ก ํฌ์์ก ๋ชจ๋ธ์๋ ๋งํฌ ๊ธฐ๋ฅ์ด ์์ต๋๋ค. ์: yhat=offset x exp(ํ๊ท ๋ชจ๋ธ ์ถ๋ ฅ)๋ ๋ก๊ทธ ๋งํฌ๋ผ๊ณ ํ๋ฉฐ ๊ฐ์ฅ ์ผ๋ฐ์ ์ ๋๋ค. ์ฌ๊ธฐ์์ ์คํ์ ์ ์ฌ์ฉํ๋ฉด ๋ค์ํ ๊ด์ฐฐ ๋จ์์ ๋ํด ๋ ธ์ถ์ ๋ค๋ฅด๊ฒ ์บก์ฒํ ์ ์์ต๋๋ค. ํฌ์์ก ํ๋ก์ธ์ค๋ ๊ฐ์ฐ์ ์ด์ง๋ง ๋์ผํ์ง ์์ ๊ณต๊ฐ์ด๋ ์๊ฐ ๋๋ ๊ณ ๊ฐ ์์ ๋ํด ๋ค๋ฅธ ์๊ฐ ์ฌ์ฉ๋์์ ์ ์์ผ๋ฏ๋ก ๊ฐ ๊ด์ฐฐ์ ๋ํด ์คํ์ ๋ฒกํฐ๊ฐ ํ์ํฉ๋๋ค. ์ด ํ๋ก๊ทธ๋๋ฐ์ ๊ธฐ๊บผ์ด ์ฒ๋ฆฌํ๊ณ ์ถ์ง๋ง API์ ๋ํด ์ ์์ง ๋ชปํ๋ฏ๋ก ์ ์์ ๊ฐ์ฌ๋๋ฆฌ๋ฉฐ ์ด ์์ ์ ์ฌ๋ฐ๋ฅด๊ฒ ์ํํ๊ณ ๋ฆด๋ฆฌ์ค์ ์ ์ฉํ ์ ์๋๋ก ํ๊ฒ ์ต๋๋ค.
์๊ฒ ์ต๋๋ค. ์ ๋ ์ด๊ฒ์ ๊ตฌํํ๊ธฐ ์ํด ๋ ธ๋ ฅํ๊ณ ์์ต๋๋ค. ์์์ ์ธ๊ธํ ์ธ ๊ฐ์ง ๋ถํฌ์ ์คํ์ ์ ์ถ๊ฐํ๊ณ ์์ต๋๋ค. ์คํ์ ์ ๊ตฌํํ๋ ๋ฐฉ๋ฒ์ ๋ํ ์ผ๋ฐ sklearn ์ฒญ์ค์ ํผ๋๋ฐฑ์ ๊ฐ์ฌ๋๋ฆฝ๋๋ค. GradientBoostedRegression ํธ์ถ 'offset=None'์ ์ ์ธ์๋ฅผ ์ถ๊ฐํ ๊ณํ์ ๋๋ค. ์ฌ๊ธฐ์ offset์ ๊ธธ์ด๊ฐ n(์ํ ์)์ธ ๊ฐ์ฒด์ ๊ฐ์ ๋ฒกํฐ์ ๋๋ค. ๋ด ์ฃผ์ ์ง๋ฌธ์ R์ GBM ๊ตฌํ์์ ์ํ๋๋ ๊ฒ๊ณผ ๊ฐ์ ๋ชจ๋ ์์ค ํจ์(Gaussian, Huber, Quantile)์ ์คํ์ ์ ์ถ๊ฐํด์ผ ํ๋์ง ์๋๋ฉด tweedie ์ ํ๊ตฐ๊ณผ ํจ๊ป ์๋ํ๋๋ก ์คํ์ ์ ํ์ฑํํ๊ณ ์๋ํ๋ฉด ๊ฒฝ๊ณ ๋ฅผ ํ์ํ๋๋ก ์ถ๊ฐํด์ผ ํ๋์ง ์ฌ๋ถ์ ๋๋ค. ์ง์๋์ง ์๋ ์์ค ํจ์์ ํจ๊ป ์คํ์ ์ ์ฌ์ฉํ๋ ค๋ฉด?
์ ๋ ๋ฐ์ดํฐ ์ธํธ๋ ์ถํ๋ฌผ์์์ ๊ฐ์ด ์ค์ฉ์ ์ธ ์ฌ์ฉ ์ฌ๋ก๋ฅผ ๋ ๋ง์ด ์๊ตฌํ์ต๋๋ค. ๋๋ ๋ฐฐํฌํ์ด ๋ฌด์์ํ๋์ง ์๊ณ ์์ต๋๋ค ;)
๊ทํ์ ๊ธฐ์ฌ๊ฐ ๋ณํฉ๋ ๊ฒ์ด๋ผ๊ณ ๋ณด์ฅํ ์๋ ์์ง๋ง ์ข์ ์ถ๊ฐ ๊ธฐ๋ฅ์ด ๋ ๊ฒ์ ๋๋ค. ์์ํ๊ธฐ ์ ์ ๋ ๊ด๋ฒ์ํ๊ฒ ๋ ผ์ํ๋ ๊ฒ์ด ์ข์ ๊ฒ์ ๋๋ค. ๋จ์ง ์์ ์ ์ํด ๊ตฌํํ๊ณ ๋ณํฉํ๋๋ผ๋ ์๊ดํ์ง ์๋ ํ ;)
์ ํ ๋ชจ๋ธ์ด ์๋ ๊ทธ๋๋์ธํธ ๋ถ์คํ ์ ์ฃผ๋ก ๊ด์ฌ์ด ์์ผ์ญ๋๊น?
ping @pprett @glouppe @arjoly
๋๋ ๊ทธ๊ฒ์ ๋ชจ๋ ๊ณณ์์ ํตํฉํ๋ ๋ฐ ๊ด์ฌ์ด ์์ง๋ง ๋๋ถ๋ถ์ ํธ๋ฆฌ ์์๋ธ์
๋๋ค.
์ฒซ ๋ฒ์งธ. ์ด๋ ์ชฝ์ด๋ ๊ทธ๋ค์ ์์์ ์ฒ์ผ๋ก ์๋นํ ์์ ๋ณต์ ์์
์ ์ํํฉ๋๋ค.
๋ฐ GBM์ ๋ชจ๋ ๊ฐ ์์ค ํจ์์ ๋ํด ์๋ก ๋ค๋ฅธ ABC๋ฅผ ๊ฐ์ง๋๋ค. ๊ทธ๋์ ๋ ๊ทธ๋ฅ ํ ์
ํ ๋ฒ๋ง ์๋ํ๋ฉด ๋ถํํ๋ ๋ ๋ค์์ ์๋ํฉ๋๋ค. ๋๋ ์ข ๋ฐ์ ์ ์์ด
๋ฐ์ดํฐ์ธํธ. ์ด ํ๋ก์ธ์ค๋ฅผ ๋ณํฉํ๊ธฐ ์ํด ํ๋ก์ธ์ค๋ ์ด๋ป๊ฒ ์๊ฒผ์ต๋๊น?
๋ฐ๋ผ์ผ ํ ๊น์. ๋๋ ๊ธฐ์ฌํ๋ ๊ฒ์ด ์ฒ์์ด๋ฏ๋ก ์๋ฃ๋์๋์ง ํ์ธํ๊ณ ์ถ์ต๋๋ค.
์ค๋ฅธ์ชฝ. ๊ทธ๋ฌ๋ ๋ด๊ฐ ๋งํ๋ฏ์ด GBM์ ์์ค ํด๋์ค๋ฅผ ๋ค๋ฅธ ๊ฒ๊ณผ ๋
๋ฆฝ์ ์ผ๋ก ์ทจ๊ธํฉ๋๋ค.
sklearn์์ GBM์ ๋ํ ๋ณ๊ฒฝ ์ฌํญ์ด ์ฝ๊ฒ ๋
๋ฆฝ์ ์ผ ์ ์์ต๋๋ค. ๋๋ ํด์ผ๋ง ํ๋ค
.py ์คํฌ๋ฆฝํธ์์ ์ฝ๋๋ฅผ ํธ์งํ์ญ์์ค.
2015๋
12์ 10์ผ ์คํ 4์ 57๋ถ์ "Andreas Mueller" [email protected] ์ด ๋ค์๊ณผ ๊ฐ์ด ์ผ์ต๋๋ค.
๋ฐ์ดํฐ ์ธํธ ๋๋
์ถํ๋ฌผ. ๋๋ ๋ฐฐํฌํ์ด ๋ฌด์์ํ๋์ง ์๊ณ ์์ต๋๋ค ;)์๋ง๋ ์ข์ ์ถ๊ฐ ์ฌํญ์ด ๋ ๊ฒ์ ๋๋ค.
๊ทํ์ ๊ธฐ์ฌ๊ฐ ๋ณํฉ๋ฉ๋๋ค. ๋ ผ์ํ๋ ๊ฒ์ด ์ข์ ๊ฒ ๊ฐ๋ค.
์์ํ๊ธฐ ์ ์ ๋ ๊ด๋ฒ์ํ๊ฒ
๋น์ ์ ์์์ด๋ฉฐ ์ฐ๋ฆฌ๊ฐ ๊ทธ๊ฒ์ ๋ณํฉํด๋ ์๊ดํ์ง ์์ต๋๋ค ;)๊ทธ๋์ ๋๋ ๋น์ ์ด ์ ํ์ด ์๋ ๊ทธ๋ผ๋์ธํธ ๋ถ์คํ ์ ์ฃผ๋ก ๊ด์ฌ์ด ์๋ค๊ณ ์๊ฐํฉ๋๋ค.
๋ชจ๋ธ?ํ @pprett https://github.com/pprett @glouppe
https://github.com/glouppe @arjoly https://github.com/arjolyโ
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ฑฐ๋ GitHub์์ ํ์ธํ์ธ์.
https://github.com/scikit-learn/scikit-learn/issues/5975#issuecomment -163761067
.
์์์ pingํ GBM ์ ๋ฌธ๊ฐ์ ์๊ฒฌ์ ๋ฐ๋ ๊ฒ์ด ์ข๊ฒ ์ง๋ง ์ฌ๋๋ค์ด ์ถ๊ฐ์ ๊ด์ฌ์ด ์๋์ง ๋ฌป๋ ๋ฉ์ผ๋ง ๋ฆฌ์คํธ์ ๊ธ์ ์ธ ์๋ ์์ต๋๋ค.
L1/L2 ํจ๋ํฐ๋ก ์ขํ ์๋ฒ๋ ์ง์ํ ๊ณํ์
๋๊น?
_glmnet์ฒ๋ผ
?_
์ด ๋ฌธ์ ์ ๋ํ ์
๋ฐ์ดํธ๊ฐ ์์ต๋๊น? linear_models
์ ์ถ๊ฐ๋ Poisson ํ๊ท๋ฅผ ๋ณด๊ณ ์ถ์ต๋๋ค. ๊ทธ๋์ sklearn
๋ฅผ ์ฌ์ฉํ๋ ๊ฒ ์ธ์๋ ๋ชจํ์ ํ ํ์๊ฐ ์์ต๋๋ค. ์๋ฌด๋ ์ ๊ทน์ ์ผ๋ก ์์
ํ์ง ์์ผ๋ฉด ๊ตฌํ์ ์ฐ๋ฆด ์ ์์ต๋๋ค.
์๋ฌด๋ AFAIK.
์ฃผ์ ํ์ง ๋ง๊ณ ์๋ํด ๋ณด๊ณ WIP ๊ตฌํ์ ๊ณต์ ํ์ญ์์ค.
๋๋ ์ด๊ฒ์ ๋ํด ์ผํ ์์ ์ด์๊ณ ์ง๊ธ๋ ๊ณ์ํ๊ณ ์์ต๋๋ค. ๊ทธ๋๋ ๋ด๊ฐ ํ๋ฉด
API์ ์คํ์
์ ์ถ๊ฐํ๋ ๊น๋ํ ๋ฐฉ๋ฒ์ด ํ์ํฉ๋๋ค. ์ถ๊ฐํ ๊น ๊ณ ๋ฏผํ๋ค๊ฐ
์คํ์
kwarg ๋ฐ ๊ธฐ๋ณธ๊ฐ์ ์์์ด ๋ ์ ์์ผ๋ฉฐ ์์ค์ด ๋ฐ์ํ๋ฉด ๊ฒฝ๊ณ ๋ฅผ ๋์ง๋๋ค.
ํฌ์์ก์ด ์๋๋๋ค. ๋๋ ์ฃผ๋ก ๋ณดํ ๋ชจ๋ธ๋ง์ ์ํด ํฌ์์ก์ ์ฌ์ฉํฉ๋๋ค.
์คํ์
์ ๋ก๊ทธ(๋
ธ์ถ ํ๋)์
๋๋ค. ์คํ ๋ฐ ๋ฐฐํฌ๋ฅผ ํตํด ์๊ณ ์์ต๋๋ค.
ํฌ์ ์นด์ดํธ ๋ฐ์ดํฐ์ ๊ฒฝ์ฐ ํจ์ฌ ์ด๋ฑํ ๋ชจ๋ธ์ ์ป์ ์ ์๋ค๋ ์ด๋ก
์คํ์
์์ด. ํ์ฌ R์ ์ ํ ๋ชจ๋ธ๊ณผ GBM์ ๋ชจ๋ ํธ์์ก์ ์ง์ํฉ๋๋ค.
์คํ์
์ผ๋ก. ์ด๊ฒ์ด ํ์ฌ ๋๊ตฌ๋ก์ ์ด๋์
๋๋ค. ๋๋ ์ด๊ฒ์ ์ถ๊ฐํ๊ณ ์ถ๋ค
๋ค๋ฅธ ์ฌ๋๋ค์ด ์ถ๊ฐํ๋ ค๋ ๊ฒฝ์ฐ sklearn.
2016๋
5์ 1์ผ ์ค์ 4์ 3๋ถ, "Alexandre Gramfort" [email protected]
์ผ๋ค:
์๋ฌด๋ AFAIK.
์ฃผ์ ํ์ง ๋ง๊ณ ์๋ํด ๋ณด๊ณ WIP ๊ตฌํ์ ๊ณต์ ํ์ญ์์ค.
โ
์ค๋ ๋๋ฅผ ์์ฑํ๊ธฐ ๋๋ฌธ์ ์ด ๋ฉ์์ง๋ฅผ ๋ฐ๋ ๊ฒ์ ๋๋ค.
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ฑฐ๋ GitHub์์ ํ์ธํ์ธ์.
https://github.com/scikit-learn/scikit-learn/issues/5975#issuecomment -216024458
@thenomemac ๋ด๊ฐ ์ดํด๋ณผ ์ ์๋ WIP ๊ตฌํ์ด ์์ต๋๊น?
์คํ์ ์ ๊ฒฝ์ฐ "y" ๊ฐ์ ์นด์ดํธ ๋์ ๋น์จ๋ก ๋ง๋ค๊ธฐ ์ํด ์ฌ์ฉ์๊ฐ ์คํ์ /๋ ธ์ถ๋ก ์นด์ดํธ๋ฅผ ๋๋๋๋ก ์๊ตฌํ ์ ์์์ต๋๊น(https://en.wikipedia.org/wiki/Poisson_regression#. 22Exposure.22_and_offset)? R์ GLM ํจํค์ง์๋ ๋ชจ๋ธ ์ง์ (์คํ์ ์ง์ ํฌํจ)์ ์ํ ํ๋ฅญํ ์ธํฐํ์ด์ค๊ฐ ์์ง๋ง ์ด๊ฒ์ด ๊ธฐ์กด ์ ํ ๋ชจ๋ธ API์ ์ด๋ป๊ฒ ๋ง๋์ง๋ ํ์คํ์ง ์์ต๋๋ค.
@bjlkeng ์์ง WIP ๊ตฌํ์ด ์๋ฃ๋์ง ์์์ต๋๋ค. ์ผ๋ง ์ ์ ์์ํ๋๋ฐ ์ฐ๋งํด์ก์ต๋๋ค. ๋๋ ํฌ์์ก ๋น์จ์ ์ป๊ธฐ ์ํด ๋ ธ์ถ๋ก ๋๋๋ ๊ฒ์ด ํฌ์์ก ์์ค์ ๋ํ GBM ์๊ณ ๋ฆฌ์ฆ์ ์ฌ๋ฐ๋ฅธ ํ์์ด๋ผ๊ณ ์๊ฐํ์ง ์์ต๋๋ค. ๊ทธ๋๋์ธํธ์ offset=log(exposure)๋ ์ถ๊ฐ ์์์ ๋๋ค. ๋ฐ๋ผ์ ๋ ธ์ถ์ด ๋ ๋์ "์์ญ"์ ๋ ๋ง์ ๊ฐ์ค์น๋ฅผ ํจ๊ณผ์ ์ผ๋ก ๋ถ์ฌํ๊ณ ์์ต๋๋ค. ํ์ฌ ํธ๋ฆฌ ํ์ต์์๊ฒ ๊ฐ์ค์น๋ฅผ ์ ๋ฌํ๋ ๋ฐฉ์์ ๊ฐ์ฐ์ด ์๋ ์น๋ฒ์ด๊ธฐ ๋๋ฌธ์ ๊ธฐ๋ณธ ํ์ต์(ํธ๋ฆฌ)๋ฅผ ํผํ ํ ๋๋ง๋ค ์ฌ๋ฐ๋ฅธ ๊ธฐ์ธ๊ธฐ๋ก ๋์๊ฐ ์ ์๋์ง 100% ํ์ ํ ์ ์์ต๋๋ค. ๋๋ ๋ด๊ฐ ๋งํ๋ ๊ฒ์ ๋ํ ๋ ์๊ฒฉํ ์ํ์ ํ์๋ฌผ์ ์ ๋ ฅํ๋ ค๊ณ ๋ ธ๋ ฅํ ๊ฒ์ ๋๋ค. ์ค๋ฌด์์ ์ค์ํ๋ค๊ณ ๋ง์๋๋ฆด ์ ์์ต๋๋ค. ์ค์ ๋ฐ์ดํฐ ์ธํธ์์ ์นด์ดํธ ๋ฐ์ดํฐ๊ฐ ํฌ์์ก์ด ๋ ๊ฒ์ผ๋ก ์์๋๋ ๊ณณ์์ ๋ชจ๋ธ๋งํ์ต๋๋ค. R์ gbm์ ์ฌ์ฉํ๋ฉด ์คํ์ ์ "์ํ์ ์ผ๋ก" ์ฌ๋ฐ๋ฅธ ๋ฐฉ์์ผ๋ก ์ฒ๋ฆฌํ๊ธฐ ๋๋ฌธ์ ๋ ๋น ๋ฅด๊ณ ๋ ๋์ ๊ฒฐ๊ณผ๋ก ์๋ ด๋ฉ๋๋ค. ๊ทธ๋ฆฌ๊ณ ํฌ์์ก ์์ค ํจ์๊ฐ ์๋ xgboost์ ๊ฐ์ ๋ค๋ฅธ gbm ๊ตฌํ์ ์ ์๋ ๋๋ก ํฌ์์ก ๋น์จ์ ์ฌ์ฉํ์ฌ ๋ฐ์ดํฐ๋ฅผ ๋ชจ๋ธ๋งํ ์๋ ์์ต๋๋ค.
(์ด ๋ฌธ์ ์ ๋ํ ๋งํฌ๋ stats.stackexchange์์ ์ฐพ์์ต๋๋ค.
statmodels GLM์๋ ์คํ์ ๋ฐ ๋ ธ์ถ์ด ์์ต๋๋ค(๋ก๊ทธ ๋งํฌ์๋ง ๋ ธ์ถ).
๋ง์คํฐ์๋ ์ด์ ์ขํ ํ๊ฐ์ ์ํด apython ๋ฃจํ๋ฅผ ํตํด ๊ตฌํ๋ GLM ๋ฐ ๊ธฐํ ๋ช ๊ฐ์ง ๋ชจ๋ธ์ ๋ํ ํ๋ ฅ์ ๋คํธ ์ต์ ์ด ์์ต๋๋ค(์คํ์ ๊ณผ ํจ๊ป ์ผ๋ฐ ์ต๋ ๊ฐ๋ฅ์ฑ ์ฌ์ฉ).
๋ง์คํฐ์๋ ์ด์ GLM์ฉ Tweedie ์ ํ๊ตฐ๋ ์์ต๋๋ค. ๊ทธ๋ฌ๋ ์ด๋ ํญ์ ๋ฌดํ ํฉ์ด๊ณ ์๋ฆฐ ๋ฒ์ ์ ๊ณ์ฐํ๋ ๊ฒ์ด ๋๋ฆฌ๊ณ ์ผ๋ฐ์ ์ผ๋ก ์ฌ์ฉ๋๋ ๊ทผ์ฌ์น๊ฐ ๋งค๊ฐ๋ณ์ ๊ณต๊ฐ์ ์ผ๋ถ ๋ฒ์์์ ๋งค์ฐ ์ ํํ์ง ์๊ธฐ ๋๋ฌธ์ ์ ์ฒด ๋ก๊ทธ ๊ฐ๋ฅ์ฑ ์์ค ํจ์๋ฅผ ์ฌ์ฉํ์ง ์์ต๋๋ค.
๋ฐ๋ผ์ ์ฐธ์กฐ ๊ตฌํ์ด ํ์ํ ๊ฒฝ์ฐ statsmodels์๋ ์ด๋ฌํ ๋ถ๋ถ์ด ์์ต๋๋ค. GLM์ฉ GBM์ ๋ํด ๋ค์ด๋ณธ ์ ๋ ๋ณธ ์ ๋ ์์ต๋๋ค. ๋๋ ๋ํ scikit-learn ์ฝ๋์ ๋ํด ์ ์์ง ๋ชปํ์ฌ ๊ทธ๊ฒ์ด ์ด๋ป๊ฒ ๋ค์ด๋ง๋์ง ์ ์ ์์ต๋๋ค.
)
@thenomemac ๋
ธ์ถ๋ก ์ธํด ์์ค ํจ์๊ฐ ๋ณ๊ฒฝ๋๋ค๋ ๊ฒ์ ์ ๋์ ์ผ๋ก ์ณ์ต๋๋ค. ์ ๊ฐ ์ฐฉ๊ฐํ์ต๋๋ค. ์ฌ์ค, ๋๋ ๊ทธ๊ฒ์ ํด๊ฒฐํ๋ค๊ณ ๋ฏฟ์ต๋๋ค. ๋๋ ์์ฃผ ์ด๊ธฐ์ WIP๋ฅผ ๊ฐ์ง๊ณ ์์ต๋๋ค(๊ทธ๋ฅ ๋๊ณ ์๋ ๊ฒ ์ด์) _poisson_loss()
https://github.com/bjlkeng/scikit-learn/blob/poisson_regression/sklearn/linear_model/poisson.py ).
@josef-pkt ๊ฐ์ฌํฉ๋๋ค. statsmodels ๊ตฌํ์ ์ดํด๋ณด์์ต๋๋ค. ์ค์ ๋ก๋ ๊ฝค ์ข์ต๋๋ค(๋ด๊ฐ ํฌ์ด ์๋ API ์ ์ธ). ์ค์ ๋ก "์นด์ดํธ" ๋ชจ๋ธ์ด ์์ ์ดํญ๊ณผ ๊ฐ์ ๋ค๋ฅธ ์นด์ดํธ ๊ธฐ๋ฐ ํ๊ท๋ฅผ ์ง์ํ๋ ๊ฒฝ์ฐ๊ฐ ์ข ๋ ์ผ๋ฐ์ ์ ๋๋ค. statsmodel ๊ตฌํ์ ์ด๋ฏธ ๋ ธ์ถ๊ณผ ์ ๊ทํ๋ฅผ ๊ณ ๋ คํฉ๋๋ค(์ด๋ ์ ๊ฐ ๋ํ ์ฐพ๊ณ ์๋ ๊ฒ์ ๋๋ค).
statsmodels์ ๊ตฌํ์ด ์๋ค๋ ์ ์ ๊ฐ์ํ ๋ sklearn
์ ์ด์ ๊ฐ์ ๊ฒ์ ๊ฐ๋ ๊ฒ์ด ์ฌ์ ํ ๊ฐ์น๊ฐ ์๋ค๊ณ ์๊ฐํ์ญ๋๊น? ๊ทธ๋ ๋ค๋ฉด ์ฌ์ฉ ๊ฐ๋ฅํ ํํ๋ก ๋ง๋ค๊ธฐ ์ํด ๋ ๋ง์ ๋
ธ๋ ฅ์ ๊ธฐ์ธ์ผ ์ ์์ต๋๋ค. ์ผ์ด ๋๋ฌด ๋ฐ๋น ์ ์๊ฐ์ด ๋ณ๋ก ์์์ด์.
๋๋ ์ด๊ฒ์ด ์ฌ์ ํ ๊ฐ์น๊ฐ ์๋ค๊ณ ์๊ฐํฉ๋๋ค.
@bjlkeng ๋๊ธ ๊ฐ์ฌํฉ๋๋ค! ๊ทธ๊ฒ์ ๋ฐ์๋ค์ด๊ณ ํ ๋ฆฌํ์คํธ๋ฅผ ํ๋ ๋ฐ ๊ด์ฌ์ด ์์ต๋๊น? ๊ทธ๋ ์ง ์์ ๊ฒฝ์ฐ ์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ณ PR์ ์๋ํ ์ ์์ต๋๋ค. ๋จผ์ ํธ์์ก์ ๋ํด ๋ค์์๋ ๊ฐ๋ง์ ๋ํด... @agramfort ๊ด์ฐฎ์ต๋๊น? :)
@raghavrv๋ , ๋ต๋ณ์ด ๋ฆ์ด ์ฃ์กํฉ๋๋ค. ์ผ์ด ๊ฝค ๋ฐ๋น ์ ์๊ฐ๋ณด๋ค ์๊ฐ์ด ์ค๋ ๊ฑธ๋ฆฐ๋ค๋ ๊ฒ๋ ๊นจ๋ฌ์์ต๋๋ค. ๋ฐ๋ผ์ ๊ณ์ ์งํํด ์ฃผ์๊ธฐ ๋ฐ๋๋๋ค. statsmodel ๊ตฌํ์ ๋ํด ์ดํด๋ณด๊ฒ ์ต๋๋ค. ์ฌ๊ธฐ์์ ์ํ๋ ๊ธฐ๋ฅ์ด ๋๋ถ๋ถ ํฌํจ๋์ด ์๊ธฐ ๋๋ฌธ์ ๋๋ค.
@raghavrv ์ด ์์ ์ ์์ํ์ จ๋์? ๋๋ ๋ํ sklearn์์ ์ต์ํ Poisson ํ๊ท๋ฅผ ๊ฐ๋๋ก ๊ธฐ์ฌํ ์ ์์ต๋๋ค.
@btabibian @raghavrv ์ด ์ํ๊ฐ ์ด๋ค๊ฐ์? ํ๋ก์ ํธ์ ํธ์์ก ํ๊ท ๊ตฌํ์ด ํ์ํ๊ณ ๊ธฐ๊บผ์ด ๊ธฐ์ฌํ ๊ฒ์ ๋๋ค.
์งํํด์ฃผ์ธ์ :) ๊ทธ๋ด ์๊ฐ์ด ์์์ด์ ์ฃ์กํฉ๋๋ค...
๋๋ ์๊ฐ์ด ์์์ต๋๋ค. ๋ํ API์
์คํ์
์ ํตํฉํฉ๋๋ค. statsmodels์์ ์ํ ๋๋ ์ฝ๋ ์์ ๋ฅผ ๋ณด์ฌ์ค ์ ์์ต๋๋ค.
๊ทธ๋ฌ๋ TLDR์ ํฌ์์ก ํ๊ท๋ฅผ ์ฌ์ฉํ๋ ค๋ฉด ์คํ์
์ด ํ์ํฉ๋๋ค.
๋์ผํ์ง ์์ ๋
ธ์ถ(๋ฉด์ ๋๋ ์๊ฐ)์ด ๋ฐ์ํ๋ฉด ์คํ์
์ด ํ์ํฉ๋๋ค. ๋ชจ๋ธ์ ๊ทธ๋ ์ง ์๋ค
์นด์ดํธ๋ฅผ ๋
ธ์ถ๋ก ๋๋๋ฉด ์ฌ๋ฐ๋ฅธ ๊ฐ์ค์น๋ฅผ ๋ถ์ฌํ์ญ์์ค.
2017๋
4์ 1์ผ ์คํ 2์ 49๋ถ, "(Venkat) Raghav (Rajagopalan)" <
[email protected]>์ ๋ค์๊ณผ ๊ฐ์ด ์ผ์ต๋๋ค.
์งํํด์ฃผ์ธ์ :) ๊ทธ๋ด ์๊ฐ์ด ์์์ด์ ์ฃ์กํฉ๋๋ค...
โ
๋น์ ์ด ์ธ๊ธ๋์๊ธฐ ๋๋ฌธ์ ์ด๊ฒ์ ๋ฐ๋ ๊ฒ์ ๋๋ค.
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ณ GitHub์์ ํ์ธํ์ธ์.
https://github.com/scikit-learn/scikit-learn/issues/5975#issuecomment-290939521 ,
๋๋ ์ค๋ ๋ ์์๊ฑฐ
https://github.com/notifications/unsubscribe-auth/AOeuWjVGf3-VmeasNHMLQAB1dnd4zuUQks5rrpw4gaJpZM4Gwd6-
.
๊ทธ๋๋ถํฐ ์์๋ณด๋๋ก ํ๊ฒ ์ต๋๋ค. @thenomemac ํ ๊ฐ์ฌํฉ๋๋ค! ๋ ธ์ถ์ ์ฒ๋ฆฌํ๋ ๋ฐฉ๋ฒ์ ๋ณด๊ธฐ ์ํด statsmodels ๊ตฌํ์ ํ์ธํ๊ฒ ์ต๋๋ค.
์๋ ํ์ธ์, ์ ๋ฐ์ดํธ๊ฐ ์์ต๋๊น? ์์ ์ดํญ ๊ฐ๋ฅ์ฑ์ ์ถ๊ฐํ๋ ๊ฒ๋ ๊ฐ๋ฅํฉ๋๊น? ์ด๊ฒ์ Poisson์ ํฐ ์ฐจ์ด๋ฅผ ๋ง๋ค์ง ์์์ผ ํฉ๋๋ค. ๊ทธ๋ ์ง ์์ผ๋ฉด ๋๋ ์ด๊ฒ์ ์กฐ์ฌ ํ ์ ์์ต๋๋ค ..
์ต์์,
์๋ชฌ
์๋ ํ์ธ์ @dirmeier , ๋ถํํ๋ ๊ทธ๋ ์ง ์์ต๋๋ค. ์ ๋ ๊ณ์ธต์ ๋ฒ ์ด์ง์ ๋ชจ๋ธ๋ก ์ ํํ๊ณ ํฌ์์ก ํ๊ท๋ฅผ ๊ตฌํํ ์ ์ด ์์ต๋๋ค.
@dirmeier , @jakobworldpeace ์งํ ์ค์ธ ์์ ์ ๋ํด ์๋ ค์ค ์ ์์ต๋๊น? ์ด๊ฒ๋ ๋ณด๊ณ ๋์ด๊ฐ๋ ๋ ๊น์?
์๋
ํ์ธ์ @NickHoernle ,
๋๋ ์๊ฐ์ด ์๊ธฐ ๋๋ฌธ์ ํ์ฌ NB-ํ๊ท์ R์ ์ฌ์ฉํ๊ณ ์์ต๋๋ค. ์ด๊ฒ์ ๊ตฌํํ๊ณ ์ถ๋ค๋ฉด ๊ธฐ์ ๊ฒ์
๋๋ค :)
@NickHoernle WIP๋ ์์ง๋ง statsmodels Poisson ํ๊ท ๊ตฌํ์ ์์ํด์ผ ํฉ๋๋ค.
ํ๋ฅญํ. ๋๋ ์ด๊ฒ์ ์ดํด๋ณด๊ธฐ ์์ํ๊ณ ์ฐ๋ฆฌ๊ฐ ์ด๋๋ก ๊ฐ๋์ง ๋ณผ ๊ฒ์ ๋๋ค.
์ ๋ https://github.com/madrury/py-glm์์ GLM์ ์์ ํ์ต๋๋ค.
๋๋ ์ด๊ฒ์ sklearn์ ๋ณํฉํ๋ ค๋ ๊ฒ์ด ์๋๋ผ ์ค์ ๋ก ํ์๋ค์ด ์์ ์์ ์ฌ์ฉํ๊ธฐ ์ํ ๊ฒ์ด์ง๋ง ์ด ๋ฌธ์ ๋ฅผ ๋ค๋ฃจ๋ ์ฌ๋์๊ฒ ์ ์ฉํ ๊ฒฝ์ฐ๋ฅผ ๋๋นํ์ฌ ์์ ์ ์ง์ ํ๊ณ ์ถ์ต๋๋ค.
๋์ ์์ค์ผ๋ก ํ์ฅํ๋ ๋ฐ ์ด๋ ค์์ ๊ฒช์ ๋ดํด ๋ฐฉ์์ ์๋ฒ
์น์. ๋ํ L1 ์ ํ ํจ๋ํฐ๋ฅผ ์ง์ํ์ง ์์ต๋๋ค. API๋ ํ์ธํ์ธ์.
sklearn๊ณผ์ ์ผ๊ด์ฑ. ๋ง์ถค์ X, y ๋ฐ sample_weights๋ง ์ทจํด์ผ ํฉ๋๋ค.
ํ์ฅ์ฑ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ๊ฐ์ฅ ๋จผ์ ํ ์ผ์ l-bfgs๋ฅผ ์ฌ์ฉํ๋ ๊ฒ์
๋๋ค. ๋ณด๋ค
์ฐ๋ฆฌ์ ๋ก์ง์คํฑ ํ๊ท ์ฝ๋
HTH
๋ด๊ฐ ๋งํ๋ฏ์ด ๋ด ๋ชฉํ๋ sklearn๊ณผ์ ์์ ํ ์ผ๊ด์ฑ์ด ์๋๋ผ MuCullagh ๋ฐ Nelder๋ฅผ ๋ฐ๋ฅด๊ณ ์ผ๋ถ ์ถ๋ก ๋๊ตฌ(sklearn์ ๋ฒ์๋ฅผ ๋ฒ์ด๋จ)๋ฅผ ์ ๊ณตํ๋ ๊ฐ๋จํ ๊ตฌํ์ ๊ฐ๋ ๊ฒ์ ๋๋ค. ์ค๊ฐ ํฌ๊ธฐ์ ๋ฐ์ดํฐ ์ธํธ์ ๋ํ ๊ฐ์์ค ํ๊ฒฝ์์ ์ฌ์ฉํ๊ธฐ ์ํ ๊ฒ์ ๋๋ค. sklearn์ ์ํด ์ด ๊ธฐ๋ฅ์ ์์ ํ๋ ์ฌ๋์๊ฒ ์ ์ฉํ ์์ด๋์ด๊ฐ ์๋ ๊ฒฝ์ฐ๋ฅผ ๋๋นํ์ฌ ์ฌ๊ธฐ์ ์ฝ๋๋ฅผ ์ฐ๊ฒฐํ๊ณ ์ถ์์ต๋๋ค.
L1 ํ๋ํฐ๋ฅผ ๋ฒ์๋ก ์๊ฐํ์ง ์๊ณ glmnet
๋ง ์ฌ์ฉํ ๊ฒ์
๋๋ค. L2๋ ๋ด๊ฐ ๊ณ์ํด์ ์ถ๊ฐํ ๊ณ ์ ์ ์ธ GLM ํ๋ ์์ํฌ์ ํตํฉํ๊ธฐ์ ์ถฉ๋ถํ ๊ฐ๋จํฉ๋๋ค.
fit
๋ฐฉ๋ฒ์ ๊ดํด์๋ ์ฌ๊ธฐ์ ์์ ์ค๋ช
์ ๋ง๋ถ์ด๊ฒ ์ต๋๋ค. ์๋ชป๋ ๊ฒ์ด ์๋๊ธฐ๋ฅผ ๋ฐ๋๋๋ค. ์ ํฉํ๋๋ก ์ ๊ณต๋ offset
์ ๋ถ์กฑ์ sklearn์ด ์ง๋ ์ง์ฅ์์ ์ฃผ๋ชฉ๋ฐ์ง ๋ชปํ ์ด์ ์ ํฐ ๋ถ๋ถ์ด์์ต๋๋ค. ์ ์ ํ ๋ณดํ ๋ชจ๋ธ๋ง์ ํ๊ธฐ ์ํด์๋ ์ ๋ง ํ์ํฉ๋๋ค. ๊ท์ ๊ธฐ๊ด์ Poisson ๋ฐ Tweedie ๋ชจ๋ธ์ด ๊ทธ๋ฐ ์์ผ๋ก ์ ํฉํ ๊ฒ์ผ๋ก ๊ธฐ๋ํ๋ฉฐ ๊ธฐ๋์น๊ฐ ์๋นํ ์๊ฒฉํ ์ ์์ต๋๋ค.
๋น์ ์ ๋ช ํํ ํด์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค.
์คํ์
๊ณผ ๊ด๋ จํ์ฌ ํธ์์ก ๋ฐ ํธ์๋ ๋ชจ๋ธ์๋ง ํด๋น๋ฉ๋๊น?
์ํ ํน์ ๊ฐ์ธ ๊ฒฝ์ฐ ํผํ
์์ sample_prop์ด ๋ ์ ์์ต๋๋ค.
๋งค๊ฐ๋ณ์.
๋ฐ์ดํฐ์ ์์กดํ์ง ์๋ max_iter ๋๋ tol์ผ ๋ฟ์
๋๋ค.
์ด๊ธฐํ
#9405์ ๋น๊ตํด์ผ ํฉ๋๊น?
@agramfort ๋น์ ์ max_iter์ tol์ ๋ํด ์ณ์ต๋๋ค. ๋๋ ๊ทธ๊ฒ๋ค์ __init__์ผ๋ก ์ฎ๊ธธ ๊ฒ์ ๋๋ค.
sample_prop
์ ์๋ฏธ์ ๋ํ ์ฐธ์กฐ๊ฐ ์์ต๋๊น?
https://github.com/scikit-learn/enhancement_proposals/pull/6 ์ฐธ์กฐ
๊ฐ์ฅ ์ข์ ๋ฐฉ๋ฒ์ด ๋ฌด์์ธ์ง ์์ง ๋ ผ์ ์ค์ ๋๋ค...
์คํ์ ์ ๋ํ ์งง์ ์ฐธ๊ณ ์ฌํญ: AFAIK, ์ํ ๊ฐ์ค์น๋ ๋ ธ์ถ์ ์ฒ๋ฆฌํ๊ธฐ์ ์ถฉ๋ถํฉ๋๋ค. ์ฆ, y=values/exposure๋ฅผ sample_weight=exposure๋ก ๋ง์ถ๋ฉด ์์ ์ ์ํํ๊ณ ๋ก๊ทธ ๋งํฌ๊ฐ ์๋ Poisson ์ด์ธ์ ๋ค๋ฅธ ๋ฐฐํฌ ๋ฐ ๋งํฌ์ ์ผ๋ฐํ๋ฉ๋๋ค.
@madrury ๊ณต์ ํด์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค. ๋๋ ๋น์ ์ ๊ตฌํ์ ์ดํด๋ณด๊ณ ๋ด ๊ฒ๊ณผ ๋น๊ตํ ๊ฒ์ ๋๋ค.
์ฌ๋๋ค์ด ์ฌ์ ํ ์ด๊ฒ์ ๊ด์ฌ์ด ์์ต๋๊น? ๋๋ ๊ธฐ์ฌ์ ๊ด์ฌ์ด ์์ ๊ฒ์ ๋๋ค.
๋๊ตฐ๊ฐ sklearn์ ์ถ๊ฐํ๋ฉด ๊ธฐ๋ฅ์ ์ฌ์ ํ ๊ด์ฌ์ด ์์ต๋๋ค.
2017๋
12์ 21์ผ ๋ชฉ์์ผ ์คํ 6:04 Jared Samet ์๋ฆผ @github.com
์ผ๋ค:
์ฌ๋๋ค์ด ์ฌ์ ํ ์ด๊ฒ์ ๊ด์ฌ์ด ์์ต๋๊น? ๋๋ ๊ธฐ์ฌ์ ๊ด์ฌ์ด ์์ ๊ฒ์ ๋๋ค.
โ
๋น์ ์ด ์ธ๊ธ๋์๊ธฐ ๋๋ฌธ์ ์ด๊ฒ์ ๋ฐ๋ ๊ฒ์ ๋๋ค.
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ณ GitHub์์ ํ์ธํ์ธ์.
https://github.com/scikit-learn/scikit-learn/issues/5975#issuecomment-353479618 ,
๋๋ ์ค๋ ๋ ์์๊ฑฐ
https://github.com/notifications/unsubscribe-auth/AOeuWtvi4Um_o_ERuVe1ob86201G-ASdks5tCuP4gaJpZM4Gwd6-
.
@oracleofnj @thenomemac
py-glm ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ๊ฒ์ฆ๋ ์ผ๋ฐ glm ๊ตฌํ์ด ์์ง๋ง sklearn์ ๋ณํฉํ ๊ณํ์ด ์์ต๋๋ค(sklearn๊ณผ ํธํ๋์ง ์๋ ๋์์ธ ๊ฒฐ์ ์ ๋ด๋ฆผ). ๋ค๋ฅธ ์ง์๊ตฐ์ ์ถ๊ฐํ๊ธฐ๊ฐ ๋งค์ฐ ์ฝ๋๋ก ์ค์ ๋์ด ์์ต๋๋ค.
๋๋ ๋ํ ๋์ผํ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์์ ๋์ผํ ์ง์ ํจ๋ฐ๋ฆฌ๋ฅผ ์ง์ํ๋ ์์ ํ๊ณ ์์ํ python glmnet ๊ตฌํ์ ๊ฐ์ง๊ณ ์์ง๋ง ๋ฒ๊ทธ์ ๊ฑธ๋ ค์ ๋ด๋ ค ๋์์ต๋๋ค. ๋ฒ๊ทธ๋ฅผ ํตํด ์ถ๋ก ํ๋ ๋ฐ ๋์์ด ๋์์ผ๋ฉด ํฉ๋๋ค. ๋ค์ ๋ณต๊ตฌํ ๋๊ธฐ๊ฐ ํ์ํฉ๋๋ค.
@madrury ํด๋น ๋ฒ๊ทธ๋ฅผ ๋์๋๋ฆด ์ ์๊ฒ ๋์ด ๊ธฐ์ฉ๋๋ค.
์๋ ํ์ธ์, ์ด๋ฌํ ๋ฐฐํฌํ์ ์ํด ๊ตฌ์ถ๋ ๊ฒ์ด ์์ต๋๊น? ์ ๋ฐ์ดํธ๊ฐ ๊ถ๊ธํฉ๋๋ค. ๊ฐ์ฌ ํด์.
๊ธฐ์ฌ์๋ฅผ ๋๊ธฐ ์ํด ์ด ๋ฌธ์ ๋ฅผ ๋ซ๋ ๊ฒ์ด ๊ฐ์ธ์ ์ผ๋ก ์ข์ต๋๋ค.
์ง์คํ๋ค. ์์ธ:
ํ์ด์ฌ ํ๊ฒฝ์ด ๋ฐ๋์๋ค
statsmodels๋ ์ด์ ํจ์ฌ ๋ ์ฑ์ํด์ก์ผ๋ฉฐ ๋ค์๊ณผ ๊ฐ์ ๋ฐฐํฌํ์ ํฌํจํฉ๋๋ค.
์ ์ ํ ๋
ธ์ถ ๊ฐ์ค์น
pytorch ๋๋ tensorflow๋ฅผ ํตํ jit ๊ธฐ๋ฐ ๊ตฌํ์ ํตํด
์ฑ๋ฅ ์ ํ ๋๋ ํจํค์ง ์์ด ๋ชจ๋ ๋ํดํ ์์ค์ ๊ตฌํํฉ๋๋ค.
์ฌ์ปดํ์ผ
์๊ฐ?
์ฐ๋ฆฌ๋ ํ์ฌ ๋ค์์ ๋๊ธฐ ์ํด ๋ฆฌ์์ค๋ฅผ ํ ๋นํ๊ณ ์์ต๋๋ค.
https://github.com/scikit-learn/scikit-learn/pull/9405
๊ทธ๋ฆฌ๊ณ ๊ทธ๊ฒ์ (์ ์ด๋ ์ผ๋ถ) ๋ง์คํฐ์ ์ฐฉ๋ฅ์ํค์ญ์์ค. ๊ทน๋ณตํด์ผ ํ๋ค
๋ค์ ๋ฌ.
๋ฉ์ง ์ผ !
2019๋
4์ 13์ผ ํ ์์ผ ์ค์ 3:27 Alexandre Gramfort [email protected]
์ผ๋ค:
์ฐ๋ฆฌ๋ ํ์ฌ ๋ค์์ ๋๊ธฐ ์ํด ๋ฆฌ์์ค๋ฅผ ํ ๋นํ๊ณ ์์ต๋๋ค.
https://github.com/scikit-learn/scikit-learn/pull/9405
๊ทธ๋ฆฌ๊ณ ๊ทธ๊ฒ์ (์ ์ด๋ ์ผ๋ถ) ๋ง์คํฐ์ ์ฐฉ๋ฅ์ํค์ญ์์ค. ๊ทน๋ณตํด์ผ ํ๋ค
๋ค์ ๋ฌ.โ
๋น์ ์ด ์ธ๊ธ๋์๊ธฐ ๋๋ฌธ์ ์ด๊ฒ์ ๋ฐ๋ ๊ฒ์ ๋๋ค.
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ณ GitHub์์ ํ์ธํ์ธ์.
https://github.com/scikit-learn/scikit-learn/issues/5975#issuecomment-482784732 ,
๋๋ ์ค๋ ๋ ์์๊ฑฐ
https://github.com/notifications/unsubscribe-auth/AOeuWj8PD0nfltM7Acg12Pfhl4sG5n7Fks5vgYbogaJpZM4Gwd6-
.
sciki-learn์ GLM์ด ์์ผ๋ฉด ์ข์ ๊ฒ์ ๋๋ค. ์ด๋ ๊ฒ ํ๋ฉด ๋ค๋ฅธ ์ธ์ด๋ก ์ด๋ํ ํ์๊ฐ ์ค์ด๋ญ๋๋ค. ๊ธฐ๋๋ฉ๋๋ค.
๋์. R ์ธ๊ณ์์ ์จ ๋๋ sklearn์ GLM ๊ธฐ๋ฅ์ด ์์ง ์๋ค๋ ์ฌ์ค์ ๋๋์ต๋๋ค. ๊ณง ๊ทธ๋ ๊ฒ ๋๊ธฐ๋ฅผ ๋ฐ๋๋๋ค.
sklearn์ GLM์ ํฌํจํ๊ธฐ ์ํด ๋ ๋ค๋ฅธ ํฌํ๋ฅผ ์ถ๊ฐํ๊ฒ ์ต๋๋ค. ํ๋ถ ํต๊ณ ํ๋ก๊ทธ๋จ์์ ๊ฐ๋ฅด์น๋ ๋ชจ๋ธ์ ํต์ฌ ํด๋์ค์ ๋๋ค. ๋ํ ์ฌ์ฉ์ ๋งค๋ด์ผ์ ๋งํฌ ๊ธฐ๋ฅ์ด๋ ์ค๋ฅ ๋ถํฌ์ ๋ํ ๋ ผ์๊ฐ ํฌํจ๋์ง ์์ "์ผ๋ฐํ๋ ์ ํ ๋ชจ๋ธ" ์น์ ์ด ์๋ค๋ ์ฌ์ค์ ์ ์๊ฒ ๋๋ผ์ด ์ผ์ ๋๋ค.
@patrickspry Statsmodels๋ ํ๋ถ์์ด ๋ฐฐ์ธ ์ ์๋ ๋๋ถ๋ถ์ GLM์ ์ ๊ตฌํํ์ต๋๋ค.
@patrickspry https://github.com/scikit-learn/scikit-learn/pull/9405 ์ ์๋นํ ์์ ํ PR์ด ์์ผ๋ฉฐ ํด๋น ๊ธฐ๋ฅ์ ๋ณํฉํ๊ธฐ ์ํ ์์ ์ด ์งํ ์ค์ ๋๋ค.
์ค, ํ์์ ์ด์ผ! ๊ฐ์ฌํฉ๋๋ค!
PR ๋ณํฉ์ ๋ํ ์์ ์ผ์ ์ ๋ฌด์์ ๋๊น? ๊ฐ์ฌ ํด์.
@Jiang-Li ์ฌ๊ธฐ๋ฅผ ์ฐธ์กฐ ํ์ญ์์ค
์ ํ ๋ชจ๋ธ์ ๊ฒฝ์ฐ #14300์ด ์์ต๋๋ค. ๊ทธ๋ฐ ๋ค์ ๊ณต๊ฐ ๋ฌธ์ #15123์ด ์์ต๋๋ค. ๊ฐ์ธ์ ์ผ๋ก tweedie ์์ค ํจ์๊ฐ ์๋ ํธ๋ฆฌ ๊ธฐ๋ฐ ๋ชจ๋ธ์ ๋ณด๊ณ ์ถ์ต๋๋ค.
์ ํ ๋ชจ๋ธ์ ๊ฒฝ์ฐ #14300์ด ์ด์ ๋ณํฉ๋์ง๋ง ์ถ๊ฐ ๊ธฐ๋ฅ์ ์ฌ์ ํ โโ์ถ๊ฐ๋ ์ ์์ต๋๋ค. https://github.com/scikit-learn/scikit-learn/pull/9405#issuecomment -594553953
๊ฐ์ธ์ ์ผ๋ก tweedie ์์ค ํจ์๊ฐ ์๋ ํธ๋ฆฌ ๊ธฐ๋ฐ ๋ชจ๋ธ์ ๋ณด๊ณ ์ถ์ต๋๋ค.
๊ทธ๊ฒ์ ์ค์ ๋ก ๋ค์ ๋จ๊ณ๊ฐ ๋ ์ ์์ต๋๋ค(์: https://github.com/scikit-learn/scikit-learn/issues/15123#issuecomment-542090766)
Poisson, gamma ๋ฐ tweedie๋ฅผ ํฌํจํ๋ sklearn 0.23์ ํ๋ฅญํ ์์
์ ๋ณด๋ ๊ฒ์ ์ธ์์ ์
๋๋ค. ์์ผ๋ก ๋ ๋ง์ ๊ฐ์ ์ฌํญ์ ๋ณผ ์ ์๊ธฐ๋ฅผ ๋ฐ๋๋๋ค.
์ฌ์ฉ์ ๊ฐ์ด๋๋ฅผ ์ฝ๊ณ ๋ก์ง์คํฑ ํ๊ท๋ ์ผ๋ฐํ ์ ํ ํ๊ท์ ์ธ๋ถ์ ์์ต๋๋ค. ์๋ง๋ ์ผ๋ฐํ ์ ํ ํ๊ท ์น์
์์ ๋ก์ง์คํฑ ํ๊ท๊ฐ GLM์ ํ ์ ํ์ด๊ณ ๋์ผํ ์ดํ๋ ์์ค ํจ์๋ฅผ ์ฌ์ฉํ์ฌ ํด๊ฒฐํ ์ ์๋ค๋ ๊ฒ์ ์ธ๊ธํ๋ ๋จ์ด๊ฐ ์ต์ํ ์์ ๊ฒ์
๋๋ค.
#14300์ด ๋ณํฉ๋์์ผ๋ฏ๋ก ์ด์ ๋ฌธ์ ๋ฅผ ์ข ๋ฃํ ์ ์์ต๋๊น?
์ฌ์ฉ์ ๊ฐ์ด๋๋ฅผ ์ฝ๊ณ ๋ก์ง์คํฑ ํ๊ท๋ ์ผ๋ฐํ ์ ํ ํ๊ท์ ์ธ๋ถ์ ์์ต๋๋ค. ์๋ง๋ ์ผ๋ฐํ ์ ํ ํ๊ท ์น์ ์์ ๋ก์ง์คํฑ ํ๊ท๊ฐ GLM์ ํ ์ ํ์ด๊ณ ๋์ผํ ์ดํ๋ ์์ค ํจ์๋ฅผ ์ฌ์ฉํ์ฌ ํด๊ฒฐํ ์ ์๋ค๋ ๊ฒ์ ์ธ๊ธํ๋ ๋จ์ด๊ฐ ์ต์ํ ์์ ๊ฒ์ ๋๋ค.
ํผ๋๋ฐฑ์ ๋ณด๋ด์ฃผ์
์ ๊ฐ์ฌํฉ๋๋ค @magicmathmandarin ! ๋ค ๊ทธ๋ผ์. ์๋ PR https://github.com/scikit-learn/scikit-learn/pull/9405 ์๋ ์ค์ ๋ก ์ด์ง ๋ก์ง์คํฑ ํ๊ท์ ๋ํ BinomialDistribution์ ์ดํ์ด ํฌํจ๋์ด ์์ต๋๋ค. ์ฒซ ๋ฒ์งธ ๋ณํฉ๋ PR์ ํฌํจํ์ง ์์ ์ด์ ๋ ๊ทธ๊ฒ๋ค์ด ์ค์ ๋ก ๋์ผํ ์ด๋ก ์ ํ๋ ์์ํฌ์ ์ผ๋ถ์ด๋๋ผ๋ ํ์ฌ๋ก์๋ ์ ๋ฌธํ๋ LogisticRegression
๊ตฌํ์ด ์ฌ์ ํ ๊ถ์ฅ๋๊ธฐ ๋๋ฌธ์
๋๋ค(์ฌ์ฉ์๊ฐ ๋ ์ ํ
์คํธํ๊ณ ๋ ๋ง์ ์ต์
์ ์ฒ๋ฆฌํ๋ฉฐ, ์: ๋ค์ค ํด๋์ค), ๊ทธ๋ฆฌ๊ณ ์ฐ๋ฆฌ๋ ์ฌ์ฉ์๋ฅผ ํผ๋์ค๋ฝ๊ฒ ํ๊ณ ์ถ์ง ์์์ต๋๋ค. ์ด์ ๋ณํฉ๋์์ผ๋ฏ๋ก ๊ทธ ๋ถ๋ถ์ ๋ ์ ๊ณต์ํํ ์ ์๋ค๋ ๋ฐ ๋์ํฉ๋๋ค.
#14300์ด ๋ณํฉ๋์์ผ๋ฏ๋ก ์ด์ ๋ฌธ์ ๋ฅผ ์ข ๋ฃํ ์ ์์ต๋๊น?
ํ์ ํ๋. https://github.com/scikit-learn/scikit-learn/issues/16668 , https://github.com/scikit-learn/scikit-learn/pull/16692 ๋ฐ https: //github.com/scikit-learn/scikit-learn/issues/15123.
๊ฐ์ฅ ์ ์ฉํ ๋๊ธ
@thenomemac ๋ ธ์ถ๋ก ์ธํด ์์ค ํจ์๊ฐ ๋ณ๊ฒฝ๋๋ค๋ ๊ฒ์ ์ ๋์ ์ผ๋ก ์ณ์ต๋๋ค. ์ ๊ฐ ์ฐฉ๊ฐํ์ต๋๋ค. ์ฌ์ค, ๋๋ ๊ทธ๊ฒ์ ํด๊ฒฐํ๋ค๊ณ ๋ฏฟ์ต๋๋ค. ๋๋ ์์ฃผ ์ด๊ธฐ์ WIP๋ฅผ ๊ฐ์ง๊ณ ์์ต๋๋ค(๊ทธ๋ฅ ๋๊ณ ์๋ ๊ฒ ์ด์)
_poisson_loss()
https://github.com/bjlkeng/scikit-learn/blob/poisson_regression/sklearn/linear_model/poisson.py ).@josef-pkt ๊ฐ์ฌํฉ๋๋ค. statsmodels ๊ตฌํ์ ์ดํด๋ณด์์ต๋๋ค. ์ค์ ๋ก๋ ๊ฝค ์ข์ต๋๋ค(๋ด๊ฐ ํฌ์ด ์๋ API ์ ์ธ). ์ค์ ๋ก "์นด์ดํธ" ๋ชจ๋ธ์ด ์์ ์ดํญ๊ณผ ๊ฐ์ ๋ค๋ฅธ ์นด์ดํธ ๊ธฐ๋ฐ ํ๊ท๋ฅผ ์ง์ํ๋ ๊ฒฝ์ฐ๊ฐ ์ข ๋ ์ผ๋ฐ์ ์ ๋๋ค. statsmodel ๊ตฌํ์ ์ด๋ฏธ ๋ ธ์ถ๊ณผ ์ ๊ทํ๋ฅผ ๊ณ ๋ คํฉ๋๋ค(์ด๋ ์ ๊ฐ ๋ํ ์ฐพ๊ณ ์๋ ๊ฒ์ ๋๋ค).
statsmodels์ ๊ตฌํ์ด ์๋ค๋ ์ ์ ๊ฐ์ํ ๋
sklearn
์ ์ด์ ๊ฐ์ ๊ฒ์ ๊ฐ๋ ๊ฒ์ด ์ฌ์ ํ ๊ฐ์น๊ฐ ์๋ค๊ณ ์๊ฐํ์ญ๋๊น? ๊ทธ๋ ๋ค๋ฉด ์ฌ์ฉ ๊ฐ๋ฅํ ํํ๋ก ๋ง๋ค๊ธฐ ์ํด ๋ ๋ง์ ๋ ธ๋ ฅ์ ๊ธฐ์ธ์ผ ์ ์์ต๋๋ค. ์ผ์ด ๋๋ฌด ๋ฐ๋น ์ ์๊ฐ์ด ๋ณ๋ก ์์์ด์.