Pytorch: SGD์์ ๊ฐ์ ์ ๊ฑฐ
https://github.com/pytorch/pytorch/blob/master/torch/optim/sgd.py#L10 SGD์์ ๊ฐ์ ๋งค๊ฐ๋ณ์๋ฅผ ์ ๊ฑฐํ ์ ์๋ค๊ณ ์๊ฐํฉ๋๋ค. ์ฌ์ฉํ๋ฉด ํผ๋์ค๋ฝ๊ณ ์ถ์ง๋ ฅ์ด ๋ฐ๋๋๋ค.
szagoruyko
๋ชจ๋ 3 ๋๊ธ
momentum ๋์ ๊ธฐ๋ณธ๊ฐ์ 0์ผ๋ก ์ค์ ํ์๊ฒ ์ต๋๊น?
fmassa
์ 2016๋
09์ 09์ผ
๊ธฐ๋ณธ๊ฐ์ 0์ผ๋ก ์ค์ ํ์ต๋๋ค.
https://github.com/pytorch/pytorch/commit/4eb12a26bc5e3671c03f154f61076fd72fcfd233 ์ ํตํด ์์ ๋์์ต๋๋ค.
soumith
์ 2016๋
09์ 10์ผ
๊ธฐ๋ณธ ๋ํ์ ์ด ๋ณ๊ฒฝ ์ฌํญ์ด ์ ๋ฅผ ๊ฐํํ์ต๋๋ค :) ์ด์๋ ๋คํธ๊ฐ ์ฌ๋ฐ๋ฅธ ์ ํ๋ ์์ค์ ๋๋ฌํ์ง ์๋ ์ด์ ๋ฅผ ํ์ ํ๋ ๋ฐ ๋ฉฐ์น ์ ๋ณด๋์ต๋๋ค. ํ์ ์ฃผ์ @szagoruyko ์๊ฒ ๊ฐ์ฌ๋๋ฆฝ๋๋ค.
์ด์ ์๋ ์ด๋๋ = โโ0.9(๋ฐ 1 - dampening = 0.1 )์์ ์ด์ ๊ทธ๋ผ๋์ธํธ๊ฐ ํ์ฌ ๊ทธ๋ผ๋์ธํธ๋ณด๋ค 9๋ฐฐ ๋ ์ค์ํ์ต๋๋ค. ์ด์ 10% ๋ ์ค์ํฉ๋๋ค( 1 - dampening = 1 ).
์๋ง๋ ์ด๊ฒ์ ์ธ๊ธ ํ ๊ฐ์น๊ฐ ์์ต๋๋ค.
http://pytorch.org/docs/optim.html ๋๋ http://pytorch.org/tutorials/beginner/former_torchies_tutorial.html , ์์งํ ๊ธฐ๋์๋ ๋ถ๊ตฌํ๊ณ ๋ฃจ์ ํ ์น ์ฝ๋๋ฅผ ์ด์ํ ๋ ํ์ต๋ฅ ์ ์กฐ์ ํด์ผ ํ๊ธฐ ๋๋ฌธ์ ์ด์ ํ์ต๋ฅ ์ ์กฐ์ ํด์ผ ํฉ๋๋ค.
vadimkantorov
์ 2017๋
04์ 02์ผ
๊ด๋ จ ๋ฌธ์
keskarnitish
ยท
3์ฝ๋ฉํธ
Coderx7
ยท
3์ฝ๋ฉํธ
a1363901216
ยท
3์ฝ๋ฉํธ
cdluminate
ยท
3์ฝ๋ฉํธ
bartolsthoorn
ยท
3์ฝ๋ฉํธ
๊ฐ์ฅ ์ ์ฉํ ๋๊ธ
๊ธฐ๋ณธ ๋ํ์ ์ด ๋ณ๊ฒฝ ์ฌํญ์ด ์ ๋ฅผ ๊ฐํํ์ต๋๋ค :) ์ด์๋ ๋คํธ๊ฐ ์ฌ๋ฐ๋ฅธ ์ ํ๋ ์์ค์ ๋๋ฌํ์ง ์๋ ์ด์ ๋ฅผ ํ์ ํ๋ ๋ฐ ๋ฉฐ์น ์ ๋ณด๋์ต๋๋ค. ํ์ ์ฃผ์ @szagoruyko ์๊ฒ ๊ฐ์ฌ๋๋ฆฝ๋๋ค.
์ด์ ์๋ ์ด๋๋ = โโ0.9(๋ฐ
1 - dampening = 0.1)์์ ์ด์ ๊ทธ๋ผ๋์ธํธ๊ฐ ํ์ฌ ๊ทธ๋ผ๋์ธํธ๋ณด๋ค 9๋ฐฐ ๋ ์ค์ํ์ต๋๋ค. ์ด์ 10% ๋ ์ค์ํฉ๋๋ค(1 - dampening = 1).์๋ง๋ ์ด๊ฒ์ ์ธ๊ธ ํ ๊ฐ์น๊ฐ ์์ต๋๋ค.
http://pytorch.org/docs/optim.html ๋๋ http://pytorch.org/tutorials/beginner/former_torchies_tutorial.html , ์์งํ ๊ธฐ๋์๋ ๋ถ๊ตฌํ๊ณ ๋ฃจ์ ํ ์น ์ฝ๋๋ฅผ ์ด์ํ ๋ ํ์ต๋ฅ ์ ์กฐ์ ํด์ผ ํ๊ธฐ ๋๋ฌธ์ ์ด์ ํ์ต๋ฅ ์ ์กฐ์ ํด์ผ ํฉ๋๋ค.