Saya pikir kita dapat menghapus parameter peredam dari SGD di sini https://github.com/pytorch/pytorch/blob/master/torch/optim/sgd.py#L10 , ini membingungkan dan mengubah momentum jika digunakan
szagoruyko
Semua 3 komentar
mungkin setel nilai default ke 0 alih-alih momentum ?
fmassa
pada 9 Sep 2016
Dibuat default ke 0.
diperbaiki melalui https://github.com/pytorch/pytorch/commit/4eb12a26bc5e3671c03f154f61076fd72fcfd233
soumith
pada 10 Sep 2016
Perubahan peredam default baru saja memukul saya :) Menghabiskan beberapa hari mencari tahu mengapa net porting berhenti mencapai tingkat akurasi yang tepat. Terima kasih @szagoruyko atas tipnya.
Sebelumnya, dengan momentum = 0.9 (dan 1 - dampening = 0.1 ), gradien lama 9x lebih penting daripada yang sekarang. Sekarang hanya 10% kurang penting ( 1 - dampening = 1 ).
Mungkin ini layak disebutkan di
http://pytorch.org/docs/optim.html atau di http://pytorch.org/tutorials/beginner/former_torchies_tutorial.html , karena kecepatan pembelajaran sekarang perlu disesuaikan saat mem-porting kode obor lua, meskipun ekspektasi naif.
vadimkantorov
pada 2 Apr 2017
Masalah terkait
negrinho
·
3Komentar
miguelvr
·
3Komentar
a1363901216
·
3Komentar
eliabruni
·
3Komentar
keskarnitish
·
3Komentar
Komentar yang paling membantu
Perubahan peredam default baru saja memukul saya :) Menghabiskan beberapa hari mencari tahu mengapa net porting berhenti mencapai tingkat akurasi yang tepat. Terima kasih @szagoruyko atas tipnya.
Sebelumnya, dengan momentum = 0.9 (dan
1 - dampening = 0.1), gradien lama 9x lebih penting daripada yang sekarang. Sekarang hanya 10% kurang penting (1 - dampening = 1).Mungkin ini layak disebutkan di
http://pytorch.org/docs/optim.html atau di http://pytorch.org/tutorials/beginner/former_torchies_tutorial.html , karena kecepatan pembelajaran sekarang perlu disesuaikan saat mem-porting kode obor lua, meskipun ekspektasi naif.