أعتقد أنه يمكننا إزالة معلمة الترطيب من SGD هنا https://github.com/pytorch/pytorch/blob/master/torch/optim/sgd.py#L10 ، فهي مربكة وتغير الزخم إذا تم استخدامها
szagoruyko
ال 3 كومينتر
ربما تعيين القيمة الافتراضية إلى 0 بدلاً من momentum ؟
fmassa
في ٩ سبتمبر ٢٠١٦
جعله الافتراضي إلى 0.
تم إصلاحه عبر https://github.com/pytorch/pytorch/commit/4eb12a26bc5e3671c03f154f61076fd72fcfd233
soumith
في ١٠ سبتمبر ٢٠١٦
لقد أصابني هذا التغيير في التخميد الافتراضي :) قضيت بضعة أيام في معرفة سبب توقف الشبكة المنقولة عن الوصول إلى مستويات الدقة الصحيحة. شكرا szagoruyko للمعلومات .
في السابق ، مع الزخم = 0.9 (و 1 - dampening = 0.1 ) ، كان التدرج القديم أكثر أهمية بمقدار 9 مرات من التدرج الحالي. الآن أصبحت أقل أهمية بنسبة 10٪ فقط ( 1 - dampening = 1 ).
ربما هذا جدير بالذكر في
http://pytorch.org/docs/optim.html أو في http://pytorch.org/tutorials/beginner/former_torchies_tutorial.html ، نظرًا لأن معدلات التعلم تحتاج الآن إلى التعديل عند نقل كود lua Torch ، على الرغم من التوقعات الساذجة.
vadimkantorov
في ٢ أبريل ٢٠١٧
القضايا ذات الصلة
kdexd
·
3تعليقات
keskarnitish
·
3تعليقات
dablyo
·
3تعليقات
miguelvr
·
3تعليقات
a1363901216
·
3تعليقات
التعليق الأكثر فائدة
لقد أصابني هذا التغيير في التخميد الافتراضي :) قضيت بضعة أيام في معرفة سبب توقف الشبكة المنقولة عن الوصول إلى مستويات الدقة الصحيحة. شكرا szagoruyko للمعلومات .
في السابق ، مع الزخم = 0.9 (و
1 - dampening = 0.1) ، كان التدرج القديم أكثر أهمية بمقدار 9 مرات من التدرج الحالي. الآن أصبحت أقل أهمية بنسبة 10٪ فقط (1 - dampening = 1).ربما هذا جدير بالذكر في
http://pytorch.org/docs/optim.html أو في http://pytorch.org/tutorials/beginner/former_torchies_tutorial.html ، نظرًا لأن معدلات التعلم تحتاج الآن إلى التعديل عند نقل كود lua Torch ، على الرغم من التوقعات الساذجة.