Pytorch: SGD से भीगना हटाएँ

को निर्मित 31 अग॰ 2016 · 3टिप्पणियाँ · स्रोत: pytorch/pytorch

मुझे लगता है कि हम यहां एसजीडी से भीगने वाले पैरामीटर को हटा सकते हैं https://github.com/pytorch/pytorch/blob/master/torch/optim/sgd.py#L10 , यह भ्रमित करने वाला है और यदि उपयोग किया जाता है तो गति को बदल देता है

स्रोत

szagoruyko

सबसे उपयोगी टिप्पणी

डिफ़ॉल्ट रूप से भीगने के इस परिवर्तन ने मुझे अभी मारा है :) यह पता लगाने में कुछ दिन बिताए कि पोर्ट किए गए नेट ने सही सटीकता के स्तर तक पहुंचना क्यों बंद कर दिया। टिप के लिए धन्यवाद @szagoruyko ।

पहले, गति = 0.9 (और 1 - dampening = 0.1 ) के साथ, पुराना ग्रेडिएंट वर्तमान की तुलना में 9x अधिक महत्वपूर्ण था। अब यह केवल 10% कम महत्वपूर्ण है ( 1 - dampening = 1 )।

संभवतः यह ध्यान देने योग्य है
http://pytorch.org/docs/optim.html या http://pytorch.org/tutorials/beginner/former_torchies_tutorial.html में, चूंकि भोले अपेक्षाओं के बावजूद, लुआ टॉर्च कोड को पोर्ट करते समय अब सीखने की दरों को समायोजित करने की आवश्यकता है।