Pytorch: फ़ीचर अनुरोध: load_state_dict फ़ाइल नाम लेना चाहिए

को निर्मित 31 मई 2017 · 3टिप्पणियाँ · स्रोत: pytorch/pytorch

उच्च स्मृति दबाव स्थितियों में, निम्नलिखित एक सामान्य घटना है:

मॉडल बनाएं
चेकपॉइंट फ़ाइल से State_dict पढ़ें (GPU पर लोड)
model.load_state_dict(s)

स्मृति दबाव के कारण, सबसे पहले एक सामान्य समाधान यह है:

s = torch.load('my_file.pt', map_location=lambda storage, loc: storage)

और फिर s को model में लोड करें।

यह एक बहुत ही सामान्य परिदृश्य है जिससे हमें बचने में सक्षम होना चाहिए, और इस परिदृश्य में कुछ नुकसान हो सकते हैं: पार्ट-जीपीयू पार्ट-सीपीयू मॉडल पर क्या होता है, मल्टी-जीपीयू मॉडल पर क्या होता है ...

अगर load_state_dict ने सीधे फ़ाइल नाम लिया है, तो यह इसके मौजूदा पैरामीटर स्टोरेज को हटा सकता है और उन्हें फ्लाई पर नए पर सेट कर सकता है, जिससे कोई अतिरिक्त मेमोरी की आवश्यकता नहीं होती है।

feature nn triaged

स्रोत

soumith

सबसे उपयोगी टिप्पणी

यदि load_state_dict एक फ़ाइल नाम लेता है तो हमें map_location परम के लिए भी अनुमति देनी चाहिए। मेरे लिए एक सामान्य स्थिति क्लस्टर मशीन पर एक चेकपॉइंट को सहेजना और फिर इसे मेरी मैकबुक पर लोड करना है (इसलिए सीपीयू पर पैरा लोड करने की आवश्यकता है)

alykhantejani 1 जून 2017

👍3

सभी 3 टिप्पणियाँ

वही अनुकूलक State_dicts पर लागू होता है। Adagrad जैसे कुछ अनुकूलकों के लिए, चौकियाँ बड़ी हैं, और हमारे पास समान स्मृति दबाव की स्थिति हो सकती है। ऑप्टिमाइज़र के पास .cuda() भी नहीं है, इसलिए हमें मैन्युअल रूप से पहले State_dict को CPU पर लोड करना होगा, और फिर मैन्युअल रूप से GPU पर भागों को कॉपी करना होगा।

मैं आज @aszlam की मदद करते हुए इसमें भाग गया।

soumith 31 मई 2017

alykhantejani 1 जून 2017

👍3

मैं और @szagoruyko धारावाहिक मॉडल के लिए HDF5 प्रारूप के प्रशंसक हैं, हो सकता है कि यह इस प्रस्ताव के साथ अच्छी तरह से मिल सके

vadimkantorov 6 जून 2017

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Pytorch: फ़ीचर अनुरोध: load_state_dict फ़ाइल नाम लेना चाहिए

सबसे उपयोगी टिप्पणी

सभी 3 टिप्पणियाँ

संबंधित मुद्दों