Xgboost: अजगर में उच्च स्मृति खपत xgboost

को निर्मित 2 अप्रैल 2020 · 3टिप्पणियाँ · स्रोत: dmlc/xgboost

मैं अजगर ऑटोएमएल पैकेज पर काम कर रहा हूं और मेरे उपयोगकर्ताओं में से एक ने xgboost का उपयोग करते समय बहुत अधिक मेमोरी उपयोग की सूचना दी है।

मैंने xgboost द्वारा स्मृति खपत दिखाने के लिए एक जांच की है। आप यहां नोटबुक पा सकते हैं। कोड से, आप देख सकते हैं कि मॉडल 7GB से अधिक RAM मेमोरी आवंटित करता है। जब मैं मॉडल को हार्ड डिस्क (5 केबी!) में सहेजता हूं और फिर इसे वापस लोड करता हूं तो मैं बड़ी मात्रा में रैम बचा सकता हूं।

मेरे लिए, ऐसा लगता है कि xgboost अपनी संरचना में डेटा की प्रतिलिपि संग्रहीत कर रहा है? क्या मैं सही हू?

क्या xgboost द्वारा स्मृति उपयोग को कम करने का कोई तरीका है? क्या आपको लगता है कि मॉडल को हार्ड ड्राइव में सहेजना और फिर उसे वापस लोड करना इस समस्या से निपटने का तरीका है?

स्रोत

pplonski

सबसे उपयोगी टिप्पणी

@pplonski , हमने इस पीआर https://github.com/dmlc/xgboost/pull/5334 में CPU पर मेमोरी खपत को कम करने के लिए लागू किया, लेकिन केवल 'hist' विधि के लिए। यह अभी के लिए केवल मास्टर में शामिल है, लेकिन मुझे आशा है कि यह भविष्य में रिलीज़ का एक हिस्सा होगा।

मेमोरी, केबी | एयरलाइन | हिग्स1एम |
-- | -- | -- |
इससे पहले | 28311860 | 1907812 |
https://github.com/dmlc/xgboost/pull/5334 | 16218404 | 1155156 |
कम: | 1.75 | 1.65 |

@ट्रिवियलफिस से सहमत हूं, इस क्षेत्र में करने के लिए बहुत सी चीजें हैं।

SmirnovEgorRu 2 अप्रैल 2020

👍2

सभी 3 टिप्पणियाँ

@pplonski हम हिस्टोग्राम एल्गोरिदम के लिए प्रतिलिपि को खत्म करने का प्रयास कर रहे हैं। यह कार्य प्रगति पर है। GPU के लिए यह ज्यादातर किया जाता है: https://github.com/dmlc/xgboost/pull/5420 https://github.com/dmlc/xgboost/pull/5465

सीपीयू को अभी और काम करना है।

trivialfis 2 अप्रैल 2020

👍1

@ट्रिवियलफिस से सहमत हूं, इस क्षेत्र में करने के लिए बहुत सी चीजें हैं।

SmirnovEgorRu 2 अप्रैल 2020

👍2

नमस्ते, मुझे हाल ही में xgboost के साथ इसी तरह की उच्च स्मृति समस्या का सामना करना पड़ा है। मैं प्रशिक्षण के लिए 'gpu_hist' का उपयोग कर रहा हूँ।

जब train() विधि निष्पादित होती है, तो मुझे बड़े सिस्टम मेमोरी स्पाइक्स दिखाई देते हैं, जिससे मेरा ज्यूपिटर कर्नेल क्रैश हो जाता है।

क्या यह कहना सही है कि Xgboost मेरे डेटा की प्रतिलिपि सिस्टम RAM में बना रहा है (तब भी जब मैं 'gpu_hist' का उपयोग कर रहा हूं)?
मैं इस धारणा के तहत था कि xgboost संपूर्ण प्रशिक्षण डेटा को GPU पर लोड करता है। क्या यह भी गलत है?

dhruvrnaik 29 अप्रैल 2020

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Xgboost: अजगर में उच्च स्मृति खपत xgboost

सबसे उपयोगी टिप्पणी

सभी 3 टिप्पणियाँ

संबंधित मुद्दों