Detectron: 4GB कार्ड की मेमोरी खत्म हो रही है

को निर्मित 24 जन॰ 2018 · 24टिप्पणियाँ · स्रोत: facebookresearch/Detectron

मैं एक Nvidia GTX 1050Ti पर Faster-RCNN चलाने की कोशिश कर रहा हूँ, लेकिन मेरी स्मृति समाप्त हो रही है। Nvidia-smi का कहना है कि लगभग 170MB पहले से ही उपयोग में है, लेकिन क्या Faster-RCNN वास्तव में किसी छवि को संसाधित करने के लिए 3.8GB VRAM का उपयोग करता है?

मैंने मास्क-आरसीएनएन की भी कोशिश की (ट्यूटोरियल शुरू करने में मॉडल) और क्रैश होने से पहले लगभग 4 छवियां (5 अगर मैंने अपना ब्राउज़र बंद कर दिया) प्राप्त की।

क्या यह एक बग है या क्या इसे वास्तव में केवल 4GB से अधिक मेमोरी की आवश्यकता है?

INFO infer_simple.py: 111: Processing demo/18124840932_e42b3e377c_k.jpg -> /home/px046/prog/Detectron/output/18124840932_e42b3e377c_k.jpg.pdf
terminate called after throwing an instance of 'caffe2::EnforceNotMet'
  what():  [enforce fail at blob.h:94] IsType<T>(). wrong type for the Blob instance. Blob contains nullptr (uninitialized) while caller expects caffe2::Tensor<caffe2::CUDAContext> .
Offending Blob name: gpu_0/conv_rpn_w.
Error from operator: 
input: "gpu_0/res4_5_sum" input: "gpu_0/conv_rpn_w" input: "gpu_0/conv_rpn_b" output: "gpu_0/conv_rpn" name: "" type: "Conv" arg { name: "kernel" i: 3 } arg { name: "exhaustive_search" i: 0 } arg { name: "pad" i: 1 } arg { name: "order" s: "NCHW" } arg { name: "stride" i: 1 } device_option { device_type: 1 cuda_gpu_id: 0 } engine: "CUDNN"
*** Aborted at 1516787658 (unix time) try "date -d @1516787658" if you are using GNU date ***
PC: @     0x7f08de455428 gsignal
*** SIGABRT (@0x3e800000932) received by PID 2354 (TID 0x7f087cda9700) from PID 2354; stack trace: ***
    @     0x7f08de4554b0 (unknown)
    @     0x7f08de455428 gsignal
    @     0x7f08de45702a abort
    @     0x7f08d187db39 __gnu_cxx::__verbose_terminate_handler()
    @     0x7f08d187c1fb __cxxabiv1::__terminate()
    @     0x7f08d187c234 std::terminate()
    @     0x7f08d1897c8a execute_native_thread_routine_compat
    @     0x7f08def016ba start_thread
    @     0x7f08de52741d clone
    @                0x0 (unknown)
Aborted (core dumped)

enhancement

स्रोत

Omegastick

सबसे उपयोगी टिप्पणी

एक अतिरिक्त नोट: वर्तमान कार्यान्वयन प्रशिक्षण के दौरान स्मृति अनुकूलन का उपयोग करता है, लेकिन अनुमान के दौरान नहीं। अनुमान के मामले में, स्मृति उपयोग को काफी हद तक कम करना संभव है क्योंकि एक बार खपत होने के बाद मध्यवर्ती सक्रियण की आवश्यकता नहीं होती है। हम भविष्य में अनुमान-केवल स्मृति अनुकूलन जोड़ने पर विचार करेंगे।

rbgirshick 24 जन॰ 2018

👍22 🎉7

सभी 24 टिप्पणियाँ

हाय @ ओमेगास्टिक , तेज़ आर-सीएनएन एल्गोरिथम की मेमोरी आवश्यकताएं कई कारकों के आधार पर भिन्न होती हैं, जिसमें बैकबोन नेटवर्क आर्किटेक्चर और उपयोग किए गए परीक्षण छवि स्केल शामिल हैं।

उदाहरण के लिए, आप Faster R-CNN को डिफ़ॉल्ट ResNet-50 कॉन्फ़िगरेशन का उपयोग करके चला सकते हैं:

python2 tools/infer_simple.py \
  --cfg configs/12_2017_baselines/e2e_faster_rcnn_R-50-FPN_2x.yaml \
  --output-dir /tmp/detectron-visualizations \ 
  --image-ext jpg \
  --wts https://s3-us-west-2.amazonaws.com/detectron/35857389/12_2017_baselines/e2e_faster_rcnn_R-50-FPN_2x.yaml.01_37_22.KSeq0b5q/output/train/coco_2014_train%3Acoco_2014_valminusminival/generalized_rcnn/model_final.pkl \
  demo

जिसे डेमो इमेज पर चलाने के लिए 3GB से अधिक की आवश्यकता नहीं होनी चाहिए।

ir413 24 जन॰ 2018

👍3

rbgirshick 24 जन॰ 2018

👍22 🎉7

@Omegastick मेरी मशीन पर परीक्षण किया गया, दोनों Faster RCNN-resnet 101 और Mask RCNN-resnet 101 लगभग 4GB GPU मेमोरी का उपयोग करते हैं।

mattdingmeng 24 जन॰ 2018

👍1

@ ir413 धन्यवाद, आपके द्वारा लिंक किया गया मॉडल मेरी मशीन पर बहुत अच्छा काम करता है (2.5GB VRAM उपयोग पर चल रहा है)।

Omegastick 25 जन॰ 2018

यह अच्छा होगा अगर अनुमान को GPU की बिल्कुल भी आवश्यकता न हो।

samhodge 27 जन॰ 2018

👍5

मैं 2जी मेमोरी जीपीयू के साथ मास्क-आरसीएनएन कैसे चला सकता हूं? क्या कोई मेरी मदद कर सकता है ?

x-codingman 28 जन॰ 2018

👍15

क्या यह समस्या Caffe 2 या Detectron के लागू होने के कारण है? इस समस्या को हल करने के लिए मुझे Detectron में कौन-सी फ़ाइलें देखनी चाहिए?

pacowong 17 मार्च 2018

@आरबीगिर्शिक

अनुमान के मामले में, स्मृति उपयोग को काफी हद तक कम करना संभव है क्योंकि एक बार खपत होने के बाद मध्यवर्ती सक्रियण की आवश्यकता नहीं होती है। हम भविष्य में अनुमान-केवल स्मृति अनुकूलन जोड़ने पर विचार करेंगे।

क्या PyTorch/Caffe2 में पहले से ही कुछ लागू है? यदि हाँ तो हमें कहाँ खुदाई करने की आवश्यकता है ?

gadcam 29 मई 2018

@gadcam यह लंबे समय से मेरी टूडू सूची में है, लेकिन दुर्भाग्य से इसकी प्राथमिकता बढ़ने के बजाय घटती जा रही है: /। मुझे लगता है कि caffe2.python.memonger.release_blobs_when_used (https://github.com/pytorch/pytorch/blob/master/caffe2/python/memonger.py#L229) को हमारी जरूरत की अधिकांश चीजों को लागू करना चाहिए। हालाँकि कुछ गैर-तुच्छ मुद्दे हैं जिन्हें संबोधित करने की आवश्यकता है:

कुछ नेटवर्क (जैसे मास्क आर-सीएनएन) के लिए अनुमान के समय कई जालों का उपयोग किया जाता है और इसलिए सभी सक्रियणों को केवल एक ग्राफ़ पर तर्क करके मुक्त नहीं किया जा सकता है (क्योंकि उन्हें किसी अन्य ग्राफ़ की आवश्यकता हो सकती है, उदाहरण के लिए, मास्क हेड नेट)।
इस फ़ंक्शन के लिए कैशिंग मेमोरी मैनेजर के उपयोग की आवश्यकता होती है, जिसका हमने परीक्षण नहीं किया है, इसलिए इसे चालू करने में समस्या हो सकती है।

rbgirshick 29 मई 2018

@rbgirshick आपके विस्तृत विवरण के लिए धन्यवाद!

इसलिए जैसा कि मैं इसे समझता हूं, हमारे लिए release_blobs_when_used एक नियमित प्रोटो से एक "मेमोरी ऑप्टिमाइज़्ड" कन्वर्टर के रूप में कार्य करता है।

कुछ नेटवर्क (जैसे मास्क आर-सीएनएन) के लिए अनुमान के समय कई जालों का उपयोग किया जाता है और इसलिए सभी सक्रियणों को केवल एक ग्राफ़ पर तर्क करके मुक्त नहीं किया जा सकता है (क्योंकि उन्हें किसी अन्य ग्राफ़ की आवश्यकता हो सकती है, उदाहरण के लिए, मास्क हेड नेट)।

दूसरे शब्दों में कहा गया है कि हमें दूसरे चरण द्वारा उपयोग किए जाने वाले ब्लॉब्स के साथ dont_free_blobs भरना होगा?

इस फ़ंक्शन के लिए कैशिंग मेमोरी मैनेजर के उपयोग की आवश्यकता होती है, जिसका हमने परीक्षण नहीं किया है, इसलिए इसे चालू करने में समस्या हो सकती है।

इसलिए यदि हम इसका परीक्षण करना चाहते हैं तो हमें FLAGS_caffe2_cuda_memory_pool से cub (या thc ) पर सेट करना होगा, लेकिन क्या हम इसे पायथन में कर सकते हैं?
इसका एक बहुत ही दुर्लभ संदर्भ मुझे यहां मिल सकता है https://github.com/pytorch/pytorch/blob/6223bfdb1d3273a57b58b2a04c25c6114eaf3911/caffe2/core/context_gpu.cu#L190

gadcam 29 मई 2018

@gadcam

इसलिए जैसा कि मैं इसे समझता हूं, हमारे लिए रिलीज_ब्लॉब्स_व्हेन_यूज्ड एक नियमित प्रोटो से "मेमोरी ऑप्टिमाइज़्ड" एक कनवर्टर के रूप में कार्य करता है।

हाँ, यह सही है। यह गणना ग्राफ का विश्लेषण करता है, यह निर्धारित करता है कि प्रत्येक बूँद का उपयोग कब नहीं किया जाएगा, और फिर एक मेमोरी फ्रीिंग ऑप सम्मिलित करता है।

दूसरे शब्दों में कहा गया है कि हमें दूसरे चरण द्वारा उपयोग किए जाने वाले ब्लॉब्स के साथ don_free_blobs भरना है?

हां, इस चेतावनी के साथ कि मुझे यकीन नहीं है कि इस फ़ंक्शन का कितना अच्छा उपयोग और/या परीक्षण किया गया है ... greping कोड से ऐसा लगता है कि इसका वास्तव में उपयोग नहीं किया जाता है। इस प्रकार मैं ध्यान रखूंगा कि यह अपेक्षा के अनुरूप काम नहीं कर सकता है।

इसलिए यदि हम इसका परीक्षण करना चाहते हैं तो हमें FLAGS_caffe2_cuda_memory_pool को cub (या thc) पर सेट करना होगा, लेकिन क्या हम इसे Python में कर सकते हैं?

हां। मुझे लगता है कि नया जोड़ा गया thc मेमोरी मैनेजर अधिक कुशल है। हाल ही में (हालांकि अलग) उपयोग के मामले के लिए हमें cub बजाय इसका उपयोग करने की आवश्यकता थी।

rbgirshick 29 मई 2018

@rbgirshick आप सही कह रहे हैं, यह एक जोखिम भरा रास्ता लगता है!

हां। मुझे लगता है कि नया जोड़ा गया thc मेमोरी मैनेजर अधिक कुशल है। हमें हाल ही में (हालांकि अलग) उपयोग के मामले में शावक के बजाय इसका उपयोग करने की आवश्यकता थी।

मेरा मतलब यह था कि क्या आप जानते हैं कि इसे करने के लिए मुझे दस्तावेज कहां मिल सकते हैं या क्या आपके पास कोई उदाहरण है? (मुझे इस पर जोर देने के लिए वास्तव में खेद है, शायद मुझे कुछ याद आया लेकिन मुझे इस पर कोई दस्तावेज नहीं मिला)

gadcam 29 मई 2018

@gadcam दस्तावेज़ीकरण के संबंध में, ऐसा नहीं है कि मुझे पता है। माफ़ करना!

rbgirshick 29 मई 2018

@asaadaldien मुझे आपको परेशान करने के लिए वास्तव में खेद है, लेकिन आप उन कुछ लोगों में से एक हैं जिन्होंने सलाह दी

सुनिश्चित करें कि caffe2_cuda_memory_pool सेट है

जब हम memonger या data_parallel_model का उपयोग करते हैं (संदर्भ के लिए यह यहां था)।
क्या आपके पास कोई संकेत है कि कैसे सुनिश्चित किया जाए कि हमारे पास कैशिंग मेमोरी मैनेजर सक्षम है? (पायथन में Caffe2 का उपयोग करना)

gadcam 30 मई 2018

@gadcam आप cub को caffe2_cuda_memory_pool फ्लैग में पास करके cub कैश्ड एलोकेटर को सक्षम कर सकते हैं। उदाहरण:

workspace.GlobalInit([
'--caffe2_cuda_memory_pool=cub',
])

हालाँकि यह केवल तभी आवश्यक है जब डायनामिक मेमोरी मेमोंजर का उपयोग किया जाए।

asaadaldien 30 मई 2018

@asaadaldien
मुझे यह पता लगाने में बहुत समय लगा होगा कि कैसे करना है क्योंकि GlobalInit बारे में कोई दस्तावेज नहीं है।
मदद के लिए आपका बहुत बहुत धन्यवाद! तो अब मैं कुछ प्रयोग शुरू करने में सक्षम हूँ!

gadcam 30 मई 2018

मेरे पास इस समस्या का एक आसान सा समाधान है।
आप 'P2~P5' और 'rois' को आउटपुट ब्लॉब्स के रूप में सेट कर सकते हैं, न केवल मध्य ब्लॉब, फिर मेमोरी ऑप्टिमाइज़ेशन का उपयोग करते समय इसे अनुकूलित नहीं किया जाएगा।

xmyqsh 31 मई 2018

मेरे लिए काम नहीं लग रहा है।
मैंने जिस मॉडल का परीक्षण किया वह e2e_keypoint_rcnn_R-50-FPN_s1x.yaml ।
मैंने इसे model.net भाग के विरुद्ध परीक्षण करने का प्रयास किया।

मैंने परीक्षणों के लिए infer_simple.py उपयोग किया।

workspace.GlobalInit(['caffe2', '--caffe2_log_level=0', '--caffe2_cuda_memory_pool=thc'])

तथा

dont_free_blobs = set(model.net.Proto().external_output)
expect_frees = set(i for op in model.net.Proto().op for i in op.input)
expect_frees -= dont_free_blobs

opti_net = release_blobs_when_used(model.net.Proto(), dont_free_blobs, selector_fun=None)
model.net.Proto().op.extend(copy.deepcopy(opti_net.op))

test_release_blobs_when_used(model.net.Proto(), expect_frees)

जहां test_release_blobs_when_used https://github.com/pytorch/pytorch/blob/bf58bb5e59fa64fb49d77467f3466c6bc0cc76c5/caffe2/python/memonger_test.py#L731 से प्रेरित है

def test_release_blobs_when_used(with_frees, expect_frees):
    found_frees = set()
    for op in with_frees.op:
        if op.type == "Free":
            print("OP FREEE", op)
            assert(not op.input[0] in found_frees)  # no double frees
            found_frees.add(op.input[0])
        else:
            # Check a freed blob is not used anymore
            for inp in op.input:
                assert(not inp in found_frees)
            for outp in op.output:
                assert(not outp in found_frees)

    try:
        assert(expect_frees == found_frees)
    except:
        print("Found - Expect frees Nb=", len(found_frees - expect_frees), found_frees - expect_frees, "\n\n\n")
        print("Expect - Found frees Nb=", len(expect_frees - found_frees), expect_frees - found_frees, "\n\n\n")
       #assert(False)

कृपया ध्यान दें कि dont_free_blobs सही मान पर सेट नहीं है!

यह फ़ंक्शन मुझे बताता है कि कोई अप्रत्याशित बूँद मुक्त नहीं होगी और कुछ गायब हैं।
(जो सामान्य है क्योंकि dont_free_blobs सही नहीं है)
इसलिए मैं मॉडल चलाना जारी रखता हूं।

और... कुछ नहीं होता। मैंने save_graph फ़ंक्शन का उपयोग करके जाँच की: मुफ़्त ऑप्स वास्तव में यहाँ सही जगह पर हैं।

इस लाइन के मेरे नमूना इनपुट के लिए मेमोरी उपयोग 1910 Mo +/- 5 Mo . है
https://github.com/facebookresearch/Detectron/blob/6c5835862888e784e861824e0ad6ac93dd01d8f5/detectron/core/test.py#L158

लेकिन अगर मैं मेमोरी मैनेजर को CUB . पर सेट करता हूं तो वास्तव में कुछ आश्चर्यजनक होता है

workspace.GlobalInit(['caffe2', '--caffe2_log_level=0', '--caffe2_cuda_memory_pool=cub'])

RunNet लाइन का RAM उपयोग 3 Go जैसी किसी चीज़ से बढ़ जाता है !! (नि:शुल्क ब्लॉब्स के साथ नियमित कोड या कस्टम कोड का उपयोग करके)

मुझे समझ नहीं आ रहा है कि क्या हो रहा है...

gadcam 5 जून 2018

जैसा कि #507 में वर्णित है, जेटसन TX1 पर अनुमान शुरू करते समय मुझे स्मृति त्रुटि का भी सामना करना पड़ रहा है।
इस धागे में वर्णित समाधान, जैसे:
python2 tools/infer_simple.py \ --cfg configs/12_2017_baselines/e2e_faster_rcnn_R-50-FPN_2x.yaml \ --output-dir /tmp/detectron-visualizations \ --image-ext jpg \ --wts https://s3-us-west-2.amazonaws.com/detectron/35857389/12_2017_baselines/e2e_faster_rcnn_R-50-FPN_2x.yaml.01_37_22.KSeq0b5q/output/train/coco_2014_train%3Acoco_2014_valminusminival/generalized_rcnn/model_final.pkl \ demo
यह भी काम नहीं करता है, मैं अभी भी स्मृति से बाहर हूं, हालांकि मेरे पास कुल 4 जीबी रैम उपलब्ध है (हालांकि सीपीयू और जीपीयू मेमोरी साझा की जाती है)।
क्या अभी भी कोई छोटा मॉडल है जिसे मैं आजमा सकता हूं?
चूंकि @Omegastick के रूप में वर्णित है, इसमें केवल 2.5 जीबी मेमोरी होनी चाहिए, लेकिन यह अभी भी जेटसन पर फिट नहीं लगती है। कोई अन्य सुझाव जो मैं कोशिश कर सकता था?

johannathiemich 21 जून 2018

👍2

@johannathiemich मुझे वही समस्या मिली। कोई त्रुटि नहीं है लेकिन प्रक्रिया समाप्त हो गई है। क्या आपने समस्या का समाधान किया है? मैं जेटसन TX1 का भी उपयोग करता हूं।

ll884856 8 अग॰ 2018

@ ll884856 हां, वास्तव में मैंने किया। मैंने एक निचोड़ के साथ बेस नेट का आदान-प्रदान किया और नेट को फिर से प्रशिक्षित किया। लेकिन ध्यान रखें कि मूल ResNet बैकबोन की तुलना में प्रदर्शन बहुत खराब है।
बेसनेट को बदलने से पहले आप जो भी कोशिश कर सकते हैं वह एफपीएन को बंद करना है जो मदद भी कर सकता है। लेकिन यह प्रदर्शन को भी कम करेगा, हालांकि मुझे उम्मीद है कि कमी उतनी खराब नहीं होगी।
यदि आप चाहें तो मैं अपना कार्यान्वयन और निचोड़ का भार आपको दे सकता हूं। मैं वर्तमान में इस विषय के बारे में अपने स्नातक की थीसिस पर काम कर रहा हूं।

johannathiemich 8 अग॰ 2018

@johannathiemich आपके उत्तर के लिए धन्यवाद! वास्तव में, मैं अभी इस क्षेत्र में आया हूं और मैं मास्क आर-सीएनएन की संरचना के बारे में बहुत स्पष्ट नहीं हूं। यदि आप मुझे अपना कार्यान्वयन और वजन दे सकते हैं, तो इससे मुझे मास्क आर-सीएनएन को समझने और लागू करने में बहुत मदद मिलेगी। मेरा ई-मेल [email protected] है
शुक्रिया !

ll884856 9 अग॰ 2018

हाँ आप सीपीयू पर मास्क-आरसीएनएन कर सकते हैं सिर्फ डिटेक्टर के साथ नहीं:

देख:
https://vimeo.com/277180815

samhodge 9 अग॰ 2018

मुझे भी इसी तरह की एक समस्या है, इसलिए अगर यहां मेरी मदद करने के लिए कोई है, तो मैं वास्तव में इसकी सराहना करूंगा https://github.com/facebookresearch/detectron2/issues/1539 मैं वास्तव में समझ नहीं पा रहा हूं कि ऐसा क्यों हो रहा है। इसलिए, इसमें टॉर्च.नोग्रेड () भाग के साथ शामिल करने के बाद सीपीयू पर एक बैच में 25 छवियों की भविष्यवाणी के लिए मुझे 9.3 जीबी रैम की आवश्यकता है।

memicalem 5 जून 2020

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Detectron: 4GB कार्ड की मेमोरी खत्म हो रही है

सबसे उपयोगी टिप्पणी

सभी 24 टिप्पणियाँ

संबंधित मुद्दों