Pytorch: डेटालोडर से पुनरावृति के बिना एक बैच प्राप्त करें

next(iter(data_loader)) ?

बढ़िया, मैं जो उपयोग कर रहा था उससे बहुत बेहतर है।
धन्यवाद!

वह उत्तर रैम मेमोरी के रैखिक वृद्धि के साथ मेरे प्रशिक्षण में स्मृति रिसाव को उत्तेजित करता है, जबकि नियमित रूप से लूप (और लूप में बिल्कुल समान कोड) के साथ निरंतर व्यवसाय: /

:+1: से @hyperfraise. यह एक स्मृति रिसाव बनाता है।

निम्नलिखित (थोड़ा अलग) कोड के साथ स्मृति रिसाव की एक ही समस्या:

dataloader_iterator = iter(dataloader)
for i in range(iterations):     
    try:
        X, Y = next(dataloader_iterator)
    except:
        dataloader_iterator = iter(train_loader)
        X, Y = next(dataloader_iterator)
    do_backprop(X, Y)

फॉर-लूप के दौरान मेमोरी ऑक्यूपेशन लगातार बढ़ता जाता है। मैं अधिक जानकारी के साथ एक नया अंक खोल सकता हूं (यदि अभी तक नहीं किया गया है)

यह एक मेमोरी लीक नहीं हो सकता है, लेकिन केवल यह तथ्य कि आपका लूप बेहद व्यस्त स्पॉनिंग प्रक्रियाओं में तेजी से व्यस्त है, हम उन्हें समाप्त भी कर सकते हैं। डेटालोडर इटरेटर बहुत कम समय तक रहने वाली वस्तुएं नहीं हैं

मेरी पिछली टिप्पणी गलत थी। मैंने पाया कि रिसाव कोड में कहीं और था (मैं उत्सुक लोगों के लिए अलग किए बिना vars पर लटक रहा था)।

अगली कोशिश करते समय "BrokenPipeError: [Errno 32] टूटा हुआ पाइप" प्राप्त करें (iter (dataloader))

मैंने लूप में प्रशिक्षण के लिए बैचों को पुनः प्राप्त करने के लिए इस पद्धति का उपयोग किया:

    for i in range(n):
       batch = next(iter(data_loader))

मैंने देखा कि मुझे एक ही बैच मिलता रहता है, जैसे डेटासेट के अंतर्निहित __getitem__ को समान item इंडेक्स मिलता रहता है।
क्या यह सामान्य है?

@shaibagon
यह बहुत अच्छी तरह से प्रलेखित नहीं है, लेकिन जब आप iter(dataloader) करते हैं तो आप कक्षा _DataLoaderIter का ऑब्जेक्ट बनाते हैं और लूप में, आप एक ही ऑब्जेक्ट n बार बनाएंगे और केवल पहला बैच पुनर्प्राप्त करेंगे।
एक वर्कअराउंड लूप के बाहर _DataLoaderIter बनाना और उस पर पुनरावृति करना है। समस्या यह है कि एक बार सभी बैचों को पुनः प्राप्त कर लेने के बाद, _DataLoaderIter एक StopIteration त्रुटि उत्पन्न करेगा।

समस्याओं से बचने के लिए, मैं वर्तमान में जो कर रहा हूँ वह निम्नलिखित है:

    dataloader_iterator = iter(dataloader)
    for i in range(iterations):
        try:
            data, target = next(dataloader_iterator)
        except StopIteration:
            dataloader_iterator = iter(dataloader)
            data, target = next(dataloader_iterator)
        do_something()

यह बहुत बदसूरत है लेकिन यह ठीक काम करता है।

इसी तरह का मुद्दा यहां पाया जा सकता है मुझे उम्मीद है कि इस धागे में प्रस्तावित समाधान वहां के लोगों की भी मदद कर सकते हैं।

@ srossi93 अच्छा समाधान। जब पुनरावृत्ति चक्र समाप्त होता है तो कभी-कभी मुझे एक अनदेखा अपवाद मिलता है: ConnectionResetError: [Errno 104] Connection reset by peer ।

ऐसा लगता है कि मल्टीप्रोसेसिंग के कारण होता है। डेटालोडर पर num_workers को 0 पर सेट करने से त्रुटि गायब हो जाती है। कोई अन्य उपाय?

thx @ srossi93

शायद यह कोड थोड़ा बेहतर है?

def inf_train_gen():
    while True:
        for images, targets in enumerate(dataloader):
            yield images, targets
gen = inf_train_gen
for it in range(num_iters):
    images, targets = gen.next()    

यदि मैं ऊपर दिए गए कोड का उपयोग करता हूं तो क्या डेटासेट में फेरबदल होगा?
dataloader_iterator = iter(dataloader) for i in range(iterations): try: X, Y = next(dataloader_iterator) except: dataloader_iterator = iter(train_loader) X, Y = next(dataloader_iterator) do_backprop(X, Y)

यह पहले से जेनरेटर/इटरेटर क्यों नहीं है?

@ Yamin05114 मैंने यह देखने के लिए एक छोटा सा उदाहरण चलाया कि क्या हर बार रीसेट होने पर iter(dataloader) का परिणाम फेरबदल किया जाता है। यदि आप इस छोटी सी स्क्रिप्ट को नीचे चलाते हैं, तो आप अपने लिए पुष्टि करने के लिए प्रिंट स्टेटमेंट के छोटे सेट को देख सकते हैं कि ऑर्डर वास्तव में फेरबदल किया गया है। यह सामान्य रूप से एक प्रमाण नहीं है, लेकिन यह इस बात का पुख्ता सबूत है कि जब भी हम iter (train_loader) कहते हैं, तो डेटा में फेरबदल किया जाता है।

import torch
from torch.utils.data import Dataset, DataLoader

dataset = torch.tensor([0, 1, 2, 3, 4, 5, 6, 7])
dataloader = DataLoader(dataset, batch_size=2, shuffle=True, num_workers=3)
iterloader = iter(dataloader)

for i in range(0, 12):

    try:
        batch = next(iterloader)
    except StopIteration:
        iterloader = iter(dataloader)
        batch = next(iterloader)

    print("iteration" + str(i))
    print(batch)

इसके अलावा, मैं @shaibagon की त्रुटि को पुन: उत्पन्न नहीं कर सका ... नीचे दिया गया कोड अलग-अलग बैचों का उत्पादन करता है (ऊपर परिभाषित समान चर का उपयोग करके), इसलिए सुनिश्चित नहीं है कि वहां क्या हुआ।

for i in range(0, 12):
    batch = next(iter(dataloader))
    print("iteration: " + str(i))
    print(batch)

यदि आपके पास dataset ऑब्जेक्ट है जो पाइटोरच से data.Dataset इनहेरिट करता है, तो उसे __getitem__ विधि को ओवरराइड करना होगा, जो एक तर्क के रूप में idx का उपयोग करता है। इसलिए आप इसे सीधे एक्सेस कर सकते हैं:

**some dataset instance called _data_
data=Dataset(**kwargs)
for i in range(10):
     data[i]

या

for i in range(10):
     data_batch.__getitem__(i)