Pytorch: 반복하지 않고 DataLoader에서 단일 배치 가져오기

next(iter(data_loader)) ?

좋아요, 제가 사용했던 것보다 훨씬 낫습니다.
감사 해요!

그 대답은 RAM 메모리의 선형 증가로 훈련에서 메모리 누수를 유발하는 반면 일반 for 루프(및 루프에서 정확히 동일한 코드)로 계속 점유합니다.

:+1: @hyperfraise로. 이것은 메모리 누수를 만듭니다.

다음(약간 다른) 코드에서 동일한 메모리 누수 문제:

dataloader_iterator = iter(dataloader)
for i in range(iterations):     
    try:
        X, Y = next(dataloader_iterator)
    except:
        dataloader_iterator = iter(train_loader)
        X, Y = next(dataloader_iterator)
    do_backprop(X, Y)

for 루프 동안 메모리 점유가 계속 증가합니다. 추가 정보가 포함된 새 문제를 열 ​​수 있습니다(아직 완료되지 않은 경우).

이것은 메모리 누수가 아니라 단순히 루프가 종료할 수 있는 것보다 빠르게 프로세스를 생성하는 데 매우 바쁘다는 사실입니다. DataLoader 반복자는 수명이 매우 짧은 개체를 의미하지 않습니다.

내 이전 댓글이 잘못되었습니다. 나는 누수가 코드의 다른 곳에 있다는 것을 발견했습니다(나는 호기심 많은 사람들을 위해 분리하지 않고 vars에 매달려 있었습니다).

next(iter(dataloader)) 시도 시 "BrokenPipeError: [Errno 32] Broken pipe"가 발생합니다.

이 방법을 사용하여 루프에서 훈련을 위한 배치를 검색했습니다.

    for i in range(n):
       batch = next(iter(data_loader))

데이터 세트의 기본 __getitem__ 가 동일한 item 인덱스를 계속 가져오는 것처럼 동일한 배치를 계속 가져오는 것으로 나타났습니다.
이게 정상인가요?

@shaibagon
잘 문서화되어 있지는 않지만 iter(dataloader) 를 수행할 때 _DataLoaderIter 클래스의 개체를 만들고 루프에서 동일한 개체를 n 번 만들고 첫 번째 배치만 검색합니다.
해결 방법은 루프 외부에 _DataLoaderIter를 만들고 반복하는 것입니다. 문제는 모든 배치가 검색되면 _DataLoaderIter가 StopIteration 오류 를 발생시킨다는 것입니다.

문제를 피하기 위해 현재 하고 있는 작업은 다음과 같습니다.

    dataloader_iterator = iter(dataloader)
    for i in range(iterations):
        try:
            data, target = next(dataloader_iterator)
        except StopIteration:
            dataloader_iterator = iter(dataloader)
            data, target = next(dataloader_iterator)
        do_something()

그것은 매우 추악하지만 잘 작동합니다.

여기 에서 유사한 문제를 찾을 수 있습니다. 이 스레드에서 제안된 솔루션이 사람들에게도 도움이 되었으면 합니다.

@ srossi93 좋은 솔루션입니다. 때때로 반복 주기가 끝날 때 무시된 예외가 발생합니다: ConnectionResetError: [Errno 104] Connection reset by peer .

다중 처리로 인해 발생하는 것으로 보입니다. 데이터 로더의 num_workers를 0으로 설정하면 오류가 사라집니다. 다른 솔루션이 있습니까?

thx @srossi93

어쩌면 이 코드가 조금 더 나을까요?

def inf_train_gen():
    while True:
        for images, targets in enumerate(dataloader):
            yield images, targets
gen = inf_train_gen
for it in range(num_iters):
    images, targets = gen.next()    

위에 제공된 코드를 사용하면 데이터 세트가 섞이나요?
dataloader_iterator = iter(dataloader) for i in range(iterations): try: X, Y = next(dataloader_iterator) except: dataloader_iterator = iter(train_loader) X, Y = next(dataloader_iterator) do_backprop(X, Y)

이것이 이미 생성기/반복자가 아닌 이유는 무엇입니까?

@Yamin05114 iter(dataloader)의 결과가 재설정될 때마다 셔플되는지 확인하기 위해 작은 예제를 실행했습니다. 아래에서 이 작은 스크립트를 실행하면 작은 인쇄 문 세트를 보고 주문이 실제로 섞인 것을 확인할 수 있습니다. 이것은 일반적인 증거는 아니지만 iter(train_loader)를 호출할 때마다 데이터가 뒤섞인다는 설득력 있는 증거입니다.

import torch
from torch.utils.data import Dataset, DataLoader

dataset = torch.tensor([0, 1, 2, 3, 4, 5, 6, 7])
dataloader = DataLoader(dataset, batch_size=2, shuffle=True, num_workers=3)
iterloader = iter(dataloader)

for i in range(0, 12):

    try:
        batch = next(iterloader)
    except StopIteration:
        iterloader = iter(dataloader)
        batch = next(iterloader)

    print("iteration" + str(i))
    print(batch)

또한 @shaibagon 의 오류를 재현할 수 없었습니다...아래 코드는 별개의 배치(위에서 정의한 것과 동일한 변수 사용)를 생성하는 것 같아서 거기서 무슨 일이 일어났는지 확실하지 않습니다.

for i in range(0, 12):
    batch = next(iter(dataloader))
    print("iteration: " + str(i))
    print(batch)

pytorch에서 data.Dataset 를 상속하는 dataset 개체가 있는 경우 idx를 인수로 사용하는 __getitem__ 메서드를 재정의해야 합니다. 따라서 직접 액세스할 수 있습니다.

**some dataset instance called _data_
data=Dataset(**kwargs)
for i in range(10):
     data[i]

또는

for i in range(10):
     data_batch.__getitem__(i)