Pytorch: RuntimeError: DataLoader 작업자가 신호에 의해 종료됨: Killed.

데이터 로더 작업자 프로세스가 신호에 의해 종료되었습니다.

@SsnL 어떻게 해야 하나요?

@Lmy0217 num_workers=0 실행을 시도하고 더 나은 오류를 제공하는지 확인할 수 있습니다(하위 프로세스를 사용하지 않기 때문에).

@SsnL num_workers=0 설정 했는데 오류가 없습니다.

그런 다음 데이터 세트 __getitem__ 무언가가 다중 처리를 좋아하지 않습니다. 거기에 무엇이 있습니까?

@SsnL 하지만 num_workers=1 하면 내 코드가 작동합니다.

고립 된 버그가 아닌 것처럼 보이지만 다중 처리를 좋아하지 않을 수있는 사용자의 데이터 세트에 있습니다. 문제를 종료하여 https://discuss.pytorch.org로 연결

최근에 같은 문제가 발생했습니다.

docker 를 사용하여 PyTorch 프로그램을 실행하는 경우 높은 확률로 docker의 공유 메모리가 지정된 배치 크기로 프로그램을 실행하기에 충분 하지 않기 때문입니다.

이 상황에 대한 솔루션은 다음과 같습니다.

1. 더 작은 배치 크기를 사용하여 모델을 훈련시키십시오.
2. 현재 도커를 종료하고 컴퓨터에 따라 지정된 "--shm-size=16g" 또는 더 큰 공유 메모리 공간으로 도커를 다시 실행합니다.

이것이 같은 문제를 가진 사람들을 도울 수 있기를 바랍니다.:+1:

나는 그것을 CPU에서 실행했고 또한 오류를 만났습니다: RuntimeError: DataLoader worker (pid 6790) is killed by signal: Killed.

나는 @SsnL을 따라

빈당 인스턴스 수: [85308 31958]
테스트: [ 0/5000] eta: 8:26:32 model_time: 5.8156 (5.8156) evaluator_time: 0.1168 (0.1168) 시간: 6.0785 데이터: 0.1460
죽임

도와주세요. 정말 감사합니다.

num_workers=0으로 설정해도 "Killed"라는 정보만 남기고 훈련이 예기치 않게 종료되는 문제가 발생했습니다. 데이터 로더나 메모리 문제 또는 다른 문제 때문인지 알고 싶습니다.

데이터 로더를 단독으로 테스트하고 num_workers=0으로 설정했는데 몇 k 반복 후에 예기치 않게 종료되었습니다. 그것은 ms coco 데이터 세트이고 시스템 메모리는 64GB이므로 메모리 문제가 아니어야한다고 생각합니다.

테스트 모델과 동일한 오류

고정되어 있거나? 아직 거기 있어?

@SystemErrorWang 같은 조건입니다. 252G 이상의 메모리가 있지만 여전히 Dataloader가 종료됩니다. htop 명령으로 시스템 메모리 사용량을 모니터링했는데 num_workers= 16으로 설정하면 메모리 사용량이 항상 30G 미만이었습니다. 도커가 아닌 우분투 18.04 시스템을 사용하고 있습니다. 이것은 확실히 메모리 문제가 아니어야 합니다. (btw, pytorch 버전은 python 3.7.4에서 1.4.0입니다)

그래서... 그것을 고치는 방법?

CPU 메모리를 늘리고 작업자를 20명 대신 10명으로 줄이는 것이 효과적이었습니다. nn.DataParallel과 함께 여러 GPU를 사용하는 것과 관련될 수도 있습니다. 2-4개의 GPU가 필요한 큰 모델을 훈련할 때만 이것을 보았습니다.

이에 대한 공식 수정 사항이 있습니까? 8개의 코어와 32GB의 메모리에서 매우 간단한 모델을 테스트하고 있으며 num_workers (0 제외)를 얼마나 낮게 설정하더라도 여전히 이 오류가 발생합니다.

@import-antigravity 데이터 세트 코드를 공유할 수 있습니까? 이는 일반적으로 환경과 데이터 세트 코드의 조합으로 인해 발생합니다.

이는 일반적으로 환경과 데이터 세트 코드의 조합으로 인해 발생합니다.

@SsnL
무슨 뜻이에요? 나쁜 경우를 설명하기 위해 몇 가지 최소한의 예를 제시할 수 있습니까?

이 경우 @SsnL 은 데이터 세트가 분포에서 샘플을 추출하는 것이었습니다.

from torch import Tensor
from torch.distributions import Distribution
from torch.utils.data import Dataset

class ProceduralDataset(Dataset, ABC):
    <strong i="7">@property</strong>
    <strong i="8">@abstractmethod</strong>
    def distribution(self) -> Distribution:
        pass

    def __init__(self, num_samples: int):
        self._n = num_samples
        self._samples = None

    def __getitem__(self, i):
        if self._samples is None:
            self._samples = self.distribution.sample((self._n,))
        return self._samples[i], Tensor()

    def __len__(self):
        return self._n

    def __iter__(self):
        self._i = 0
        return self

    def __iter__(self):
        self._i = 0
        return self

    def __next__(self):
        self._i += 1
        return self[self._i - 1]

최근에 같은 문제가 발생했습니다. 로컬에서 모델을 실행하고 있습니다.

그러나 virtualenv 명령으로 여러 가상 환경을 만들었습니다. 내 컴퓨터에 많은 작업자가 있는 데이터 로더를 실행하기에 충분한 메모리가 없기 때문에 오류가 이것과 연결될 수 있습니다.

가상 환경을 제거하면 오류가 사라졌습니다.

이와 같은 가상 환경을 만들었습니다.

virtualenv ~/env
source ~/env/bin/activate

그리고 다음과 같이 제거했습니다.

rm -rf env