Pytorch: RuntimeError: Pekerja DataLoader dibunuh oleh sinyal: Dibunuh.

proses pekerja pemuat data Anda terbunuh oleh sinyal

@SsnL apa yang harus saya lakukan?

@Lmy0217 Anda dapat mencoba menjalankan dengan num_workers=0 dan melihat apakah itu memberi Anda kesalahan yang lebih baik (karena tidak menggunakan subproses).

@SsnL saya set num_workers=0 dan kemudian tidak ada kesalahan.

Kemudian sesuatu di dataset Anda __getitem__ tidak suka multiprocessing. Apa yang ada di sana?

@SsnL Tetapi ketika saya menetapkan num_workers=1 , kode saya kadang-kadang berfungsi.

sepertinya tidak ada bug yang terisolasi, tetapi sesuatu di Dataset pengguna yang mungkin tidak menyukai multiprocessing. Menutup masalah untuk mengarahkannya ke https://discuss.pytorch.org

Saya mengalami masalah yang sama baru-baru ini.

Jika Anda menggunakan docker untuk menjalankan program PyTorch, dengan probabilitas tinggi, itu karena memori bersama buruh pelabuhan TIDAK cukup besar untuk menjalankan program Anda dalam ukuran batch yang ditentukan.

Solusi untuk keadaan ini adalah:

1. gunakan ukuran batch yang lebih kecil untuk melatih model Anda.
2. keluar dari buruh pelabuhan saat ini, dan jalankan kembali buruh pelabuhan dengan "--shm-size=16g" yang ditentukan atau ruang memori bersama yang lebih besar tergantung pada mesin Anda.

Semoga ini bisa membantu mereka yang memiliki masalah yang sama .:+1:

Saya telah menjalankannya di CPU dan juga menemui kesalahan: RuntimeError: DataLoader worker (pid 6790) dimatikan oleh signal: Killed.

Saya mengikuti @SsnL , itu terbunuh dan dicetak di terminal:

Jumlah instans per nampan: [85308 31958]
Pengujian: [ 0/5000] eta: 8:26:32 model_time: 5,8156 (5,8156) evaluator_time: 0,1168 (0,1168) waktu: 6,0785 data: 0,1460
Terbunuh

Tolong bantu aku. Terima kasih banyak.

Saya menemui masalah yang sama, bahkan jika saya mengatur num_workers=0, pelatihan berakhir secara tidak terduga dengan hanya informasi "Terbunuh". ingin tahu apakah itu karena pemuat data atau masalah memori atau yang lainnya

Saya menguji pemuat data sendiri dan mengatur num_workers=0, itu dibunuh secara tak terduga setelah beberapa k iterasi. itu adalah dataset ms coco dan memori sistem 64 GB jadi saya pikir itu seharusnya tidak menjadi masalah memori.

kesalahan yang sama dengan model pengujian

apakah sudah fix atau? apakah masih ada?

@SystemErrorWang Kondisi yang sama. Saya memiliki lebih dari 252G memori tetapi masih membuat Dataloader terbunuh. Saya memantau penggunaan memori sistem dengan perintah htop dan penggunaan memori selalu kurang dari 30G jika saya mengatur num_workers= 16. Saya menggunakan sistem ubuntu 18.04 dan bukan buruh pelabuhan. Ini pasti bukan masalah memori. (btw, versi pytorch adalah 1.4.0 pada python 3.7.4)

Jadi ... Bagaimana cara memperbaikinya?

Meningkatkan memori CPU dan mengurangi pekerja menjadi 10 bukannya 20 bekerja untuk saya. Mungkin juga terkait dengan penggunaan beberapa GPU dengan nn.DataParallel. Saya hanya melihat ini ketika melatih model besar yang membutuhkan 2-4 GPU.

Apakah ada perbaikan resmi untuk ini? Saya sedang menguji model yang sangat sederhana pada 8 core dan memori 32 GB dan saya masih mendapatkan kesalahan ini tidak peduli seberapa rendah saya menetapkan num_workers (selain 0)

@import-antigravity Bisakah Anda membagikan kode dataset? Ini biasanya disebabkan oleh kombinasi lingkungan dan kode dataset.

Ini biasanya disebabkan oleh kombinasi lingkungan dan kode dataset.

@SsnL
Apa maksudmu? dapatkah Anda memberikan beberapa contoh minimum untuk menggambarkan kasus-kasus buruk?

@SsnL dalam hal ini dataset baru saja menggambar sampel dari distribusi:

from torch import Tensor
from torch.distributions import Distribution
from torch.utils.data import Dataset

class ProceduralDataset(Dataset, ABC):
    <strong i="7">@property</strong>
    <strong i="8">@abstractmethod</strong>
    def distribution(self) -> Distribution:
        pass

    def __init__(self, num_samples: int):
        self._n = num_samples
        self._samples = None

    def __getitem__(self, i):
        if self._samples is None:
            self._samples = self.distribution.sample((self._n,))
        return self._samples[i], Tensor()

    def __len__(self):
        return self._n

    def __iter__(self):
        self._i = 0
        return self

    def __iter__(self):
        self._i = 0
        return self

    def __next__(self):
        self._i += 1
        return self[self._i - 1]

Saya mengalami masalah yang sama baru-baru ini. Saya menjalankan model secara lokal.

Namun, saya membuat beberapa lingkungan virtual dengan perintah virtualenv. Kesalahan mungkin terkait dengan ini, karena komputer saya tidak memiliki cukup memori untuk menjalankan pemuat data dengan banyak pekerja.

Ketika saya menghapus lingkungan virtual, kesalahannya hilang.

Menciptakan lingkungan virtual seperti ini

virtualenv ~/env
source ~/env/bin/activate

Dan menghapusnya seperti ini

rm -rf env