Pytorch: خطأ وقت التشغيل: قتل عامل DataLoader بالإشارة: قُتل.

تم قتل عملية عامل أداة تحميل البيانات الخاصة بك بواسطة إشارة

SsnL ماذا علي أن أفعل؟

@ Lmy0217 يمكنك محاولة الجري باستخدام num_workers=0 ومعرفة ما إذا كان يعطيك خطأ أفضل (لأنه لا يستخدم عمليات فرعية).

SsnL لقد قمت بتعيين num_workers=0 ومن ثم لا توجد أخطاء.

ثم هناك شيء ما في مجموعة البيانات الخاصة بك __getitem__ لا يحب المعالجة المتعددة. ما في هناك؟

SsnL ولكن عندما قمت بتعيين num_workers=1 ، فإن الكود الخاص بي يعمل في وقت ما.

يبدو أنه لا يوجد خطأ منعزل ، ولكن هناك شيء ما في مجموعة بيانات المستخدم قد لا يحب المعالجة المتعددة. إغلاق المشكلة لقيادتها إلى https://discuss.pytorch.org

لقد واجهت نفس المشكلة مؤخرًا.

إذا كنت تستخدم docker لتشغيل برنامج PyTorch ، مع احتمال كبير ، فذلك لأن الذاكرة المشتركة لرسو السفن ليست كبيرة بما يكفي لتشغيل البرنامج بالحجم المحدد للدفعة.

الحلول لهذا الظرف هي:

1. استخدم حجم دفعة أصغر لتدريب نموذجك.
2. اخرج من وحدة الإرساء الحالية ، وأعد تشغيل عامل الإرساء باستخدام "--shm-size = 16g" أو مساحة ذاكرة مشتركة أكبر اعتمادًا على جهازك.

آمل أن يساعد هذا أولئك الذين لديهم نفس المشكلة.: + 1:

لقد قمت بتشغيله في وحدة المعالجة المركزية (CPU) وواجهت أيضًا خطأ: RuntimeError: قتل عامل DataLoader (pid 6790) بالإشارة: قتل.

تابعت SsnL ، تم قتلها وطباعتها في المحطة:

عدد المثيلات لكل حاوية: [85308 31958]
الاختبار: [0/5000] إيتا: 8:26:32 model_time: 5.8156 (5.8156) المقيم_الوقت: 0.1168 (0.1168) الوقت: 6.0785 البيانات: 0.1460
قتل

ساعدني من فضلك. شكرا جزيلا.

واجهت نفس المشكلة ، حتى لو قمت بتعيين عدد العمال = 0 ، انتهى التدريب بشكل غير متوقع بمعلومات فقط "قتل". يود معرفة ما إذا كان ذلك بسبب أداة تحميل البيانات أو مشكلة في الذاكرة أو أي شيء آخر

لقد اختبرت أداة تحميل البيانات بمفردها وقمت بتعيين عدد العمال = 0 ، فقد قُتل بشكل غير متوقع بعد عدة تكرارات k. كانت مجموعة بيانات ms coco وذاكرة النظام 64 جيجابايت لذا أعتقد أنه لا ينبغي أن يكون مشكلة الذاكرة.

نفس الخطأ مع نموذج الاختبار

هل تم إصلاحه أم؟ هل مازال هناك؟

SystemErrorWang نفس الحالة. لدي أكثر من 252G من الذاكرة ولكن لا يزال يتم قتل Dataloader. لقد راقبت استخدام ذاكرة النظام باستخدام الأمر htop وكان استخدام الذاكرة دائمًا أقل من 30 جيجا إذا قمت بتعيين num_workers = 16. أنا أستخدم نظام ubuntu 18.04 وليس عامل الإرساء. هذا بالتأكيد لا ينبغي أن يكون مشكلة الذاكرة. (راجع للشغل ، إصدار pytorch هو 1.4.0 في python 3.7.4)

كيف تصلحها؟

عملت زيادة ذاكرة وحدة المعالجة المركزية وتقليل العاملين إلى 10 بدلاً من 20 بالنسبة لي. قد يكون مرتبطًا أيضًا باستخدام وحدات معالجة رسومات متعددة مع nn.DataParallel. لقد رأيت هذا فقط عند تدريب النماذج الكبيرة التي تحتاج إلى 2-4 وحدات معالجة رسومات.

هل كان هناك إصلاح رسمي لهذا؟ أنا أختبر نموذجًا بسيطًا للغاية على 8 مراكز و 32 جيجابايت من الذاكرة وما زلت أتلقى هذا الخطأ بغض النظر عن مدى انخفاضه الذي قمت بتعيينه num_workers (بخلاف 0)

@ import-antigravity هل يمكنك مشاركة رمز مجموعة البيانات؟ يحدث هذا عادةً بسبب مجموعة من رمز البيئة ومجموعة البيانات.

يحدث هذا عادةً بسبب مجموعة من رمز البيئة ومجموعة البيانات.

تضمين التغريدة
ماذا تقصد بذلك؟ هل يمكنك إعطاء بعض الأمثلة الدنيا لتوضيح الحالات السيئة؟

SsnL في هذه الحالة كانت مجموعة البيانات تسحب عينات من التوزيع:

from torch import Tensor
from torch.distributions import Distribution
from torch.utils.data import Dataset

class ProceduralDataset(Dataset, ABC):
    <strong i="7">@property</strong>
    <strong i="8">@abstractmethod</strong>
    def distribution(self) -> Distribution:
        pass

    def __init__(self, num_samples: int):
        self._n = num_samples
        self._samples = None

    def __getitem__(self, i):
        if self._samples is None:
            self._samples = self.distribution.sample((self._n,))
        return self._samples[i], Tensor()

    def __len__(self):
        return self._n

    def __iter__(self):
        self._i = 0
        return self

    def __iter__(self):
        self._i = 0
        return self

    def __next__(self):
        self._i += 1
        return self[self._i - 1]

لقد واجهت نفس المشكلة مؤخرًا. أنا أقوم بتشغيل نماذج محليًا.

ومع ذلك ، فقد قمت بإنشاء بيئات افتراضية متعددة باستخدام الأمر virtualenv. قد يكون الخطأ مرتبطًا بهذا ، نظرًا لأن جهاز الكمبيوتر الخاص بي لم يكن به ذاكرة كافية لتشغيل أداة تحميل البيانات مع العديد من العاملين.

عندما أزلت البيئات الافتراضية ، اختفى الخطأ.

خلق بيئات افتراضية مثل هذه

virtualenv ~/env
source ~/env/bin/activate

وإزالتها هكذا

rm -rf env