Celery: कार्यकर्ता शटडाउन पर कार्यों को रद्द/निरस्त करना

को निर्मित 24 फ़र॰ 2016 · 3टिप्पणियाँ · स्रोत: celery/celery

मैं 3.1.20 (रेडिस ब्रोकर और बैकएंड) का उपयोग कर रहा हूं और जब कार्यकर्ता बंद हो रहा है तो मैं वर्तमान में चल रहे कार्यों को निरस्त/निरस्त करने का एक तरीका चाहता हूं।
मुद्दा यह है कि यदि संभव हो तो कार्यों को FAILED के रूप में चिह्नित करें, और अगली बार कार्यकर्ता के फिर से शुरू होने पर उन्हें फिर से न चलाएं।

मैं एक समय में एक कार्य चला रहा हूं और चूंकि कार्य का दुष्प्रभाव है (और मैं इसे बदल नहीं सकता), कार्यकर्ता को मारना अपेक्षित उपयोगकर्ता व्यवहार होगा जब कुछ गलत हो जाता है, और मैं नहीं चाहता कि कार्य को फिर से चलाया जाए जब मैं कार्यकर्ता शुरू करता हूं (मुझे विश्वास है कि डिफ़ॉल्ट सिघंडलर व्यवहार ...)

मैंने सफलता के बिना http://stackoverflow.com/a/8230470 की कोशिश की है।
और मैंने बूटस्टेप से नियंत्रण इंटरफ़ेस या कार्यकर्ता का उपयोग करके कुछ चीजों की भी कोशिश की:

from celery import Celery, bootsteps
from celery.task.control import revoke

# TODO : configuration for tests...
class BootPyrosNode(bootsteps.StartStopStep):

    def __init__(self, worker, **kwargs):
        logging.warn('{0!r} is starting from {1}'.format(worker, __file__))

        [...]

    def create(self, worker):
        return self

    def start(self, worker):
        # our step is started together with all other Worker/Consumer
        # bootsteps.
        pass  # not sure in which process this is run.

    def stop(self, worker):
        # the Consumer calls stop every time the consumer is restarted
        # (i.e. connection is lost) and also at shutdown.  The Worker
        # will call stop at shutdown only.
        logging.warn('{0!r} is stopping. Attempting abort of current tasks...'.format(worker))
        for req in worker.state.active_requests:
            # worker.app.control.revoke(req.id, terminate=True) # not working
            # revoke(req.id, terminate=True) # not working
        self.node_proc.shutdown()

इस तरह स्थापित:

celeros_app = Celery()

# setting up custom bootstep to start ROS node and pass ROS arguments to it
celeros_app.steps['worker'].add(BootPyrosNode)
celeros_app.user_options['worker'].add(Option('-R', '--ros-arg', action="append", help='Arguments for ros initialisation'))

हालांकि ऐसा लगता है कि मेरे कार्य को निरस्त/निरस्त नहीं किया जा सकता है, (हो सकता है कि कार्यकर्ता रुकने के बाद नियंत्रण संदेशों को संसाधित नहीं कर रहा हो?) और मैं विचारों से बाहर हो रहा हूं।

यदि आप और देखना चाहते हैं, तो कोड यहां से आता है: https://github.com/asmodehn/celeros।

क्या कोई रास्ता है, या यह एक अनुकूलन है जो अभी तक संभव नहीं है?

Feature Request

स्रोत

asmodehn

👍1

सबसे उपयोगी टिप्पणी

धन्यवाद !
मैं कार्यकर्ता शटडाउन पर चल रहे कार्यों को रद्द करने में कामयाब रहा। :

def stop(self, worker):
        # the Consumer calls stop every time the consumer is restarted
        # (i.e. connection is lost) and also at shutdown.  The Worker
        # will call stop at shutdown only.
        logging.warn('{0!r} is stopping. Attempting termination of current tasks...'.format(worker))

        # Following code from worker.control.revoke

        task_ids = []
        terminated = set()

        # cleaning all reserved tasks since we are shutting down
        signum = _signals.signum('TERM')
        for request in [r for r in worker.state.reserved_requests]:
            if request.id not in terminated:
                task_ids.append(request.id)
                terminated.add(request.id)
                logger.info('Terminating %s (%s)', request.id, signum)
                request.terminate(worker.pool, signal=signum)

        # Aborting currently running tasks, and triggering soft timeout exception to allow task to clean up.
        signum = _signals.signum('USR1')
        for request in [r for r in worker.state.active_requests]:
            if request.id not in terminated:
                task_ids.append(request.id)
                terminated.add(request.id)
                logger.info('Terminating %s (%s)', request.id, signum)
                request.terminate(worker.pool, signal=signum)  # triggering SoftTimeoutException in Task

        if terminated:
            terminatedstr = ', '.join(task_ids)
            logger.info('Tasks flagged as revoked: %s', terminatedstr)

        self.node_proc.shutdown()

पहले मैं किसी भी प्रतीक्षा कार्य को शटडाउन से ठीक पहले लेने से रोकने के लिए आरक्षित_अनुरोध सूची में कार्य को रद्द कर देता हूं।

फिर मैं सक्रिय अनुरोध को निरस्त करता हूं, और फिर मैं कार्य में एक सफाई व्यवहार को ट्रिगर करने में सक्षम होने के लिए कार्य में SoftTimeLimitExceeded अपवाद को ट्रिगर करता हूं। चूंकि मैं acks_late (एक समय में केवल एक कार्य चलाने के लिए) का उपयोग कर रहा हूं, मुझे इसे ठीक से स्वीकार करने के लिए कार्य से वापस लौटने या बढ़ाने की आवश्यकता है और अगली बार जब मैं कार्यकर्ता को लॉन्च करता हूं तो इसे पुनरारंभ नहीं करना पड़ता है।

मैं निरस्त करने योग्य कार्यों का उपयोग कर रहा हूं, लेकिन जब कोई उपयोगकर्ता जानबूझकर किसी कार्य को रद्द करना चाहता है, तो निरस्त व्यवहार को कोडित किया जाता है, और सिस्टम को कुछ जटिल/लंबी सफाई करने की आवश्यकता होती है। यह मामला अधिक है जैसे कार्यकर्ता बंद हो रहा है, और उस स्थिति में मैं वर्तमान कार्य को जल्दी से विफल करना चाहता हूं।

मुझे लगता है कि अजवाइन में चीजों को करने का यह एक उचित तरीका होगा?

भविष्य के संस्करण में कार्य वर्ग में एक व्यवहार को फिर से परिभाषित करने में सक्षम होना अच्छा होगा ... उदाहरण के लिए on_revoke() या on_abort() विधि को अधिभारित करें। और शायद कुछ शर्तों के आधार पर, निरस्त करने पर एकाधिक व्यवहार करने का एक तरीका ...
बस मेरे 2 सेंट, मैंने अभी तक सेलेरी v4.0 की जाँच नहीं की है।

asmodehn 2 मार्च 2016

👍5

सभी 3 टिप्पणियाँ

आप शटडाउन के दौरान अपने आप को रिमोट कंट्रोल कमांड नहीं भेज सकते हैं, आपको वर्कर इंटर्नल का उपयोग करके कार्यों को रद्द करने की आवश्यकता है (देखें कि सेलेरी/वर्कर/कंट्रोल.py में रिमोट कंट्रोल कमांड कैसे लागू किया जाता है)।

आपको शायद यह भी सुनिश्चित करना चाहिए कि आपका बूटस्टेप पूल पर निर्भर करता है, ताकि शटडाउन के दौरान आपकी stop() विधि को पहले कॉल किया जा सके:

class Step..:
    requires = ('celery.worker.components:Pool',)

ask 25 फ़र॰ 2016

def stop(self, worker):
        # the Consumer calls stop every time the consumer is restarted
        # (i.e. connection is lost) and also at shutdown.  The Worker
        # will call stop at shutdown only.
        logging.warn('{0!r} is stopping. Attempting termination of current tasks...'.format(worker))

        # Following code from worker.control.revoke

        task_ids = []
        terminated = set()

        # cleaning all reserved tasks since we are shutting down
        signum = _signals.signum('TERM')
        for request in [r for r in worker.state.reserved_requests]:
            if request.id not in terminated:
                task_ids.append(request.id)
                terminated.add(request.id)
                logger.info('Terminating %s (%s)', request.id, signum)
                request.terminate(worker.pool, signal=signum)

        # Aborting currently running tasks, and triggering soft timeout exception to allow task to clean up.
        signum = _signals.signum('USR1')
        for request in [r for r in worker.state.active_requests]:
            if request.id not in terminated:
                task_ids.append(request.id)
                terminated.add(request.id)
                logger.info('Terminating %s (%s)', request.id, signum)
                request.terminate(worker.pool, signal=signum)  # triggering SoftTimeoutException in Task

        if terminated:
            terminatedstr = ', '.join(task_ids)
            logger.info('Tasks flagged as revoked: %s', terminatedstr)

        self.node_proc.shutdown()

मुझे लगता है कि अजवाइन में चीजों को करने का यह एक उचित तरीका होगा?

asmodehn 2 मार्च 2016

👍5

इस पर किसी भी अद्यतन?

joekendal 23 सित॰ 2020

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Celery: कार्यकर्ता शटडाउन पर कार्यों को रद्द/निरस्त करना

सबसे उपयोगी टिप्पणी

सभी 3 टिप्पणियाँ

संबंधित मुद्दों