Celery: 작업자 종료 시 작업 취소/중단

에 만든 2016년 02월 24일 · 3코멘트 · 출처: celery/celery

3.1.20(Redis 브로커 및 백엔드)을 사용하고 있으며 작업자가 종료될 때 현재 실행 중인 작업을 중단/취소하는 방법을 알고 싶습니다.
요점은 가능한 경우 작업을 FAILED로 표시하고 다음에 작업자가 다시 시작할 때 다시 실행하지 않는 것입니다.

한 번에 하나의 작업을 실행 중이고 작업에 부작용이 있으므로(변경할 수 없음) 작업자를 죽이는 것은 문제가 발생했을 때 예상되는 사용자 행동이 될 것이며 다음에 작업을 다시 실행하고 싶지 않습니다. 작업자를 시작할 때 (내가 믿는 기본 한숨 동작 ...)

나는 성공하지 않고 http://stackoverflow.com/a/8230470 을 시도했습니다.
또한 부트 단계에서 제어 인터페이스 또는 작업자를 사용하여 몇 가지를 시도했습니다.

from celery import Celery, bootsteps
from celery.task.control import revoke

# TODO : configuration for tests...
class BootPyrosNode(bootsteps.StartStopStep):

    def __init__(self, worker, **kwargs):
        logging.warn('{0!r} is starting from {1}'.format(worker, __file__))

        [...]

    def create(self, worker):
        return self

    def start(self, worker):
        # our step is started together with all other Worker/Consumer
        # bootsteps.
        pass  # not sure in which process this is run.

    def stop(self, worker):
        # the Consumer calls stop every time the consumer is restarted
        # (i.e. connection is lost) and also at shutdown.  The Worker
        # will call stop at shutdown only.
        logging.warn('{0!r} is stopping. Attempting abort of current tasks...'.format(worker))
        for req in worker.state.active_requests:
            # worker.app.control.revoke(req.id, terminate=True) # not working
            # revoke(req.id, terminate=True) # not working
        self.node_proc.shutdown()

이 방법으로 설치:

celeros_app = Celery()

# setting up custom bootstep to start ROS node and pass ROS arguments to it
celeros_app.steps['worker'].add(BootPyrosNode)
celeros_app.user_options['worker'].add(Option('-R', '--ros-arg', action="append", help='Arguments for ros initialisation'))

그러나 내 작업을 취소/중단할 수 없는 것 같습니다(아마도 작업자가 중지 후 제어 메시지를 처리하지 않기 때문일 수 있습니까? ). 그리고 아이디어가 부족합니다.

더 보고 싶다면 https://github.com/asmodehn/celeros에서 코드를 확인하세요.

방법이 있습니까, 아니면 아직 불가능한 사용자 정의입니까?

Feature Request

출처

asmodehn

👍1

가장 유용한 댓글

감사 해요 !
작업자 종료 시 실행 중인 작업을 취소할 수 있었습니다. :

def stop(self, worker):
        # the Consumer calls stop every time the consumer is restarted
        # (i.e. connection is lost) and also at shutdown.  The Worker
        # will call stop at shutdown only.
        logging.warn('{0!r} is stopping. Attempting termination of current tasks...'.format(worker))

        # Following code from worker.control.revoke

        task_ids = []
        terminated = set()

        # cleaning all reserved tasks since we are shutting down
        signum = _signals.signum('TERM')
        for request in [r for r in worker.state.reserved_requests]:
            if request.id not in terminated:
                task_ids.append(request.id)
                terminated.add(request.id)
                logger.info('Terminating %s (%s)', request.id, signum)
                request.terminate(worker.pool, signal=signum)

        # Aborting currently running tasks, and triggering soft timeout exception to allow task to clean up.
        signum = _signals.signum('USR1')
        for request in [r for r in worker.state.active_requests]:
            if request.id not in terminated:
                task_ids.append(request.id)
                terminated.add(request.id)
                logger.info('Terminating %s (%s)', request.id, signum)
                request.terminate(worker.pool, signal=signum)  # triggering SoftTimeoutException in Task

        if terminated:
            terminatedstr = ', '.join(task_ids)
            logger.info('Tasks flagged as revoked: %s', terminatedstr)

        self.node_proc.shutdown()

먼저 reserved_requests 목록에서 작업을 취소하여 기본적으로 종료 직전에 대기 중인 작업이 인계되는 것을 방지합니다.

그런 다음 활성 요청을 취소하고 작업에서 정리 동작을 트리거할 수 있도록 작업에서 SoftTimeLimitExceeded 예외를 트리거합니다. acks_late(한 번에 하나의 작업만 실행하기 위해)를 사용하고 있으므로 작업을 올바르게 승인하고 다음에 작업자를 시작할 때 다시 시작하지 않도록 작업에서 복귀하거나 발생시켜야 합니다.

중단 가능한 작업을 사용하고 있지만 중단 동작은 사용자가 의도적으로 작업을 중단하고 시스템에서 일부 복잡/긴 정리를 수행해야 할 때 코딩됩니다. 이 경우는 작업자가 종료되는 것과 같으며, 이 경우 현재 작업을 빨리 실패하게 만들고 싶습니다.

나는 이것이 샐러리에서 일을 하는 적절한 방법이라고 생각합니까?

향후 버전에서는 Task 클래스에서 동작을 간단히 재정의할 수 있으면 좋을 것입니다... 예를 들어 on_revoke() 또는 on_abort() 메서드를 오버로드합니다. 그리고 일부 조건에 따라 취소 시 여러 동작을 하는 방법일 수도 있습니다.
내 2 센트, 나는 아직 셀러리 v4.0을 확인하지 않았습니다.

asmodehn 에 2016년 03월 02일

👍5

모든 3 댓글

종료 중에는 원격 제어 명령을 자신에게 보낼 수 없습니다. 작업자 내부를 사용하여 작업을 취소해야 합니다(celery/worker/control.py에서 원격 제어 명령이 구현되는 방법 참조).

또한 부트 단계가 풀에 의존하는지 확인하여 stop() 메소드가 종료 중에 먼저 호출되도록 해야 합니다.

class Step..:
    requires = ('celery.worker.components:Pool',)

ask 에 2016년 02월 25일

감사 해요 !
작업자 종료 시 실행 중인 작업을 취소할 수 있었습니다. :

def stop(self, worker):
        # the Consumer calls stop every time the consumer is restarted
        # (i.e. connection is lost) and also at shutdown.  The Worker
        # will call stop at shutdown only.
        logging.warn('{0!r} is stopping. Attempting termination of current tasks...'.format(worker))

        # Following code from worker.control.revoke

        task_ids = []
        terminated = set()

        # cleaning all reserved tasks since we are shutting down
        signum = _signals.signum('TERM')
        for request in [r for r in worker.state.reserved_requests]:
            if request.id not in terminated:
                task_ids.append(request.id)
                terminated.add(request.id)
                logger.info('Terminating %s (%s)', request.id, signum)
                request.terminate(worker.pool, signal=signum)

        # Aborting currently running tasks, and triggering soft timeout exception to allow task to clean up.
        signum = _signals.signum('USR1')
        for request in [r for r in worker.state.active_requests]:
            if request.id not in terminated:
                task_ids.append(request.id)
                terminated.add(request.id)
                logger.info('Terminating %s (%s)', request.id, signum)
                request.terminate(worker.pool, signal=signum)  # triggering SoftTimeoutException in Task

        if terminated:
            terminatedstr = ', '.join(task_ids)
            logger.info('Tasks flagged as revoked: %s', terminatedstr)

        self.node_proc.shutdown()

먼저 reserved_requests 목록에서 작업을 취소하여 기본적으로 종료 직전에 대기 중인 작업이 인계되는 것을 방지합니다.

나는 이것이 샐러리에서 일을 하는 적절한 방법이라고 생각합니까?

asmodehn 에 2016년 03월 02일

👍5

이것에 대한 어떤 업데이트?

joekendal 에 2020년 09월 23일

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Celery: 작업자 종료 시 작업 취소/중단

가장 유용한 댓글

모든 3 댓글

관련 문제