Celery: add_periodic_task 함수가 작업을 트리거하지 않습니다.

나는 같은 문제가 있었다 :(

귀하의 모범은 저에게 잘 맞습니다.

참고 : 신호 처리기는 ** kwargs를 수락해야합니다. 그렇게하지 않으면 향후 오류가 발생합니다.

당신의 예를 사용하여

# file: tasks.py
from celery import Celery

celery = Celery('tasks', broker='pyamqp://guest@localhost//')

@celery.task
def add(x, y):
    return x + y


@celery.on_after_configure.connect
def add_periodic(**kwargs):
    celery.add_periodic_task(10.0, add.s(2,3), name='add every 10')

다음과 같이 비트 서비스를 시작합니다.

$ celery -A tasks beat -l debug
celery beat v4.0.0 (latentcall) is starting.
__    -    ... __   -        _
LocalTime -> 2016-12-01 11:54:56
Configuration ->
    . broker -> amqp://guest:**<strong i="11">@localhost</strong>:5672//
    . loader -> celery.loaders.app.AppLoader
    . scheduler -> celery.beat.PersistentScheduler
    . db -> celerybeat-schedule
    . logfile -> [stderr]@%DEBUG
    . maxinterval -> 5.00 minutes (300s)
[2016-12-01 11:54:56,511: DEBUG/MainProcess] Setting default socket timeout to 30
[2016-12-01 11:54:56,511: INFO/MainProcess] beat: Starting...
[2016-12-01 11:54:56,517: DEBUG/MainProcess] Current schedule:
<ScheduleEntry: celery.backend_cleanup celery.backend_cleanup() <crontab: 0 4 * * * (m/h/d/dM/MY)>
<ScheduleEntry: add every 10 tasks.add(2, 3) <freq: 10.00 seconds>
[2016-12-01 11:54:56,517: DEBUG/MainProcess] beat: Ticking with max interval->5.00 minutes
[2016-12-01 11:54:56,528: DEBUG/MainProcess] Start from server, version: 0.9, properties: {'information': 'Licensed under the MPL.  See http://www.rabbitmq.com/', 'product': 'RabbitMQ', 'copyright': 'Copyright (C) 2007-2016 Pivotal Software, Inc.', 'capabilities': {'exchange_exchange_bindings': True, 'connection.blocked': True, 'authentication_failure_close': True, 'direct_reply_to': True, 'basic.nack': True, 'per_consumer_qos': True, 'consumer_priorities': True, 'consumer_cancel_notify': True, 'publisher_confirms': True}, 'cluster_name': 'rabbit<strong i="12">@grain</strong>', 'platform': 'Erlang/OTP', 'version': '3.6.4'}, mechanisms: [u'AMQPLAIN', u'PLAIN'], locales: [u'en_US']
[2016-12-01 11:54:56,531: INFO/MainProcess] Scheduler: Sending due task add every 10 (tasks.add)
[2016-12-01 11:54:56,534: DEBUG/MainProcess] using channel_id: 1
[2016-12-01 11:54:56,535: DEBUG/MainProcess] Channel open
[2016-12-01 11:54:56,537: DEBUG/MainProcess] beat: Synchronizing schedule...
[2016-12-01 11:54:56,537: DEBUG/MainProcess] tasks.add sent. id->af224838-cf72-4d0d-9076-1c39cdbeffb8
[2016-12-01 11:54:56,537: DEBUG/MainProcess] beat: Waking up in 9.97 seconds.
[2016-12-01 11:55:06,519: INFO/MainProcess] Scheduler: Sending due task add every 10 (tasks.add)
[2016-12-01 11:55:06,520: DEBUG/MainProcess] tasks.add sent. id->907cf307-e36f-455a-97a8-441c79b8ab92

안녕하세요, 저도 같은 문제가 있습니다. 하지만 저는 스레드에서 프로그래밍 방식으로 셀러리를 시작하려고합니다. 원인 일 수도 있습니다.

이것은 내 스레드입니다.

from __future__ import absolute_import, unicode_literals
import threading
from celery import current_app
from celery.bin import worker

app = current_app._get_current_object()


class CeleryThread(threading.Thread):
    def __init__(self):
        super(CeleryThread, self).__init__()

        self.app = app
        self.worker = worker.worker(app=self.app)

        self.options = {
            'broker': 'amqp://guest:guest<strong i="7">@localhost</strong>:5672//',
            'loglevel': 'INFO',
            'traceback': True,
        }

        app.add_periodic_task(5.0, test.s('hello'), name='add every 10')

    def run(self):
        self.worker.run(**self.options)


@app.task
def test(args1):
    print args1

그리고 이것을 시작하는 main.py

celery_thread = CeleryThread()
# used to kill the thread when the main program stop
# celery_thread.daemon = True
celery_thread.start()

내 콘솔 출력은

 -------------- celery<strong i="14">@ubuntu</strong> v4.0.0 (latentcall)
---- **** ----- 
--- * ***  * -- Linux-4.4.0-51-generic-x86_64-with-Ubuntu-16.04-xenial 2016-12-03 14:33:10
-- * - **** --- 
- ** ---------- [config]
- ** ---------- .> app:         default:0x7f75775bfc50 (.default.Loader)
- ** ---------- .> transport:   amqp://guest:**<strong i="15">@localhost</strong>:5672//
- ** ---------- .> results:     disabled://
- *** --- * --- .> concurrency: 4 (prefork)
-- ******* ---- .> task events: OFF (enable -E to monitor tasks in this worker)
--- ***** ----- 
 -------------- [queues]
                .> celery           exchange=celery(direct) key=celery


[tasks]
  . kalliope.core.CrontabManager2.CeleryThread.test

[2016-12-03 14:33:10,458: INFO/MainProcess] Connected to amqp://guest:**@127.0.0.1:5672//
[2016-12-03 14:33:10,466: INFO/MainProcess] mingle: searching for neighbors
[2016-12-03 14:33:11,486: INFO/MainProcess] mingle: all alone
[2016-12-03 14:33:11,515: INFO/MainProcess] celery<strong i="16">@ubuntu</strong> ready.

옵션을 잊었습니까? @ask 출력에 "scheduler"가 설정되어 있음을 알 수 있습니다.

도움을 주셔서 감사합니다.

@ liuallen1981 과 동일한 구성 및 동일한 문제. 누구나 무슨 일이 일어나고 있는지 알아냅니다. 지금은

celery.conf.beat_schedule = {
    'do-something-periodically': {
        'task': 'tasks.my_task',
        'schedule': 3.0,
    },
}

on_after_configure.connect 데코레이터와 함께 setup_periodic_tasks 함수를 사용하는 대신.

+1이 문제도 있습니다.

+1이 문제도 있습니다.
Celery 버전 4.0.2 (latentcall)

+1이 문제도 있습니다.

+1이 문제도 있습니다. @ liuallen1981 의 코드로 테스트하고 테스트했으며 내 코드와 동일한 결과를 얻었습니다.

셀러리 : 4.0.2

주기적인 작업을 실행하려면 -B 옵션을 사용하여 작업자를 시작할 때 스케줄러도 호출해야합니다.

celery -A proj worker -B

작업이 애플 리케이션에서 autodiscovered하는 장고 응용 프로그램에 셀러리를 사용하는 경우, 당신은 사용할 필요가 on_after_finalize 대신에 신호 on_after_configure .

참고 문헌 :
http://stackoverflow.com/questions/40712678/setup-periodic-task/40727526
http://stackoverflow.com/questions/41119053/connect-new-celery-periodic-task-in-django

-B는 프로덕션 용이 아니며 적어도 제 경우에는 이미 실행중인 Beats 스케줄러를 시작합니다.

+1 Celery (4.0.2)와 동일한 문제가 있음

여기에 같은 문제 ....

비트 서비스를 시작하기 만하면 작업을 수행 할 작업자도 시작해야합니다.

+1

여기에 같은 문제

여기에 같은 문제,

콜백 내부에 무언가를 인쇄하려고 시도했는데 콜백이 호출되지 않은 것 같지만 RabbitMQ가 작동 중입니다 (코드에서 작업을 트리거 할 때 제대로 작동 함).

@celery.on_after_configure.connect
def setup_periodic_tasks(**kwargs):
    print('after connect')

(py35) ➜  celery -A celery.beat beat
celery beat v4.0.2 (latentcall) is starting.
__    -    ... __   -        _
LocalTime -> 2017-08-08 02:42:18
Configuration ->
    . broker -> amqp://**:**@**:5672//
    . loader -> celery.loaders.app.AppLoader
    . scheduler -> celery.beat.PersistentScheduler
    . db -> celerybeat-schedule
    . logfile -> [stderr]@%WARNING
    . maxinterval -> 5.00 minutes (300s)

이 문제를 해결하기 위해 동적으로 add_periodic_task celery.conf.beat_schedule 대신 Celery 구성

라이브러리를 살펴 보니 on_after_configure 시그널이 발생한 후 시그널 리스너가 생성 / 연결되는 것을 발견했습니다. (내 신호 리스너를 app/tasks.py 에 배치했는데 작동하지 않았습니다.)

Django의 앱 준비 신호는 아마도 Celery 구성 후에 실행될 것이며 지금까지 잘 작동한다고 생각했습니다.

참고 : 실제로 셀러리 구성이 어떤 것인지, 그리고 셀러리가 구성되기 전에 app.ready가 실행될 수 있는지 여부는 확실하지 않지만 적어도 런타임 오류가 발생할 것으로 예상합니다.

내 app/apps.py 샘플 코드 :

from django.apps import AppConfig
import django.db.utils
from celery_app import app as celery_app
from celery.schedules import crontab
import utils.cron


class MyAppConfig(AppConfig):
    name = 'app'
    verbose_name = "MyApp"

    def ready(self):
        print("MyAppConfig.ready invoked.")
        import app.signals

        print("* * * Setting up periodic tasks!")
        import app.models
        import app.tasks
        for cron in app.models.CronTask.objects.all():
            celery_app.add_periodic_task(
                crontab(**utils.cron.parse_crontab_expression_to_celery(cron.frequency)),
                app.tasks.do_cron.s(cron.id),
                name='do cron'
            )

당신은 또한 지적 할 필요가 참고 INSTALLED_APPS 사용하여 새 AppConfig 에서 settings.py :

INSTALLED_APPS = [
    # ...
    'app.apps.MyAppConfig',
]

좋은 접근법이나 수정 은 아마도 1) Celery가 이미 구성되어 있는지 확인하고 즉시 실행되고 2) Celery가 구성되지 않은 경우 @celery.on_after_configure.connect 사용하여 리스너를 추가하는 새 데코레이터를 작성하는 것입니다.

우리 중 많은 사람들이이 문제에 부딪 혔기 때문에 문서는 문제가됩니다.

@rustanacexd @viennadd를 참조 하여 작업을 동적으로 예약해야하는 경우이 수정을 시도 할 수 있습니까?

2 센트를 내놓고, 나는 이것에 조금씩 빠져서 내 작업의 일부를 재정렬해야했다. 실행될 예정인 작업이 약 8 개 있지만 다음과 같은 상황이 발생하는 것으로 나타났습니다.

예:

@celery.on_after_configure.connect
def setup_periodic_tasks(**kwargs):
    celery.add_periodic_task(5.0, do_thing_b.s(), name='Test B')
    celery.add_periodic_task(4.9, do_thing_a.s(), name='Test A')

이렇게 주문하면 do_thing_a 는 do_thing_b 로 덮어 쓰여 지므로 절대 실행되지 않습니다. 원래 둘 다 5 로 설정되었지만 하나만 실행됩니다 (이 경우 먼저 추가되었으므로 B 였을 것입니다). 다음으로 10 진수로 변경하고 .1 로 오프셋하여 문제가 해결되는지 확인했습니다. 주사위가 없습니다. 그런 다음 나는 낮은 쪽이 먼저 발사되고 높은 쪽이 두 번째로 발사되도록 명령했습니다. 즉 :

@celery.on_after_configure.connect
def setup_periodic_tasks(**kwargs):
    celery.add_periodic_task(4.9, do_thing_b.s(), name='Test B')
    celery.add_periodic_task(5.0, do_thing_a.s(), name='Test A')

우리는 또한 약간의 crontab() 를 사용하고 있지만, 그것들은 어떤 작업으로 실행되는 것은 일종의 미스테리이지만, 어떤 것은 작동하지 않습니다. 위와 같은 문제라고 생각합니다. 이러한 간격은 일반적으로 X 시간 / 일마다 발생하도록 설정되어 있으므로 완전히 놀아 보지 않았습니다.

아마도 이런 종류의 행동이 문서에 언급되어 있거나,이 행동이 그다지 말이되지는 않지만 다른 토끼 굴로 내려갈 것입니다. 참고로 RMQ 및 celery 4.1.0 대신 Redis를 사용하고 있습니다.

나는이 일을 할 수 있었다. 여기에서 내 대답을 확인하십시오.

https://stackoverflow.com/a/46965132/560945

@ prasanna-balaraman 작동하는 것 같습니다. 제안 해 주셔서 감사합니다!

나에게 같은 문제 : 다른 솔루션을 테스트하겠습니다 : https://stackoverflow.com/a/41119054/6149867

폐쇄. 여전히 나타나고 누군가 코드 또는 문서 제안이 있으면이 문제를 참조하는 홍보 자료를 보내 주시기 바랍니다.

setup_periodic_tasks에서 예외가 발생하면 조용히 억제된다는 것을 깨닫는 데 시간이 걸렸습니다.

함수는 여기에서 호출됩니다 : https://github.com/celery/celery/blob/master/celery/app/base.py#L950

문제가 발생하면 예외는 응답에만 저장되고 재발생이나 기록은 없습니다.
https://github.com/celery/celery/blob/master/celery/utils/dispatch/signal.py#L276

그래서 제 제안은 setup_periodic_tasks를 가능한 한 간단하게 유지하는 것입니다.
도움이 되었기를 바랍니다!

@ chiang831 개선에 대한 제안이 있습니까? 그렇다면 plz는 홍보를 보내거나 셀러리 사용자 메일 링리스트에 대한 토론을 엽니 다.

on_after_finalize 에서 정의하는 것이 저에게 효과적이었습니다 (비 장고 셀러리 앱).

@app.on_after_finalize.connect
def app_ready(**kwargs):
    """
    Called once after app has been finalized.
    """
    sender = kwargs.get('sender')

    # periodic tasks
    speed = 15
    sender.add_periodic_task(speed, update_leases.s(),
        name='update leases every {} seconds'.format(speed))

방금 이것에 부딪 쳤고 이전 솔루션 중 어느 것도 나를 위해 일하지 않았습니다. 이를 일으키는 정확한 시나리오는 혼란스럽고 ref-counting / gc의 동작과 데코 레이팅 된 함수의 정확한 수명에 의존합니다.

기본적으로 Signal.connect는 신호 처리기에 대한 약한 참조 만 보유합니다. 이것은 Signal 객체 (신호를 연결하는 단명 객체)의 다른 사용 사례에 적합하지만이 경우에는 매우 놀랍습니다.

내 특정 사용 사례는 새로운 주기적 작업을 쉽게 추가 할 수있는 데코레이터였습니다.

def call_every_5_min(task):
    @app.on_after_configure.connect
    def register_task(sender, **_):
        sender.add_periodic_task(collect_every_m*60, task.signature())

<strong i="8">@call_every_5_min</strong>
<strong i="9">@task</strong>
def my_celery_task(_):
     pass

해결 방법은 명시 적으로 강력한 참조를 요청하는 것입니다.

def call_every_5_min(task):
    def register_task(sender, **_):
        sender.add_periodic_task(collect_every_m*60, task.signature())
    app.on_after_configure.connect(register_task, weak=False)

문서의 예제는 데코 레이팅 된 함수가 모듈 또는 클래스 범위에있는 경우 에만 작동하며,이 경우 모듈 또는 클래스는 함수에 대한 강력한 참조를 계속 유지합니다. 그렇지 않으면 유일한 강력한 참조는 정의 된 범위의 끝에서 죽습니다.

위에 나열된 경우에서 작동하는 weak=False 전달하도록 문서를 변경하는 것이 좋습니다. 나는 Django 컨텍스트에서 이것을 명시 적으로 테스트하지 않았습니다.

주기적인 작업을 실행하려면 -B 옵션을 사용하여 작업자를 시작할 때 스케줄러도 호출해야합니다.

celery -A proj worker -B

작업이 애플 리케이션에서 autodiscovered하는 장고 응용 프로그램에 셀러리를 사용하는 경우, 당신은 사용할 필요가 on_after_finalize 대신에 신호 on_after_configure .

참고 문헌 :
http://stackoverflow.com/questions/40712678/setup-periodic-task/40727526
http://stackoverflow.com/questions/41119053/connect-new-celery-periodic-task-in-django

내 과정 python -m celery -A app_name worker -l info --autoscale=20,5 -BE 말에 차단 app_name.celery.py 사용하는 경우 on_after_finalize .

@ liuallen1981 과 동일한 구성 및 동일한 문제. 누구나 무슨 일이 일어나고 있는지 알아냅니다. 지금은

celery.conf.beat_schedule = {
    'do-something-periodically': {
        'task': 'tasks.my_task',
        'schedule': 3.0,
    },
}

on_after_configure.connect 데코레이터와 함께 setup_periodic_tasks 함수를 사용하는 대신.

이것은 대신 나를 위해 작동합니다.

이 문제를 해결하려는 경우 먼저 도커 엔진을 재부팅하면 시스템 버그 신호일 수 있습니다.

이 문제를 버그가 아닌 것으로 종료해야합니까?

@auvipy 확실하지 않습니다. 셀러리 버그 인 것 같습니다.

우리가 수정해야하는 버그입니다.