Celery: add_periodic_task फ़ंक्शन कार्य को ट्रिगर नहीं करता है

मुझे भी यही समस्या थी :(

आपका उदाहरण मेरे लिए अच्छा काम करता है।

नोट: आपके सिग्नल हैंडलर को ** kwargs को स्वीकार करने की आवश्यकता है, ऐसा करने में विफल होना भविष्य में एक त्रुटि होगी।

अपने उदाहरण का उपयोग करना

# file: tasks.py
from celery import Celery

celery = Celery('tasks', broker='pyamqp://guest@localhost//')

@celery.task
def add(x, y):
    return x + y


@celery.on_after_configure.connect
def add_periodic(**kwargs):
    celery.add_periodic_task(10.0, add.s(2,3), name='add every 10')

मैं निम्न प्रकार से बीट सेवा शुरू करता हूं:

$ celery -A tasks beat -l debug
celery beat v4.0.0 (latentcall) is starting.
__    -    ... __   -        _
LocalTime -> 2016-12-01 11:54:56
Configuration ->
    . broker -> amqp://guest:**<strong i="11">@localhost</strong>:5672//
    . loader -> celery.loaders.app.AppLoader
    . scheduler -> celery.beat.PersistentScheduler
    . db -> celerybeat-schedule
    . logfile -> [stderr]@%DEBUG
    . maxinterval -> 5.00 minutes (300s)
[2016-12-01 11:54:56,511: DEBUG/MainProcess] Setting default socket timeout to 30
[2016-12-01 11:54:56,511: INFO/MainProcess] beat: Starting...
[2016-12-01 11:54:56,517: DEBUG/MainProcess] Current schedule:
<ScheduleEntry: celery.backend_cleanup celery.backend_cleanup() <crontab: 0 4 * * * (m/h/d/dM/MY)>
<ScheduleEntry: add every 10 tasks.add(2, 3) <freq: 10.00 seconds>
[2016-12-01 11:54:56,517: DEBUG/MainProcess] beat: Ticking with max interval->5.00 minutes
[2016-12-01 11:54:56,528: DEBUG/MainProcess] Start from server, version: 0.9, properties: {'information': 'Licensed under the MPL.  See http://www.rabbitmq.com/', 'product': 'RabbitMQ', 'copyright': 'Copyright (C) 2007-2016 Pivotal Software, Inc.', 'capabilities': {'exchange_exchange_bindings': True, 'connection.blocked': True, 'authentication_failure_close': True, 'direct_reply_to': True, 'basic.nack': True, 'per_consumer_qos': True, 'consumer_priorities': True, 'consumer_cancel_notify': True, 'publisher_confirms': True}, 'cluster_name': 'rabbit<strong i="12">@grain</strong>', 'platform': 'Erlang/OTP', 'version': '3.6.4'}, mechanisms: [u'AMQPLAIN', u'PLAIN'], locales: [u'en_US']
[2016-12-01 11:54:56,531: INFO/MainProcess] Scheduler: Sending due task add every 10 (tasks.add)
[2016-12-01 11:54:56,534: DEBUG/MainProcess] using channel_id: 1
[2016-12-01 11:54:56,535: DEBUG/MainProcess] Channel open
[2016-12-01 11:54:56,537: DEBUG/MainProcess] beat: Synchronizing schedule...
[2016-12-01 11:54:56,537: DEBUG/MainProcess] tasks.add sent. id->af224838-cf72-4d0d-9076-1c39cdbeffb8
[2016-12-01 11:54:56,537: DEBUG/MainProcess] beat: Waking up in 9.97 seconds.
[2016-12-01 11:55:06,519: INFO/MainProcess] Scheduler: Sending due task add every 10 (tasks.add)
[2016-12-01 11:55:06,520: DEBUG/MainProcess] tasks.add sent. id->907cf307-e36f-455a-97a8-441c79b8ab92

नमस्ते, मैं एक ही मुद्दा है। लेकिन मैं कोशिश करता हूं कि अजवाइन प्रोग्राम को थ्रेड में शुरू किया जाए। शायद इसका कारण है।

यह मेरा धागा है:

from __future__ import absolute_import, unicode_literals
import threading
from celery import current_app
from celery.bin import worker

app = current_app._get_current_object()


class CeleryThread(threading.Thread):
    def __init__(self):
        super(CeleryThread, self).__init__()

        self.app = app
        self.worker = worker.worker(app=self.app)

        self.options = {
            'broker': 'amqp://guest:guest<strong i="7">@localhost</strong>:5672//',
            'loglevel': 'INFO',
            'traceback': True,
        }

        app.add_periodic_task(5.0, test.s('hello'), name='add every 10')

    def run(self):
        self.worker.run(**self.options)


@app.task
def test(args1):
    print args1

और इसे लॉन्च करने के लिए main.py

celery_thread = CeleryThread()
# used to kill the thread when the main program stop
# celery_thread.daemon = True
celery_thread.start()

मेरा कंसोल आउटपुट है

 -------------- celery<strong i="14">@ubuntu</strong> v4.0.0 (latentcall)
---- **** ----- 
--- * ***  * -- Linux-4.4.0-51-generic-x86_64-with-Ubuntu-16.04-xenial 2016-12-03 14:33:10
-- * - **** --- 
- ** ---------- [config]
- ** ---------- .> app:         default:0x7f75775bfc50 (.default.Loader)
- ** ---------- .> transport:   amqp://guest:**<strong i="15">@localhost</strong>:5672//
- ** ---------- .> results:     disabled://
- *** --- * --- .> concurrency: 4 (prefork)
-- ******* ---- .> task events: OFF (enable -E to monitor tasks in this worker)
--- ***** ----- 
 -------------- [queues]
                .> celery           exchange=celery(direct) key=celery


[tasks]
  . kalliope.core.CrontabManager2.CeleryThread.test

[2016-12-03 14:33:10,458: INFO/MainProcess] Connected to amqp://guest:**@127.0.0.1:5672//
[2016-12-03 14:33:10,466: INFO/MainProcess] mingle: searching for neighbors
[2016-12-03 14:33:11,486: INFO/MainProcess] mingle: all alone
[2016-12-03 14:33:11,515: INFO/MainProcess] celery<strong i="16">@ubuntu</strong> ready.

क्या मैं एक विकल्प भूल सकता हूँ? मैं देख सकता हूं कि आपके आउटपुट @ मास्क में "शेड्यूलर" सेट है

किसी भी मदद के लिए अग्रिम धन्यवाद।

@ Liuallen1981 के साथ एक ही विन्यास और एक ही मुद्दा। किसी को भी पता है कि क्या हो रहा है। अभी के लिए मुझे उपयोग करना होगा

celery.conf.beat_schedule = {
    'do-something-periodically': {
        'task': 'tasks.my_task',
        'schedule': 3.0,
    },
}

on_after_configure.connect डेकोरेटर के साथ setup_periodic_tasks फ़ंक्शन का उपयोग करने के बजाय।

+1 यह समस्या है।

+1 यह समस्या है।
अजवाइन संस्करण 4.0.2 (अव्यक्त)

+1 यह समस्या है।

+1 यह समस्या है। पर गया और @ liuallen1981 के कोड के साथ परीक्षण किया गया और मेरे अपने कोड के समान परिणाम प्राप्त किया।

अजवाइन: 4.0.2

आवधिक कार्यों को चलाने के लिए, आपको -B विकल्प का उपयोग करके एक कार्यकर्ता को शुरू करते समय अनुसूचक को भी आमंत्रित करना होगा:

celery -A proj worker -B

Django अनुप्रयोगों, जहां कार्य क्षुधा से autodiscovered कर रहे हैं में अजवाइन का उपयोग करते समय, आप उपयोग करने की आवश्यकता on_after_finalize के बजाय संकेत on_after_configure ।

संदर्भ:
http://stackoverflow.com/questions/40712678/setup-periodic-task/40727526
http://stackoverflow.com/questions/41119053/connect-new-celery-periodic-task-in-django

-B उत्पादन के लिए नहीं है और बस बीट्स शेड्यूलर शुरू करता है जो कम से कम मेरे मामले में पहले से ही चल रहा है।

+1 सेलेरी के साथ एक ही मुद्दा रहा (4.0.2)

वही मुद्दा यहाँ…।

आप बस एक बीट सेवा शुरू करते हैं, कार्य करने के लिए एक कार्यकर्ता भी शुरू करना चाहिए।

+1

यहाँ एक ही मुद्दा है

यहाँ एक ही मुद्दा,

और मैं कॉलबैक के अंदर कुछ प्रिंट करने की कोशिश करता हूं, ऐसा लगता है कि कॉलबैक को कॉल नहीं किया गया है, लेकिन RabbitMQ काम कर रहा है (ठीक काम करता है जब मैं कोड में एक कार्य को ट्रिगर करता हूं)

@celery.on_after_configure.connect
def setup_periodic_tasks(**kwargs):
    print('after connect')

(py35) ➜  celery -A celery.beat beat
celery beat v4.0.2 (latentcall) is starting.
__    -    ... __   -        _
LocalTime -> 2017-08-08 02:42:18
Configuration ->
    . broker -> amqp://**:**@**:5672//
    . loader -> celery.loaders.app.AppLoader
    . scheduler -> celery.beat.PersistentScheduler
    . db -> celerybeat-schedule
    . logfile -> [stderr]@%WARNING
    . maxinterval -> 5.00 minutes (300s)

मैं इसे हल करने के लिए गतिशील रूप से add_periodic_task celery.conf.beat_schedule बजाय Celery config

मैंने लाइब्रेरी में कदम रखा और पाया कि on_after_configure सिग्नल निकाल दिए जाने के बाद मेरा सिग्नल श्रोता बनाया / संलग्न किया जा रहा था। (मैं अपने सिग्नल श्रोता को app/tasks.py में रख रहा था और यह काम नहीं कर रहा था।)

मैंने तर्क दिया कि Django का ऐप रेडी सिग्नल शायद सेलेरी कॉन्फ़िगरेशन के बाद निष्पादित होगा और यह मेरे लिए अब तक अच्छा काम कर रहा है।

ध्यान दें: मुझे यकीन नहीं है कि अजवाइन विन्यास वास्तव में क्या होता है और क्या यह संभव है कि अजवाइन कॉन्फ़िगर होने से पहले ही ऐप आग लगा सकता है ... हालांकि, मुझे उम्मीद है कि यह कम से कम एक रनटाइम त्रुटि फेंक देगा।

नमूना कोड मेरे app/apps.py :

from django.apps import AppConfig
import django.db.utils
from celery_app import app as celery_app
from celery.schedules import crontab
import utils.cron


class MyAppConfig(AppConfig):
    name = 'app'
    verbose_name = "MyApp"

    def ready(self):
        print("MyAppConfig.ready invoked.")
        import app.signals

        print("* * * Setting up periodic tasks!")
        import app.models
        import app.tasks
        for cron in app.models.CronTask.objects.all():
            celery_app.add_periodic_task(
                crontab(**utils.cron.parse_crontab_expression_to_celery(cron.frequency)),
                app.tasks.do_cron.s(cron.id),
                name='do cron'
            )

ध्यान दें कि आपको अपने नए AppConfig का उपयोग करने के लिए INSTALLED_APPS इंगित करने की आवश्यकता है settings.py :

INSTALLED_APPS = [
    # ...
    'app.apps.MyAppConfig',
]

एक अच्छा दृष्टिकोण या फिक्स शायद एक नया डेकोरेटर लिखना होगा जो 1) चेक करता है कि अगर सेलेरी पहले से कॉन्फ़िगर किया गया है और यदि तुरंत निष्पादित होता है और 2) यदि सेलेरी कॉन्फ़िगर नहीं किया गया है तो @celery.on_after_configure.connect का उपयोग करके श्रोता को जोड़ता है।

जैसा कि यह खड़ा है, डॉक्स समस्याग्रस्त हैं क्योंकि हम में से कई इस मुद्दे में भाग गए थे।

CCing @rustanacexd @viennadd बस आप इस फ़िक्स को आज़मा सकते हैं यदि आपको अभी भी गतिशील रूप से शेड्यूल किए गए कार्यों की आवश्यकता है?

अपने दो सेंट को वहाँ लगाकर, मैं इससे थोड़ा संभल गया और अपने कुछ कार्यों को फिर से शुरू कर दिया। हमारे पास लगभग 8 शेड्यूल किए गए कार्य हैं जो आग लगने वाले हैं, हालांकि, मैंने देखा कि निम्नलिखित होगा:

उदाहरण:

@celery.on_after_configure.connect
def setup_periodic_tasks(**kwargs):
    celery.add_periodic_task(5.0, do_thing_b.s(), name='Test B')
    celery.add_periodic_task(4.9, do_thing_a.s(), name='Test A')

उन्हें इस तरह से आदेश देने का अर्थ है कि do_thing_a कभी भी आग नहीं लगेगी, क्योंकि यह do_thing_b द्वारा अधिलेखित हो जाएगा। मूल रूप से वे दोनों 5 सेट थे, हालांकि केवल एक ही आग लगाएगा (मुझे विश्वास है कि इस मामले में यह बी होगा जैसा कि पहले जोड़ा गया था)। इसके बाद मैंने जो किया उसे दशमलव में बदल दिया और यह देखने के लिए कि इसे ठीक किया जाएगा, इसे देखने के लिए .1 भरपाई करेंगे। कोई पाँसा नहीं। तब मैंने उन्हें आदेश दिया कि नीचे वाला पहले फायर करेगा और उच्चतर दूसरा फायर करेगा और उसने इसे ठीक किया। अर्थात:

@celery.on_after_configure.connect
def setup_periodic_tasks(**kwargs):
    celery.add_periodic_task(4.9, do_thing_b.s(), name='Test B')
    celery.add_periodic_task(5.0, do_thing_a.s(), name='Test A')

हम कुछ crontab() s का उपयोग भी कर रहे हैं, हालांकि वे कुछ काम के रूप में चलने के लिए एक रहस्य की तरह हैं और कुछ नहीं करते हैं, मुझे संदेह है कि यह ऊपर के समान ही मुद्दा है। मैं इसके साथ पूरी तरह से नहीं खेल पाया, क्योंकि ये अंतराल आम तौर पर हर X घंटे / दिन में होता है, इसलिए मैं आमतौर पर भूल जाता हूं कि वे मौजूद हैं।

हो सकता है कि इस तरह के व्यवहार का दस्तावेजीकरण में उल्लेख किया गया हो, या मैं एक अलग खरगोश के छेद के नीचे जा रहा हूं, हालांकि इस व्यवहार का बहुत मतलब नहीं है। संदर्भ के लिए, हम RMQ और अजवाइन 4.1.0 के बजाय Redis का उपयोग कर रहे हैं।

मैं यह काम करने में सक्षम था। मेरा जवाब यहां देखें:

https://stackoverflow.com/a/46965132/560945

@ prasanna-balaraman जो काम करने लगता है, सुझाव के लिए धन्यवाद!

मेरे लिए एक ही मुद्दा: मैं एक और समाधान का परीक्षण करूंगा: https://stackoverflow.com/a/41119054/6149867

समापन। अगर यह अभी भी दिखाई देता है और किसी के पास कोई कोड या डॉक्स सुझाव हैं, तो इस मुद्दे को संदर्भित करने के लिए एक पीआर भेजने के लिए स्वतंत्र महसूस करें।

मुझे यह महसूस करने में थोड़ा समय लगा कि यदि setup_periodic_tasks में कोई अपवाद उठाया गया है, तो वह चुपचाप दबा हुआ हो जाएगा।

समारोह को यहां कहा जाता है: https://github.com/celery/celery/blob/master/celery/app/base.py#L950

यदि कुछ भी गलत होता है, तो अपवाद केवल प्रतिक्रियाओं में सहेजा जाता है, कोई पुन: बढ़ा या लॉग नहीं होता है:
https://github.com/celery/celery/blob/master/celery/utils/dispatch/signal.py#L276

इसलिए मेरा सुझाव है कि setup_periodic_tasks को यथासंभव सरल रखें।
उम्मीद है की यह मदद करेगा!

@ chiang831 क्या आपके पास इसे बेहतर बनाने के लिए कोई सुझाव है? यदि ऐसा है तो plz एक जनसंपर्क भेजें या अजवाइन-उपयोगकर्ता मेलिंग सूची पर चर्चा खोलें

on_after_finalize में उन्हें परिभाषित करना मेरे लिए क्या काम करता है (गैर-डीजेंगो अजवाइन ऐप)।

@app.on_after_finalize.connect
def app_ready(**kwargs):
    """
    Called once after app has been finalized.
    """
    sender = kwargs.get('sender')

    # periodic tasks
    speed = 15
    sender.add_periodic_task(speed, update_leases.s(),
        name='update leases every {} seconds'.format(speed))

बस इस में भाग गया और पिछले समाधानों में से कोई भी मेरे लिए काम नहीं किया। इसके कारण होने वाले सटीक परिदृश्य भ्रमित करने वाले हैं और रेफ-काउंटिंग / gc के व्यवहार और आपके सजाए गए कार्यों के सटीक जीवनकाल पर भरोसा करते हैं।

सिग्नल.कनेक्ट डिफ़ॉल्ट रूप से केवल सिग्नल हैंडलर के लिए एक कमजोर संदर्भ रखता है। यह सिग्नल ऑब्जेक्ट के अन्य उपयोग के मामलों के लिए समझ में आता है (एक छोटी जीवित वस्तु जो तारों के सिग्नल को उसके सिग्नल हैंडलर द्वारा जीवित नहीं रखा जाना चाहिए), लेकिन इस मामले में बहुत आश्चर्य की बात है।

मेरा विशिष्ट उपयोग मामला नए आवधिक कार्यों को जोड़ना आसान बनाने के लिए एक डेकोरेटर था:

def call_every_5_min(task):
    @app.on_after_configure.connect
    def register_task(sender, **_):
        sender.add_periodic_task(collect_every_m*60, task.signature())

<strong i="8">@call_every_5_min</strong>
<strong i="9">@task</strong>
def my_celery_task(_):
     pass

यह स्पष्ट रूप से एक मजबूत संदर्भ के लिए पूछना है:

def call_every_5_min(task):
    def register_task(sender, **_):
        sender.add_periodic_task(collect_every_m*60, task.signature())
    app.on_after_configure.connect(register_task, weak=False)

डॉक्स में उदाहरण केवल तभी काम करता है जब आपका सजाया गया फ़ंक्शन मॉड्यूल या क्लास स्कोप पर हो, जिस स्थिति में मॉड्यूल या क्लास फ़ंक्शन के लिए एक मजबूत संदर्भ रखता है। अन्यथा केवल मजबूत संदर्भ उस दायरे के अंत में मर जाएगा, जिसमें इसे परिभाषित किया गया है।

मैं weak=False पास करने के लिए डॉक्स बदलने की सलाह देता हूं, जो ऊपर सूचीबद्ध मामलों में काम करना चाहिए। मैं स्पष्ट रूप से एक Django संदर्भ में हालांकि यह परीक्षण नहीं किया है।

आवधिक कार्यों को चलाने के लिए, आपको -B विकल्प का उपयोग करके एक कार्यकर्ता को शुरू करते समय अनुसूचक को भी आमंत्रित करना होगा:

celery -A proj worker -B

Django अनुप्रयोगों, जहां कार्य क्षुधा से autodiscovered कर रहे हैं में अजवाइन का उपयोग करते समय, आप उपयोग करने की आवश्यकता on_after_finalize के बजाय संकेत on_after_configure ।

संदर्भ:
http://stackoverflow.com/questions/40712678/setup-periodic-task/40727526
http://stackoverflow.com/questions/41119053/connect-new-celery-periodic-task-in-django

मेरे प्रक्रिया python -m celery -A app_name worker -l info --autoscale=20,5 -BE के अंत में अवरुद्ध app_name.celery.py जब का उपयोग on_after_finalize ।

@ Liuallen1981 के साथ एक ही विन्यास और एक ही मुद्दा। किसी को भी पता है कि क्या हो रहा है। अभी के लिए मुझे उपयोग करना होगा

celery.conf.beat_schedule = {
    'do-something-periodically': {
        'task': 'tasks.my_task',
        'schedule': 3.0,
    },
}

on_after_configure.connect डेकोरेटर के साथ setup_periodic_tasks फ़ंक्शन का उपयोग करने के बजाय।

यह मेरे बदले काम करता है।

यदि आप इस समस्या को हल करने की कोशिश कर रहे हैं तो पहले अपने डॉक इंजन को रिबूट करें, यह सिग्नल बग हो सकता है

क्या हमें इस समस्या को बग के रूप में बंद करना चाहिए?

@ युवीपी निश्चित नहीं। लगता है यह अजवाइन बग है

यह एक बग है जिसे हमें ठीक करना चाहिए।