Celery: रात 10:42 बजे से हर रात दसियों हज़ार बैकएंड_क्लीनअप कार्यों को अंजाम दिया गया। सभी async फ़ंक्शन काम करना बंद कर देते हैं

को निर्मित 21 अक्तू॰ 2017 · 3टिप्पणियाँ · स्रोत: celery/celery

जांच सूची

[x] मैंने इश्यू में celery -A proj report का आउटपुट शामिल किया है।
(यदि आप ऐसा करने में सक्षम नहीं हैं, तो कम से कम अजवाइन निर्दिष्ट करें
संस्करण प्रभावित)।
[x] मैंने सत्यापित किया है कि समस्या सेलेरी की master शाखा के खिलाफ मौजूद है।

मेरा ऐप django1.11 और Celery4.1[sqs] का उपयोग करके विकसित किया गया है। इसे इलास्टिक बीनस्टॉक के माध्यम से Amazon AWS पर तैनात किया गया है। AWS SQS ब्रोकर है।

प्रजनन करने कि प्रक्रिया

यह समस्या हर रात लगभग 10:42 बजे दिखाई देती है, जो लगभग 1 घंटे तक चलती है। दसियों हज़ार बैकएंड_क्लीनअप कार्य निष्पादित होने लगते हैं। व्यवस्थापक में कार्य परिणामों की सूची के अनुसार, प्रत्येक कार्य सफलतापूर्वक निष्पादित किया जाता है। CPU उपयोग कभी-कभी 100% पर रहता है। ऐप का हर पेज खोलना मुश्किल है। समस्या के 1 घंटे बाद, CPU उपयोग वापस सामान्य हो जाता है। हालांकि कतारें लग रही हैं। किसी भी देरी () कार्यों को निष्पादित नहीं किया जा सकता है। मुझे एसक्यूएस में कतार को शुद्ध करना है, ऐप को फिर से शुरू करना है, और पूरे कोड को एडब्ल्यूएस लोचदार बीनस्टॉक पर फिर से अपलोड करना है। फिर देरी () कार्यों को सामान्य रूप से निष्पादित किया जाएगा। अगर मैं पर्जिंग, री-स्टार्टिंग या री-अपलोडिंग नहीं करता, तो कोई भी एसिंक्स कार्य निष्पादित नहीं किया जाएगा। यहां तक कि अंतर्निहित बैकएंडक्लअप कार्य भी प्रारंभ नहीं हो सकता। मेरे ऐप में बिल्ट-इन सेलेरी.बैकएंड_क्लीनअप टास्क को छोड़कर कोई आवधिक या क्रॉन्टाब कार्य नहीं है। क्या कोई इस मुद्दे पर मेरी मदद कर सकता है?

अपेक्षित व्यवहार

बैकएंड_क्लीनअप कार्य समाप्त होने के बाद मुझे सामान्य रूप से प्रदर्शन करने के लिए पूरे ऐप की आवश्यकता है।

वास्तविक व्यवहार

## पुन: पेश करने के चरणों में वर्णित

अजवाइन-वर्ग-कार्यकर्ता-report.txt

Question

स्रोत

aoerliang

सबसे उपयोगी टिप्पणी

आप बस शेड्यूल को ओवरराइट कर सकते हैं और क्रॉस्टैब का उपयोग करने से बच सकते हैं:
'celery.backend_cleanup': { 'task': 'celery.backend_cleanup', 'schedule': 86400, # every 24 hours instead of crontab('0', '4', '*') which is used in celery beat 'options': {'expires': 12 * 3600}} ,

barbarakr 18 मई 2018

👍2

सभी 3 टिप्पणियाँ

मैंने अभी पाया है कि समस्या शायद अंतर्निहित कार्य, सेलेरी.बैकएंड_क्लीनअप के बारे में है। मैंने अभी स्थानीय विकास पर्यावरण में ऐप चलाया है। जब रात के 10:42 बज रहे थे, तो जबरदस्त बैकएंड_क्लीनअप कार्य शुरू हुए और सफलतापूर्वक निष्पादित किए गए। हालाँकि, कुछ सेकंड के बाद, एक त्रुटि हुई। यहाँ त्रुटि है।

[2017-10-23 22:51:27,677: CRITICAL/MainProcess] Unrecoverable error: Exception('Request Empty body  HTTP 599  Server aborted the SSL handshake (None)',)
Traceback (most recent call last):
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/celery/worker/worker.py", line 203, in start
    self.blueprint.start(self)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/celery/bootsteps.py", line 119, in start
    step.start(parent)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/celery/bootsteps.py", line 370, in start
    return self.obj.start()
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/celery/worker/consumer/consumer.py", line 320, in start
    blueprint.start(self)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/celery/bootsteps.py", line 119, in start
    step.start(parent)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/celery/worker/consumer/consumer.py", line 596, in start
    c.loop(*c.loop_args())
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/celery/worker/loops.py", line 88, in asynloop
    next(loop)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/kombu/async/hub.py", line 354, in create_loop
    cb(*cbargs)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/kombu/async/http/curl.py", line 111, in on_readable
    return self._on_event(fd, _pycurl.CSELECT_IN)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/kombu/async/http/curl.py", line 124, in _on_event
    self._process_pending_requests()
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/kombu/async/http/curl.py", line 132, in _process_pending_requests
    self._process(curl, errno, reason)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/kombu/async/http/curl.py", line 178, in _process
    buffer=buffer, effective_url=effective_url, error=error,
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/vine/promises.py", line 150, in __call__
    svpending(*ca, **ck)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/vine/promises.py", line 143, in __call__
    return self.throw()
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/vine/promises.py", line 140, in __call__
    retval = fun(*final_args, **final_kwargs)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/vine/funtools.py", line 100, in _transback
    return callback(ret)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/vine/promises.py", line 143, in __call__
    return self.throw()
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/vine/promises.py", line 140, in __call__
    retval = fun(*final_args, **final_kwargs)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/vine/funtools.py", line 98, in _transback
    callback.throw()
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/vine/funtools.py", line 96, in _transback
    ret = filter_(*args + (ret,), **kwargs)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/kombu/async/aws/connection.py", line 253, in _on_status_ready
    raise self._for_status(response, response.read())
Exception: Request Empty body  HTTP 599  Server aborted the SSL handshake (None)

इस बीच, एडब्ल्यूएस एसक्यूएस से कतार गायब हो गई। फिर कुछ बैकएंड_क्लीनअप कार्य निष्पादित होते रहे। और अंत में, एक चेतावनी दिखाई दी।

[२०१७-१०-२३ २२:५१:२८,९६७: चेतावनी/मुख्य प्रक्रिया] १० अनजाने संदेशों को पुनर्स्थापित करना

और अंत में, SQS कतार से HTTPS कनेक्शन बंद हो गया। ऐप एसक्यूएस से फिर से कनेक्ट नहीं हो सका जब तक कि मैं ऐप को एडब्ल्यूएस लोचदार बीनस्टॉक में दोबारा तैनात नहीं करता।

क्या कोई इस मुद्दे पर मेरी मदद कर सकता है? किसी भी प्रतिक्रिया की काफी सराहना की जाएगी।

aoerliang 24 अक्तू॰ 2017

मुझे लगता है कि मैंने इस मुद्दे को हल कर लिया है। समस्या तब नहीं होती जब मैंने CELERY_RESULT_BACKEND को "django-db" से "redis" में बदल दिया और CELERY_TIMEZONE को "UTC" में बदल दिया। हालांकि Django Admin में कार्य परिणामों ने किसी भी कार्य परिणाम को जोड़ना बंद कर दिया, मेरी समस्या का मुख्य रूप से समाधान हो गया था।

aoerliang 25 अक्तू॰ 2017