Celery: Des dizaines de milliers de tâches backend_cleanup exécutées chaque nuit depuis 22h42. Toutes les fonctions asynchrones cessent de fonctionner

Créé le 21 oct. 2017 · 3Commentaires · Source: celery/celery

Liste de contrôle

[x] J'ai inclus la sortie de celery -A proj report dans le numéro.
(si vous n'êtes pas en mesure de le faire, spécifiez au moins le céleri
version affectée).
[x] J'ai vérifié que le problème existe avec la branche master de Celery.

Mon application est développée en utilisant django1.11 et celery4.1[sqs]. Il est déployé sur Amazon AWS via Elastic Beanstalk. AWS SQS est le courtier.

Étapes à reproduire

Le problème apparaît tous les soirs vers 22h42, pendant environ 1 heure. Des dizaines de milliers de tâches backend_cleanup commencent à être exécutées. Selon la liste des résultats de la tâche dans l'administrateur, chaque tâche est exécutée avec succès. L'utilisation du processeur reste parfois à 100 %. Chaque page de l'application est difficile à ouvrir. 1 heure après le problème, l'utilisation du processeur est revenue à la normale. Cependant, les files d'attente se coincent. Aucune tâche delay() ne peut être exécutée. Je dois purger la file d'attente dans SQS, redémarrer l'application et recharger l'intégralité du code sur AWS Elastic Beanstalk. Ensuite, les tâches delay() seront exécutées normalement. Si je ne fais pas la purge, le redémarrage ou le re-téléchargement, aucune des tâches asynchrones ne sera exécutée. Même la tâche backendcleaup intégrée ne peut pas démarrer. Mon application n'a pas de tâches périodiques ou crontab, à l'exception de la tâche celery.backend_cleanup intégrée. Quelqu'un pourrait-il m'aider avec ce problème?

Comportement prévisible

J'ai besoin que l'ensemble de l'application s'exécute normalement une fois les tâches backend_cleanup terminées.

Comportement réel

Décrit dans les ## Étapes pour reproduire

céleri-sqs-worker-report.txt

Question

Source

aoerliang

Commentaire le plus utile

Vous pouvez simplement écraser le planning et éviter d'utiliser crontab :
'celery.backend_cleanup': { 'task': 'celery.backend_cleanup', 'schedule': 86400, # every 24 hours instead of crontab('0', '4', '*') which is used in celery beat 'options': {'expires': 12 * 3600}} ,

barbarakr le 18 mai 2018

👍2

Tous les 3 commentaires

Je viens de découvrir que le problème concerne probablement la tâche intégrée, celery.backend_cleanup. Je viens d'exécuter l'application dans l'environnement de développement local. Quand il était 22h42, d'énormes tâches backend_cleanup ont démarré et exécutées avec succès. Cependant, après quelques secondes, une erreur s'est produite. Voici l'erreur.

[2017-10-23 22:51:27,677: CRITICAL/MainProcess] Unrecoverable error: Exception('Request Empty body  HTTP 599  Server aborted the SSL handshake (None)',)
Traceback (most recent call last):
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/celery/worker/worker.py", line 203, in start
    self.blueprint.start(self)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/celery/bootsteps.py", line 119, in start
    step.start(parent)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/celery/bootsteps.py", line 370, in start
    return self.obj.start()
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/celery/worker/consumer/consumer.py", line 320, in start
    blueprint.start(self)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/celery/bootsteps.py", line 119, in start
    step.start(parent)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/celery/worker/consumer/consumer.py", line 596, in start
    c.loop(*c.loop_args())
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/celery/worker/loops.py", line 88, in asynloop
    next(loop)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/kombu/async/hub.py", line 354, in create_loop
    cb(*cbargs)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/kombu/async/http/curl.py", line 111, in on_readable
    return self._on_event(fd, _pycurl.CSELECT_IN)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/kombu/async/http/curl.py", line 124, in _on_event
    self._process_pending_requests()
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/kombu/async/http/curl.py", line 132, in _process_pending_requests
    self._process(curl, errno, reason)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/kombu/async/http/curl.py", line 178, in _process
    buffer=buffer, effective_url=effective_url, error=error,
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/vine/promises.py", line 150, in __call__
    svpending(*ca, **ck)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/vine/promises.py", line 143, in __call__
    return self.throw()
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/vine/promises.py", line 140, in __call__
    retval = fun(*final_args, **final_kwargs)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/vine/funtools.py", line 100, in _transback
    return callback(ret)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/vine/promises.py", line 143, in __call__
    return self.throw()
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/vine/promises.py", line 140, in __call__
    retval = fun(*final_args, **final_kwargs)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/vine/funtools.py", line 98, in _transback
    callback.throw()
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/vine/funtools.py", line 96, in _transback
    ret = filter_(*args + (ret,), **kwargs)
  File "/Users/user/code/accusize-021/lib/python3.4/site-packages/kombu/async/aws/connection.py", line 253, in _on_status_ready
    raise self._for_status(response, response.read())
Exception: Request Empty body  HTTP 599  Server aborted the SSL handshake (None)

Pendant ce temps, la file d'attente a disparu d'AWS SQS. Ensuite, quelques-unes des tâches backend_cleanup ont continué à s'exécuter. Et enfin, un avertissement est apparu.

[2017-10-23 22:51:28,967: WARNING/MainProcess] Restauration de 10 message(s) non acquittés

Et enfin, la connexion HTTPS à la file d'attente SQS s'est arrêtée. L'application n'a pas pu se reconnecter à SQS à moins que je ne redéploye l'application sur AWS Elastic Beanstalk.

Quelqu'un pourrait-il m'aider avec ce problème? Toute réponse sera grandement appréciée.

aoerliang le 24 oct. 2017

Je pense avoir résolu le problème. Le problème ne se produit jamais après avoir changé CELERY_RESULT_BACKEND en "redis" de "django-db", et changé CELERY_TIMEZONE en "UTC". Bien que les résultats de tâche dans Django Admin aient cessé d'ajouter des résultats de tâche, mon problème avait été en grande partie résolu.

aoerliang le 25 oct. 2017

barbarakr le 18 mai 2018

👍2

Cette page vous a été utile?

0 / 5 - 0 notes