Celery: [K8S] celery बीट और श्रमिकों के लिए linyProbe और readinessProbe

अजवाइन में एक निगरानी एपीआई है जिसका आप उपयोग कर सकते हैं।
एक फली को लाइव माना जाना चाहिए अगर अजवाइन कार्यकर्ता एक दिल की धड़कन भेजता है।
यदि श्रमिकों ने कार्यकर्ता-ऑनलाइन कार्यक्रम भेजा है, तो एक फली को तैयार माना जाना चाहिए।

यदि आपके पास विशिष्ट समस्याएं या सुविधा अनुरोध हैं, तो कृपया एक अलग समस्या खोलें।

क्या यह काम करेगा?

readinessProbe:
          exec:
            command:
            - "/bin/sh"
            - "-c"
            - "celery -A path.to.app status | grep -o ': OK'"
          initialDelaySeconds: 30
          periodSeconds: 10

@ 7wonders आपको पहले अजवाइन नोड नाम निकालने की आवश्यकता होगी। यदि कोई भी अजवाइन उदाहरण विफल रहता है जो आप नहीं चाहते हैं तो यह तत्परताप्रणाली विफल हो जाएगी।

@thedrow हम्म, मुझे लगता है कि यह वास्तव में है कि यह सफल होगा भले ही वास्तविक नोड विफल हो गया है लेकिन एक और एक ठीक है जो एक महान परिणाम भी नहीं है।

जैसा दिखता है

/bin/sh -c 'exec celery -A path.to.app inspect ping -d celery@$HOSTNAME' तत्परता की जांच के लिए पर्याप्त है और सिर्फ एक नोड की पुष्टि करता है।

सावधान रहें कि कुछ ऐप्स में, इस कमांड को चलाने में फुल सीपीयू का उपयोग करने में कुछ सेकंड का समय लग सकता है और कुबेरनेट्स डिफॉल्ट्स इसे हर 10 सेकंड में चलाना है।

इस प्रकार एक उच्च अवधि होने के लिए यह अधिक सुरक्षित है (हमारे पास 300 पर सेट है)।

@redbaron ने वह कमांड आपके लिए काम किया? यदि यह काम करता है तो लीनिंग और तत्परता के लिए सेटिंग्स क्या हैं?

किसी कारण से, यह तत्परता जांच हमारे लिए संतोषजनक नहीं है। निरीक्षण हमारे क्लस्टर पर कोई भार नहीं के साथ गैर-निर्धारक ढंग से प्रतिक्रिया करता है। हम इस तरह से प्रारूप चलाते हैं:

अजवाइन ping -b " redis: // archii-redis-master : 6379" -d अजवाइन @ अरची-कार्य-क्रॉल-एकीकरण-7d96d86b9d-jwtb7

और सामान्य पिंग समय (10 सेकंड) के साथ, हमारे क्लस्टर को पूरी तरह से सीपीयू अजवाइन की आवश्यकता होती है।

~ मैं ३० के अंतराल के साथ इसका उपयोग करता हूं: sh -c celery -A path.to.app status | grep "${HOSTNAME}:.*OK" ~
मैं 30 के अंतराल के साथ इसका उपयोग करता हूं: sh -c celery -A path.to.app inspect ping --destination celery@${HOSTNAME}
किसी भी अतिरिक्त भार का कारण नहीं लगता है, मैं 100 से अधिक श्रमिकों का बेड़ा चलाता हूं।

तत्परता जांच आवश्यक नहीं है, अजवाइन का उपयोग कभी भी एक सेवा में नहीं किया जाता है। मैंने सिर्फ minReadySeconds: 10 सेट किया है जो कि डिप्लॉयमेंट्स में वर्कर स्टार्टअप को देरी करने के लिए काफी अच्छा है, लेकिन यह स्पष्ट रूप से आपके प्रोजेक्ट के लिए सेलेरी के स्टार्टअप समय पर निर्भर करता है इसलिए लॉग की जांच करें और तदनुसार सेट करें।

यदि वे किसी सेवा में उपयोग नहीं किए जाते हैं तो भी तत्परता जांच अभी भी उपयोगी है। विशेष रूप से, जब आप श्रमिकों की तैनाती करते हैं और यह सुनिश्चित करना चाहते हैं कि आपकी तैनाती सफल रही, तो आप आमतौर पर kubectl rollout status deployment उपयोग करते हैं। तत्परता के बिना, हमने खराब कोड तैनात किया है जो अजवाइन शुरू नहीं करता था और यह नहीं जानता था।

मेरा समाधान था:

readinessProbe:
  exec:
    command:
      [
        "/usr/local/bin/python",
        "-c",
        "\"import os;from celery.task.control import inspect;from <APP> import celery_app;exit(0 if os.environ['HOSTNAME'] in ','.join(inspect(app=celery_app).stats().keys()) else 1)\""
      ]

दूसरों को काम नहीं लगता है

साभार @yardensachs!
डिबगिंग के लिए कई बार बिताएं जो अन्य समाधानों के साथ गलत है, लेकिन कोई रास्ता नहीं
celery inspect ping कमांड की तरह लगता है बाहर निकलने (0) या उस तरह से कुछ वापस नहीं करते हैं

celery inspect ping काम करता है, लेकिन आपको इस तरह पर्यावरण चर को बदलने के लिए bash है:

        livenessProbe:
          exec:
            # bash is needed to replace the environment variable
            command: [
              "bash",
              "-c",
              "celery inspect ping -A apps -d celery@$HOSTNAME"
            ]
          initialDelaySeconds: 30  # startup takes some time
          periodSeconds: 60  # default is quite often and celery uses a lot cpu/ram then.
          timeoutSeconds: 10  # default is too low

जानकर अच्छा लगा

हमने अपनी लीनिंग जांच से अजवाइन की पपड़ी का निरीक्षण किया, क्योंकि हमने पाया कि भारी भार के तहत, पिंग बस एक बार में मिनटों के लिए लटक जाएगा, भले ही नौकरियां ठीक से काम कर रही थीं और कोई बैकलॉग नहीं था। मुझे लग रहा है कि यह ईवेंटलेट का उपयोग करने के साथ कुछ करना था, लेकिन हम इसे देखना जारी रख रहे हैं।

@WillPlatnick यह 5.0 के साथ नहीं होगा क्योंकि सेलेरी

मैं inspect ping spawning दोषपूर्ण / ज़ोंबी प्रक्रियाओं से परेशान हूं:

root      2296  0.0  0.0      0     0 ?        Z    16:04   0:00 [python] <defunct>
root      2323  0.0  0.0      0     0 ?        Z    16:05   0:00 [python] <defunct>
...

किसी और से यह मुठभेड़? किसी एकल प्रक्रिया के निष्पादन के लिए --pool तर्क नहीं है।

क्या मैं पूछ सकता हूं कि आप celery inspect ping @WillPlatnick के बजाय क्या उपयोग कर रहे हैं? हमने भारी लोड के तहत जांच विफल होने के साथ एक समान समस्या का सामना किया है।

@mcyprian हमने

हम Redis ब्रोकर के साथ समान CPU समस्या को पूरा करते हैं

क्या किसी को समाधान मिला?
हम उस कंटेनर पर "debug_task" शेड्यूलिंग के साथ भी प्रयोग कर रहे थे, जिसे हम कंटेनर के नाम पर आधारित करते हैं। समस्या यह है कि अब हमारे पास रैबिटएमक्यू में कई पुरानी कतारें हैं

कृपया ध्यान रखें कि उपयोग कर रहे हैं

sh -c celery -A path.to.app status | grep "${HOSTNAME}:.*OK"

जैसा कि https://github.com/celery/celery/issues/4079#issuecomment -437415370 पर सुझाव दिया गया है कि खरगोशबीम पर बड़े पैमाने पर त्रुटि रिपोर्ट आएगी, https://github.com/celery/celery/issues-4355#issuecomment - देखें 578786369 है

मुझे लगता है कि मुझे निरीक्षण पिंग के सीपीयू उपयोग को कम करने का एक तरीका मिल गया है।

celery -b amqp: // उपयोगकर्ता: पास @ rabbitmq : 5672 / vhost पिंग निरीक्षण करें

अजवाइन को लोड नहीं करना कॉन्फ़िगर करता है।
कोई सत्यापित कर सकता है।

मुझे लगता है कि मुझे निरीक्षण पिंग के सीपीयू उपयोग को कम करने का एक तरीका मिल गया है।

celery -b amqp: // उपयोगकर्ता: पास @ rabbitmq : 5672 / vhost पिंग निरीक्षण करें

अजवाइन को लोड नहीं करना कॉन्फ़िगर करता है।
कोई सत्यापित कर सकता है।

अच्छा लगा! यह एप्लिकेशन लोड के साथ की तुलना में बहुत बेहतर है।
लेकिन हम अभी भी + अजवाइन आयात शुरू करने वाली एक अजगर प्रक्रिया का विशाल ओवरहेड प्राप्त करते हैं। मैं अभी भी एक उच्च अवधि की सिफारिश करूंगा।

नमस्ते,
अजवाइन का निरीक्षण पिंग -A app.tasks -d अजवाइन @ $ HOSTNAME मुझे "त्रुटि: प्रसारण परिवहन द्वारा समर्थित नहीं है" sqs '।
मैं SQS को ब्रोकर के रूप में उपयोग कर रहा हूं, तो इसका मतलब है कि SQS के साथ 'निरीक्षण' / 'स्टेटस' कमांड नहीं होगा?

हमने पाया है कि पैमाने पर, सभी रिमोट कंट्रोल सुविधाएँ kombu.pidbox कुंजी पर कमांड सेट करने के कारण सीपीयू में स्पाइक अप करने के लिए Redis आवृत्ति का कारण बन रही हैं, इसलिए हम पिंग, या स्थिति या निरीक्षण का उपयोग नहीं कर सकते हैं क्योंकि वे हैं सभी रिमोट कंट्रोल का उपयोग कर रहे हैं और उत्पादन उपयोग के मामले के लिए रिमोट कंट्रोल को अक्षम करने की कोशिश कर रहे हैं।

मुझे लगता है कि एक समर्पित स्वास्थ्य जांच कतार सही तरीका है, लेकिन मुझे यकीन नहीं है

किसी के पास कोई अन्य दिशा है जिसमें स्वास्थ्य जांच का परीक्षण करने के लिए रिमोट कंट्रोल शामिल नहीं है?

हम कुछ समय के लिए सफलतापूर्वक RabbitMQ बेदखली नीतियों (कतारें स्वतः हटा दी जाती हैं) के साथ समर्पित स्वास्थ्य जांच कतारों का उपयोग करते हैं, और हम समाधान से खुश हैं। ज्यादातर क्योंकि यह चेक वास्तव में जाँच कर रहा है कि कार्यकर्ता कार्य को पूरा करता है और समाप्त करता है। चूंकि हमने इसे पेश किया है, इसलिए हमें अटक श्रमिकों के साथ कोई और समस्या नहीं थी।

@bartoszhernas मन उसके लिए कुछ कोड साझा कर रहा है? क्या आप बीट के माध्यम से इनकी कतार लगाते हैं और श्रमिकों की तुलना में इसे उठाते हैं?

कोड को देखने के लिए प्यार होगा + जांच अनुभाग

नमस्ते, कोड वास्तव में आसान है:

कुबेरनेट्स में, मैं POD_NAME पर आधारित कतार नाम निर्दिष्ट करता हूं, और इसे लाइवचेक स्क्रिप्ट में पास करता हूं:

        livenessProbe:
          initialDelaySeconds: 120
          periodSeconds: 70
          failureThreshold: 1
          exec:
            command:
            - bash 
            - "-c" 
            - |
              python celery_liveness_probe.py $LIVENESS_QUEUE_NAME
        env:
        - name: MY_POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name

        - name: LIVENESS_QUEUE_NAME
          value: queue-$(MY_POD_NAME)

(आपको बैश -c का उपयोग करने की आवश्यकता है, क्योंकि कुबेरनेट्स ईएनवी का विस्तार नहीं करते हैं जब इसे सीधे कमांड के रूप में पारित करने की कोशिश की जाती है)

तब celery_liveness_probe.py सिर्फ Django की स्थापना कर रहा है जो सेलेरी का उपयोग करने में सक्षम हो और POD की कतार में कार्य शेड्यूल कर रहा हो

# encoding: utf-8
from __future__ import absolute_import, unicode_literals

import os
import sys

if __name__ == "__main__":
    import django

    sys.path.append(os.path.join(os.path.dirname(__file__), '..', '..'))
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "ahoy.archive.settings")
    django.setup()
    from ahoy.archive.apps.eventbus.service import eventbus_service

    exit(0 if eventbus_service.health_check(sys.argv[1] if sys.argv and len(sys.argv) > 1 else None) else 1)

स्वास्थ्य जांच फ़ंक्शन कार्य भेजता है और परिणामों की प्रतीक्षा करता है

    def health_check(self, queue_name: Optional[str] = None) -> bool:
        event = self.celery.send_task(
            AhoyEventBusTaskName.LIVENESS_PROBE,
            None,
            queue=queue_name or self.origin_queue,
            ignore_result=False,
            acks_late=True,
            retry=False,
            priority=255
        )

        try:
            is_success = event.get(timeout=10)
        except (celery.exceptions.TimeoutError, AttributeError):
            is_success = False

        return is_success

इसलिए मूल रूप से: एक कार्य भेजें, और यदि यह परिणाम देता है तो कार्यकर्ता स्वस्थ है। यदि कार्यकर्ता फंस गया (बहुत बार हुआ) तो कार्य कभी खत्म नहीं होते हैं, पॉड को फिर से शुरू किया जाता है और सब कुछ सामान्य हो जाता है।

एकमात्र चेतावनी यह है कि आपको पुरानी कतारों से निपटने की जरूरत है, RabbitMQ के साथ यह आसान है, हम सिर्फ कतार में समाप्ति की नीति निर्धारित करते हैं
https://www.rabbitmq.com/ttl.html#queue -ttl

@bartoszhernas कोड साझा करने के लिए धन्यवाद!

जैसे आपने कहा है कि मेरी कतारें गतिशील हैं और हम रेडिस का उपयोग कर रहे हैं - इसलिए हमें वास्तव में रेडिस पर कतार के नाम समाप्ति से निपटने का एक तरीका खोजने की आवश्यकता है

हाँ, हमारे पास Redis के साथ BullMQ के समान मुद्दा है। मेरा विचार कुबेरनेट्स के लिए क्रोनजॉब लिखना है जो हर बार कतारों को साफ करेगा।