Celery: पर्याप्त बहाव मुद्दा

क्या आप नवीनतम संस्करण चला रहे हैं? अगर किसी ने मशीन का समय क्षेत्र बदल दिया है तो आपको कार्यकर्ता/फूल को पुनरारंभ करना पड़ सकता है।

मेरे आईफोन से भेजा गया

18 जनवरी 2014 को शाम 5:00 बजे ऐश क्रिस्टोफर नोटिफिकेशन @github.com ने लिखा:

अन्य "पर्याप्त बहाव" मुद्दों के समान, मैं निम्नलिखित देख रहा हूं:

11:57:32 फूल.1 | [डब्ल्यू 140118 11:57:32 राज्य:163 ] सेलेरी@ vagrant.wave-local.com से पर्याप्त बहाव का मतलब यह हो सकता है कि घड़ियां सिंक से बाहर हैं। वर्तमान बहाव है
11:57:32 फूल.1 | 3600 सेकंड। [मूल: 2014-01-18 11:57:32.070727 आरईवी: 2014-01-18 12:57:32.069728]
11:57:32 फूल.1 |

11:57:34 फूल.1 | [डब्ल्यू 140118 11:57:34 राज्य:163 ] सेलेरी@ vagrant.wave-local.com से पर्याप्त बहाव का मतलब यह हो सकता है कि घड़ियां सिंक से बाहर हैं। वर्तमान बहाव है
11:57:34 फूल.1 | 3600 सेकंड। [मूल: 2014-01-18 11:57:34.657175 आरईवी: 2014-01-18 12:57:34.56147]
11:57:34 फूल.1 |

11:57:37 फूल.1 | [डब्ल्यू 140118 11:57:37 राज्य:163 ] सेलेरी@ vagrant.wave-local.com से पर्याप्त बहाव का मतलब यह हो सकता है कि घड़ियां सिंक से बाहर हैं। वर्तमान बहाव है
11:57:37 फूल.1 | 3600 सेकंड। [मूल: 2014-01-18 11:57:37.047058 आरईवी: 2014-01-18 12:57:37.045609]
11:57:37 फूल.1 |

11:57:39 फूल.1 | [डब्ल्यू 140118 11:57:39 राज्य:163 ] सेलेरी@ vagrant.wave-local.com से पर्याप्त बहाव का मतलब यह हो सकता है कि घड़ियां सिंक से बाहर हैं। वर्तमान बहाव है
11:57:39 फूल.1 | 3600 सेकंड। [मूल: 2014-01-18 11:57:39.054193 आरईवी: 2014-01-18 12:57:39.052635]

जैसा कि आप देख सकते हैं, कार्य सही समय पर बनाए जा रहे हैं, लेकिन यह कह रहा है कि यह एक घंटे बाद प्राप्त हुआ था। मुझे संदेह है कि यह एक डीएसटी मुद्दा है - क्या हमें लगता है कि यह फ्लॉवर एंड या सेलेरी मुद्दे पर एक समस्या है?

-
इस ईमेल का सीधे उत्तर दें या इसे GitHub पर देखें।

[vagrant<strong i="5">@vagrant</strong> wave_drop]$ pip freeze
...
celery==3.1.8
flower==0.6.0
...

मैं नवीनतम अजवाइन चला रहा हूँ। बॉक्स का समय क्षेत्र नहीं बदला गया है। ऐसा हर बार होता है जब फूल को अजवाइन के खिलाफ चलाया जाता है।

आपको पता लगाना चाहिए कि क्या Celery.utils.timeutils.utcoffset() प्रत्येक नोड के लिए सही मान देता है

मेरे आईफोन से भेजा गया

20 जनवरी 2014 को शाम 5:02 बजे ऐश क्रिस्टोफर ने नोटिफिकेशन @github.com पर लिखा:

[ आवारा@आवारा wave_drop]$ पाइप फ्रीज
...
अजवाइन == 3.1.8
फूल == 0.6.0
...
मैं नवीनतम अजवाइन चला रहा हूँ। बॉक्स का समय क्षेत्र नहीं बदला गया है। ऐसा हर बार होता है जब फूल को अजवाइन के खिलाफ चलाया जाता है।

-
इस ईमेल का सीधे उत्तर दें या इसे GitHub पर देखें।

यह वर्तमान में मेरी स्थानीय मशीन पर चल रहा है। जब मैं दौड़ता हूँ
Celery.utils.timeutils.utcoffset() यह 0 देता है।
21 जनवरी 2014 को सुबह 9:25 बजे, "आस्क सोलेम होल" नोटिफिकेशन @github.com ने लिखा:

आपको पता लगाना चाहिए कि क्या Celery.utils.timeutils.utcoffset() रिटर्न करता है
प्रत्येक नोड के लिए सही मान

मेरे आईफोन से भेजा गया

20 जनवरी 2014 को शाम 5:02 बजे, ऐश क्रिस्टोफर ने नोटिफिकेशन @github.com
लिखा था:

[ आवारा@आवारा wave_drop]$ पाइप फ्रीज
...
अजवाइन == 3.1.8
फूल == 0.6.0
...
मैं नवीनतम अजवाइन चला रहा हूँ। बॉक्स का समय क्षेत्र नहीं किया गया है
बदला हुआ। ऐसा हर बार होता है जब फूल को अजवाइन के खिलाफ चलाया जाता है।

-
इस ईमेल का सीधे उत्तर दें या इसे GitHub पर देखें।

-
इस ईमेल का सीधे उत्तर दें या इसे Gi tHub पर देखेंhttps://github.com/celery/celery/issues/1802#issuecomment -32888911
.

मुझे एक समान समस्या हो रही है। मैं अपनी पूरी Django सेटिंग्स में गुजर रहा हूँ।

Celery == 3.1.8
Django == 1.6.X
Flower == 0.6.0

मैं पीएसटी में हूँ।

[1] % date
Wed Jan 22 15:00:48 PST 2014

मेरी Django सेटिंग्स में, जिसे मैं --config='mysettings' के साथ सेलेरी में भेज रहा हूं, मेरे पास है:

TIME_ZONE = "America/New_York"

मैं एक ही विन्यास के साथ फूल शुरू करता हूं:

Current drift is
    10800 seconds.  [orig: 2014-01-22 15:03:12.572711 recv: 2014-01-22 12:03:12.571017]

यहां तक ​​​​कि जब मैं सेट करने का प्रयास करता हूं:

CELERY_ENABLE_UTC = True
CELERY_TIMEZONE = "UTC"

बहाव मौजूद है। हालांकि, अगर मैं अपनी Django सेटिंग्स में TIME_ZONE को America/Los_Angeles पर सेट करता हूं, तो बहाव खत्म हो जाता है। ऐसा लगता है कि सेलेरी वर्कर, फूल के बजाय, बदलते TIME_ZONE सेटिंग के प्रति संवेदनशील है।

मैंने अपनी सेटिंग फ़ाइल से प्रासंगिक जानकारी चिपका दी है।

TIME_ZONE = 'UTC'
USE_TZ = True

CELERY_ENABLE_UTC = True
CELERY_TIMEZONE = "UTC"

मैं टोरंटो ("अमेरिका/टोरंटो") में हूं।

मुझे आश्चर्य है कि शायद Django समय मॉड्यूल में टाइमज़ोन को संशोधित करता है।

ध्यान दें कि ईवेंट टाइमस्टैम्प TIME_ZONE, CELERY_ENABLE_UTC या डेटाटाइम से संबंधित किसी भी सेटिंग का उपयोग नहीं करता है, क्योंकि यह केवल मशीन के स्थानीय टाइमज़ोन का उपयोग कर रहा है।

हमें भी यह समस्या हो रही है।

ओह, और यह बिल्कुल _spams_ Loggly को आउटपुट लॉगिंग करता है, और रैकस्पेस से एक टन बैंडविड्थ बाहर। :( क्या यह वास्तव में कार्यकर्ता स्टार्टअप के बजाय हर एक कार्य पर लॉग इन करने की आवश्यकता है?

कृपया हमें इस संदेश को बंद करने का एक तरीका दें।

मेरी भी यही समस्या है।
Ubuntu 12.04.3 x64 . के साथ डिजिटल ओशन पर दो सर्वर चलाना

• turbo मशीन रेडिस चलाती है
• archiver मशीन केवल श्रमिकों को चलाती है और पोर्ट फ़ॉरवर्डिंग (लोकलहोस्ट पर रेडिस पोर्ट देखने के लिए) के साथ एसएसएच सुरंग से जुड़ी जा रही है।

कार्य लंबे समय से चल रहे हैं, प्रत्येक में कम से कम 300 सेकंड, कुछ कई गुना लंबे हैं। कोई भी कार्य 90 मिनट से अधिक नहीं चलता है।

"पर्याप्त बहाव" की सूचना केवल उस archiver मशीन पर दी जाती है।

रेडिस 2.2.12 का उपयोग करना (इतना थोड़ा पुराना - उस पैकेज का उपयोग करना जो मेरे उबंटू के साथ आता है)।

दोनों मशीनों पर लोड लगभग 8 से 10 है - turbo पर 3 कर्मचारी और archiver पर 4-5 कर्मचारी चल रहे हैं। प्रत्येक कार्यकर्ता के पास --autoscale=5,3 है। कार्य I/O गहन है, AWS S3 बकेट से डेटा पढ़ना और उन्हें वापस पोस्ट करना (इसलिए आमतौर पर HTTP ट्रैफ़िक), कभी-कभी 1GB बड़ी फ़ाइल (छोटे टुकड़ों में) पोस्ट करना।

मुझे निम्नलिखित सेटअप के साथ एक पर्याप्त बहाव समस्या भी मिलती है:

अजवाइन==3.1.10, फूल==0.6.0
मेरी मशीन "यूरोप/पेरिस" टाइमज़ोन पर है।

एक नियमित अजगर खोल पर:

import time
def utcoffset():
    if time.daylight:
        return time.altzone // 3600
    return time.timezone // 3600

-2 लौटाता है (इस समय हम वास्तव में UTC+2 पर हैं)।

celery shell , और पैरामीटर CELERY_ENABLE_UTC = True और CELERY_TIMEZONE = 'UTC' के साथ, from celery.utils.timeutils import utcoffset; utcoffset() 1 देता है।

celery events -d रिपोर्ट में ईवेंट utcoffset=1

लेकिन फूल रिपोर्ट:
Substantial drift from celery<strong i="22">@hostname</strong> may mean clocks are out of sync. Current drift is 3600 seconds. [orig: 2014-04-10 14:07:51.240687 recv: 2014-04-10 15:07:51.238797]

अगर मैं CELERY_TIMEZONE को किसी और चीज़ पर स्विच करता हूं तो कोई प्रभाव नहीं पड़ता है ..

मैं इससे विशेष रूप से नाराज नहीं हूँ, मैं बस समझने की कोशिश कर रहा हूँ!

@NotSqrt क्या आप Django का उपयोग कर रहे हैं? मुझे लगता है कि Django को टाइमज़ोन पर कुछ साइड इफेक्ट देखकर याद आ रहा है, शायद यह कुछ प्रकार की पैचिंग करता है?

मैं Django का उपयोग करता हूं, तो हाँ, यह हो सकता है।

ठीक है: अगर मैं अपनी मशीन के टाइमज़ोन में django पैरामीटर TIME_ZONE सेट करता हूं, तो पर्याप्त बहाव संदेश गायब हो जाता है। अगर मैं इसे किसी और चीज़ (यूटीसी, प्रशांत/ताहिती या कहीं और) पर सेट करता हूं, तो फूल हर समय 3600 सेकेंड के वर्तमान बहाव की रिपोर्ट करता है ..

यह निश्चित रूप से Django है जो यह कर रहा है:

$ python manage.py shell
>>> from django.conf import settings
>>> settings.TIME_ZONE
'America/Chicago'
>>> import time, datetime
>>> time.timezone
21600
>>> time.altzone
18000
>>> str(datetime.datetime.fromtimestamp(time.time()))
>>> '2014-05-30 07:48:39.947606'

Django के बिना:

 $ python
 >>> import time, datetime
 >>> time.timezone
 0
 >>> time.altzone
 -3600
 >>> str(datetime.datetime.fromtimestamp(time.time()))
 '2014-05-30 13:49:38.935562'

तो django इन्हें किसी तरह बदल रहा है

मुझे ध्यान देना चाहिए (भविष्य के लोगों के लिए जो इस मुद्दे को गुगल करके ढूंढते हैं) यह है कि यह 3.1.9 और 3.1.10 का एक साथ उपयोग करते समय भी आ सकता है:

>>> import celery
>>> celery.__version__
'3.1.9'
>>> from celery.utils import timeutils
>>> timeutils.utcoffset()
-4

बनाम:

>>> import celery
>>> celery.__version__
'3.1.10'
>>> from celery.utils import timeutils
>>> timeutils.utcoffset()
4

@wolever , मुझे लगता है कि आपको एक और हालिया संस्करण में अपग्रेड करने की आवश्यकता है, यह शायद कम से कम 3.1.9 से बाद में तय किया गया था।

लेकिन ठीक है, हाँ, आप संस्करण मिश्रण कर रहे हैं, तुरंत स्पष्ट नहीं हो सकता है, इसलिए लोगों को यह सत्यापित करने के लिए याद दिलाना अच्छा विचार है कि उन्होंने सभी मेजबानों को अपग्रेड कर दिया है :)

मैं अभी भी यह देखता हूँ

USE_TZ = सत्य
TIME_ZONE = 'एशिया/सियोल'
CELERY_ENABLE_UTC = सत्य
CELERY_TIMEZONE = 'एशिया/सियोल'

अजवाइन संस्करण 3.1.18
फूल 0.8.2

जब मैं अपने ubuntu बॉक्स में 'तारीख' चलाता हूं
यह यूटीसी में समय दिखाता है, => मुझे substantial drift दिखाई देता है

टाइमज़ोन KST के साथ एक और ubuntu बॉक्स => कोई महत्वपूर्ण बहाव संदेश नहीं

@pcompassion क्या ntpd सही तरीके से कॉन्फ़िगर किया गया है?

1. 
   
   1. 
      
      
      1. (월) 17:11:06 केएसटी (उबंटू बॉक्स जो कोई चेतावनी संदेश नहीं दिखाता है)
      
      
      
   
   
2. 
   
   1. 
      
      
      1. (월) 08:11:45 यूटीसी (त्रुटि संदेश के साथ ubuntu बॉक्स)
      
      
      
   
   

वे सही दिखते हैं।

मैं अभी भी इसे देख रहा हूँ:

WARNING 2015-07-29 15:50:26,590 state 20212 140561769498432 Substantial drift from celery@together-dev may mean clocks are out of sync.  Current drift is
7200 seconds.  [orig: 2015-07-29 15:50:26.504807 recv: 2015-07-29 13:50:26.503507]

सर्वर इन सेटिंग्स के साथ UTC है:

CELERY_ENABLE_UTC = True
TIME_ZONE = 'Europe/Stockholm'
USE_TZ = True

कृपया अजवाइन संस्करण शामिल करें, मैंने बहुत समय पहले इसके साथ एक समस्या का समाधान किया था

मैं 7 मशीन पर एनटीपी के साथ Django Django == 1.8.1, अजवाइन == 3.1.18 चला रहा हूँ।
प्रत्येक मशीन अलग-अलग कतारों से उपभोग करने वाले ~ 10 श्रमिकों को चला रही है, श्रमिकों में से एक बहाव पैदा कर रहा है और प्रत्येक मशीन पर सभी कतारों के सभी कर्मचारी बहाव के बारे में शिकायत करते रहते हैं और वे कार्यों का उपभोग नहीं कर रहे हैं।

Celery@CELERY_ADMINMGRQ_appv से पर्याप्त बहाव का मतलब यह हो सकता है कि घड़ियां सिंक से बाहर हैं। वर्तमान बहाव 17 सेकंड है

क्या मैं एक कार्यकर्ता को बाहर कर सकता हूं और पूरे सिस्टम को नीचे नहीं ला सकता?

मेरा मानना ​​है कि निम्नलिखित पंक्ति अपराधी है:

https://github.com/celery/celery/blob/def92d580fe7a2c42fcc5f47feed802fd6f7ff48/celery/utils/timeutils.py#L359

पायथन प्रलेखन के अनुसार, यदि डीएसटी परिभाषित किया गया है तो समय। दिन का प्रकाश गैर-शून्य है:

https://docs.python.org/2/library/time.html#time.daylight

हालांकि, सेलेरी उस मूल्य का इलाज कर रहा है जैसे कि इसका मतलब है कि स्थानीय समय वर्तमान में डेलाइट सेविंग टाइम या मानक समय में है। मेरे पास अभी अमेरिका/न्यू_यॉर्क समय क्षेत्र में एक मशीन सेट है और समय। डेलाइट रिटर्न 1 भले ही हम वर्तमान में ईएसटी ईडीटी में नहीं हैं। इसके कारण यहां सर्दियों में utcoffset() विधि एक-एक करके बंद हो जाती है, जिसके कारण एक घंटे में एडजस्ट_टाइमस्टैम्प गलत हो जाता है।

इसे ठीक करने के लिए, मेरा सुझाव है कि सेलेरी में हर जगह स्थानीय समय के उपयोग को छोड़ दें और केवल सभी टाइमस्टैम्प के लिए UTC का उपयोग करें। मुझे विश्वास है कि इससे चीजें बहुत सरल हो जाएंगी!

नीस कैच @rbarlow ।
मैं केवल यूटीसी का उपयोग करने से पूरी तरह सहमत हूं। यह एक समय की तरह चलती लक्ष्यों से निपटने के दौरान कुछ स्थिर रखने में मदद करता है (भले ही यह केवल टाइमज़ोन ऑफ़सेट हो)। मैं कई टाइमज़ोन में बनाई और संसाधित की जा रही यातायात जानकारी से निपट रहा हूं और यूटीसी में टाइमस्टैम्प रखे बिना यह एक बड़ी गड़बड़ी होगी।
दूसरी ओर, किसी को ऐसा करने के लिए कोड में गोता लगाना पड़ता है और यह काम की चुनौतीपूर्ण मात्रा हो सकती है (शायद कोड की कम पंक्तियों में बेहतर कामकाजी समाधान लिखा जा रहा है)।

मेरा मानना ​​है कि यह https://github.com/celery/celery/commit/85fbe12567eeb6e675c4ca0af963c199cdc2793e द्वारा तय किया गया था

और यह पैच 3.1.20 का हिस्सा है, इसलिए कृपया अपग्रेड करने का प्रयास करें :)

घटनाएं वास्तव में किसी भी चीज़ के लिए टाइमस्टैम्प का उपयोग नहीं करती हैं, लेकिन घटना के मानव समय को फ़ॉलबैक ऑर्डरिंग के रूप में प्रदर्शित करती हैं, इसलिए मैंने बस सबसे सरल पिछड़ा संगत समाधान खोजने की कोशिश की जो मुझे मिल सके।

पाइट्ज़/डेटाटाइम का उपयोग करने से बहुत सारे ओवरहेड जुड़ गए जो एक समस्या थी जब हमें 4 गुना अधिक घटनाओं को संसाधित करना पड़ता था, क्योंकि क्लस्टर में कार्य होते हैं।

3.1.20 को मुझे कभी-कभी मिलता है जैसे Substantial drift from celery<strong i="5">@saver</strong> may mean clocks are out of sync. Current drift is 17 seconds. [orig: 2016-03-02 20:31:10.494412 recv: 2016-03-02 20:30:53.695555] भी (3.1.19 को)। होस्ट टाइमज़ोन यूटीसी है। ntp स्थापित है और ntpdate -q pool.ntp.org offset 0.002794 sec $ . दिखाता है

मैं भी ! @फ़िलेस्ट +1

@ask यह दूर नहीं जाएगा एह?

जोड़ना,

USE_TZ = False
TIME_ZONE = 'Asia/Kolkata'

django सेटिंग्स और जोड़ने के लिए,
CELERY_TIMEZONE = 'Asia/Kolkata'
फिर अजवाइन और uwsgi को फिर से शुरू करके, मेरे लिए समस्या हल कर दी

इससे कोई फर्क नहीं पड़ता कि घड़ियां वास्तव में एनटीपी द्वारा सिंक की जाती हैं। घड़ी का बहाव संदेश में टाइमस्टैम्प और हमें इसे प्राप्त करने के समय पर आधारित होता है।

इसलिए यदि कार्यकर्ता घटनाओं के साथ तालमेल बिठाने में सक्षम नहीं है, और उन्हें बहुत देर से संसाधित करता है, तो बहाव की चेतावनी तैयार की जाएगी।

इससे बचने के लिए आपको CELERY_EVENT_QUEUE_TTL, CELERY_EVENT_QUEUE_EXPIRES सेटिंग सेट करनी चाहिए (ये 4.0 में डिफ़ॉल्ट रूप से सक्षम हो जाएंगी)

हमने आज अजवाइन संस्करण 3.1.23 के साथ ऐसा होते हुए भी देखा है !!!
अजवाइन (3.1.23)

2017-01-25 11:36:07,506: चेतावनी/मुख्य प्रक्रिया] [email protected] से पर्याप्त बहाव का मतलब यह हो सकता है कि घड़ियां सिंक से बाहर हैं। वर्तमान बहाव है
842 सेकंड। [मूल: 2017-01-25 11:36:07.015840 आरईवी: 2017-01-25 11:22:05.133577]

क्या आपने 4.x में अपग्रेड करने का प्रयास किया?

मेरे पास एक ही समस्या थी, लेकिन $ celery flower से $ celery proj flower में बदलकर इसे ठीक कर दिया।

नमस्ते,
दुर्भाग्य से मेरे पास एक ही मुद्दा है ...

अजवाइन संस्करण: 4.0.2
Django संस्करण: 1.10.6

USE_TZ = True
TIME_ZONE = 'Israel'
enable_utc = True
timezone = 'Israel'

[2017-06-21 14:52:59,483: WARNING/MainProcess] Substantial drift from celery@2fcd73b4-6bf3-4f39-8e8b-f157d4548bf5 may mean clocks are out of sync. Current drift is 10800 seconds. [orig: 2017-06-21 14:52:59.483377 recv: 2017-06-21 17:52:59.470257]

@maxandron प्रदान की गई जानकारी इस मुद्दे को डीबग करने के लिए पर्याप्त नहीं है। कृपया इस समस्या को डीबग करने के लिए हमारे लिए आवश्यक जानकारी के साथ एक नया मुद्दा खोलें।

@thedrow उत्तर के लिए धन्यवाद, किस प्रकार की जानकारी सहायक होगी?

@maxandron एक नया मुद्दा खोलते समय चेकलिस्ट देखें।
साथ ही, कृपया अपने पास मौजूद कोई भी ntpd कॉन्फ़िगरेशन शामिल करें।

मुझे यह चेतावनी मिली और सेट टाइमज़ोन के साथ ठीक नहीं कर सकता, आखिरकार मैंने पाया कि मैंने केवल कार्यकर्ता को पुनरारंभ किया लेकिन वेब ऐप को पुनरारंभ नहीं किया ...

इससे कोई फर्क नहीं पड़ता कि घड़ियां वास्तव में एनटीपी द्वारा सिंक की जाती हैं। घड़ी का बहाव संदेश में टाइमस्टैम्प और हमें इसे प्राप्त करने के समय पर आधारित होता है।

इसलिए यदि कार्यकर्ता घटनाओं के साथ तालमेल बिठाने में सक्षम नहीं है, और उन्हें बहुत देर से संसाधित करता है, तो बहाव की चेतावनी तैयार की जाएगी।

इससे बचने के लिए आपको CELERY_EVENT_QUEUE_TTL, CELERY_EVENT_QUEUE_EXPIRES सेटिंग सेट करनी चाहिए (ये 4.0 में डिफ़ॉल्ट रूप से सक्षम हो जाएंगी)

@पूछो । कैसे सुनिश्चित करें कि कार्यकर्ता घटनाओं के साथ बना रह सकता है? यह मेरे साथ तब हुआ जब मैंने अपने कार्यकर्ता को 100 और उससे अधिक तक बढ़ाया.. क्या मुझे अपने रैबिटएमक्यू के संसाधन को बढ़ाना चाहिए जो मेरे सेलेरी वर्कर्स पर ब्रोकर के रूप में कार्य करता है?

मैं अजवाइन 4.2.0 . का उपयोग कर रहा हूँ

कृपया ऐसे प्रश्नों के लिए मेलिंग सूची, आईआरसी या स्टैक ओवरफ्लो का उपयोग करें।