Gunicorn: लंबे समय से चल रहे अनुरोधों के बाद तत्काल कार्यकर्ता समयबाह्य

@Jwpe उत्कृष्ट बग रिपोर्ट।

पहली चीज जो मैं देखूंगा वह यह है कि यदि आप एक ग्रीन'ड पोस्टग्रेएसक्यूएल ड्राइवर का उपयोग कर रहे हैं। एक विशिष्ट संस्करण हुआ करता था जिसे आपको इस काम को सही ढंग से करने के लिए बंदर पैच के साथ उपयोग करने की आवश्यकता होती थी। मैं अभी चीजों की वर्तमान स्थिति नहीं जानता। लेकिन आपके द्वारा चिपकाया गया टाइमआउट एक कार्यकर्ता टाइमआउट है और एसिंक श्रमिकों में से एक है जो मूल रूप से "एक ग्रीनलेट $ टाइमआउट सेकेंड से अधिक के लिए नहीं निकला है"। यह देखते हुए कि आप लंबे समय से चल रहे PostgreSQL अनुरोधों का वर्णन कर रहे हैं जो कि पहली जगह है जिसकी मैं जांच करूंगा।

@davisp इस पर त्वरित प्रतिक्रिया के लिए धन्यवाद!

आपके पॉइंटर के बाद, मैंने psycopg2 एडेप्टर पर एक नज़र डाली - जिसका उपयोग हम अपने Django ऐप को पोस्टग्रेज़ से जोड़ने के लिए करते हैं - और दस्तावेज़ीकरण के इस खंड की खोज की जिसमें कहा गया है:

चेतावनी: Psycopg कनेक्शन हरे धागे से सुरक्षित नहीं हैं और अलग-अलग हरे धागे एक साथ उपयोग नहीं किए जा सकते हैं। प्रति थ्रेड एक कर्सर का उपयोग करके एक समय में एक से अधिक कमांड निष्पादित करने का प्रयास करने के परिणामस्वरूप एक त्रुटि होगी (या 2.4.2 से पहले के संस्करणों पर गतिरोध)।
इसलिए, प्रोग्रामर को सलाह दी जाती है कि या तो कोरआउटिन के बीच कनेक्शन साझा करने से बचें या साझा कनेक्शन को सिंक्रनाइज़ करने के लिए लाइब्रेरी-फ्रेंडली लॉक का उपयोग करें, उदाहरण के लिए पूलिंग के लिए।

दूसरे शब्दों में - psycopg2 को हरे धागे पसंद नहीं हैं। हमारे सामने आए व्यवहार के आधार पर, मुझे लगता है कि यह त्रुटि का स्रोत है। इस समस्या से निपटने का सुझाया गया तरीका, psycopg डॉक्स के अनुसार, एक पुस्तकालय का उपयोग करना है जो coroutines के लिए psycopg समर्थन को सक्षम बनाता है। अनुशंसित पुस्तकालय साइकोग्रीन है ।

मैं साइकोग्रीन लाइब्रेरी का उपयोग करके अपने परीक्षण सर्वर पर इस मुद्दे को फिर से बनाने का प्रयास करूंगा, और देखूंगा कि क्या यह समस्या हल करता है। उम्मीद है कि मैं अपेक्षाकृत जल्द ही कुछ परिणामों की रिपोर्ट करने में सक्षम हो जाऊंगा।

@Jwpe वह हुक जैसा दिखता है जिसे मैं याद कर रहा था।

@benoitc शायद हमें इसे Gunicorn डॉक्स में कहीं कॉल करना चाहिए? हालांकि पूरी तरह से निश्चित नहीं है कि सबसे अच्छी जगह कहाँ होगी।

@davisp शायद अक्सर पूछे जाने वाले प्रश्न अनुभाग में?

hmppff क्षमा करें यह पहले से मौजूद था (http://docs.gunicorn.org/en/latest/faq.html) तो हो सकता है कि हमारे पास वहां से "समस्या निवारण" अनुभाग का लिंक हो। यकीन नहीं हो रहा है, लेकिन हम ऐसे सेक्शन में वर्चुअलएन्व और अन्य ट्रिक्स के बारे में कोई भी जानकारी ले सकते हैं।

शायद एक चेतावनी या "ग्रीन थ्रेड्स के बारे में नोट्स" पृष्ठ। सुपर प्रेसिंग नहीं।

मैं लगभग वही सटीक व्यवहार देख रहा था जो हरोकू पर गीवेंट वर्कर्स और कुछ अन्य लोगों के साथ गनिकोर्न चला रहा था, इसलिए मैंने सिंक्रोनस वर्कर्स पर स्विच किया, जैसा कि इस थ्रेड पर अनुशंसित है और अभी भी मूल रूप से वही गंभीर समस्या देख रहा था। मुझे H12 30 सेकंड का हरोकू कटऑफ मिलेगा और फिर H12 और [CRITICAL] Worker Timeout त्रुटियों को दोहराया जाएगा जब तक कि मैं पूरे डायनो को रीसेट नहीं करता (कभी-कभी एक घंटे या उससे अधिक बाद में या अधिकतम-अनुरोध हिट होने तक)। इसलिए मैंने गनिकोर्न टाइमआउट को 28 सेकंड तक समायोजित किया ताकि हेरोकू द्वारा इसे काटने से पहले यह टाइमआउट हो जाए। एक ही (या बहुत समान) समस्या दिन में एक या दो बार हो रही है और मास्टर प्रक्रिया के फिर से शुरू होने तक बनी रहती है, केवल इस बार यह H13 (कनेक्शन बंद) से शुरू होती है क्योंकि गनिकोर्न इसे काट रहा है। उस समय के दौरान यातायात में कोई महत्वपूर्ण वृद्धि नहीं होती है।

यहाँ मेरी वर्तमान प्रोफाइल प्रविष्टि है:

web: newrelic-admin run-program gunicorn publisher.wsgi -b 0.0.0.0:$PORT -w 4 --max-requests 1000 --timeout 28 --preload

घटनाओं की श्रृंखला का विवरण:

सबसे पहले, मुझे कुछ अनुरोध मिलते हैं जो वास्तव में लंबा (5+ सेकंड) लगते हैं, फिर एक अनुरोध H12 टाइमआउट (कार्यकर्ता टाइमआउट इसे काट देता है) के साथ विफल हो जाता है और कुछ और अनुरोध समाप्त हो जाएंगे, लेकिन असाधारण रूप से लंबे समय के साथ (20) सेकंड)। तब से यह शुद्ध एच 11 30 सेकेंड हेरोकू कटऑफ है जब तक कि मैं डायनो को पुनरारंभ नहीं करता।

हम अपने वेबसर्वर के रूप में गनिकोर्न (v 18.0) का उपयोग करते हैं (जो अजगर/डीजेंगो चलाता है)।

हम newrelic चलाते हैं, जो डाउनटाइम और अत्यधिक उन्नत अनुरोध कतारबद्ध समय दिखाता है, लेकिन कोई अन्य अंतर्दृष्टि प्रदान नहीं करता है। थ्रूपुट या अन्य असामान्य स्थितियों में कोई स्पाइक्स नहीं थे जिन्हें मैं एनआर में देख सकता हूं। हम लॉग प्रोसेसिंग के लिए और त्रुटि ईमेल भेजने के लिए पेपरट्रेल का उपयोग करते हैं।

Oct 15 15:08:53 nutrislice-stockton heroku/router: at=info method=GET path=/marketingtools/api/slides/?format=json-p&callback=_jqjsp&_1381871332239= host=oldham.nutrislice.com fwd="74.138.24.95" dyno=web.2 connect=15ms service=216ms status=200 bytes=21 Oct 15 15:08:54 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/menutypes/?format=json-p&callback=_jqjsp&_1381871332232= host=oldham.nutrislice.com fwd="74.138.24.95" dyno=web.2 connect=2ms service=90ms status=200 bytes=231 Oct 15 15:08:56 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/schools/?format=json-p&callback=_jqjsp&_1381871323514= host=oldham.nutrislice.com fwd="74.138.24.95" dyno=web.2 connect=3ms service=94ms status=200 bytes=5986 Oct 15 15:09:03 nutrislice-stockton heroku/router: at=info method=HEAD path=/heartbeat/ host=stockton.nutrislice.com fwd="54.247.188.179" dyno=web.2 connect=3ms service=23ms status=200 bytes=0 Oct 15 15:09:13 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/settings/?format=json-p&callback=_jqjsp&_1381871237946= host=pcsb.nutrislice.com fwd="66.87.110.127" dyno=web.2 connect=5ms service=166ms status=200 bytes=468 Oct 15 15:09:20 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/settings/?format=json-p&callback=_jqjsp&_1381871323611= host=oldham.nutrislice.com fwd="74.138.24.95" dyno=web.2 connect=6ms service=183ms status=200 bytes=453 Oct 15 15:09:40 nutrislice-stockton heroku/router: at=info method=GET path=/ host=nps.nutrislice.com fwd="74.190.240.28" dyno=web.2 connect=1ms service=260ms status=200 bytes=35951 Oct 15 15:09:55 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/api/list/school-menu-profile/87/menu-type/43/?format=json-p&callback=jQuery18008709754704032093_1381871379465&_=1381871393589 host=nps.nutrislice.com fwd="74.190.240.28" dyno=web.2 connect=15ms service=129ms status=200 bytes=400 Oct 15 15:09:55 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/api/list/school-menu-profile/306/menu-type/187/?format=json-p&callback=jQuery180013075259909965098_1381873891397&_=1381873896600 host=sdhc.nutrislice.com fwd="72.186.96.121" dyno=web.2 connect=2ms service=33ms status=200 bytes=486 Oct 15 15:10:00 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/186/?smp=257 host=coppellisd.nutrislice.com fwd="76.199.114.157" dyno=web.2 connect=7ms service=103ms status=200 bytes=323 Oct 15 15:10:00 nutrislice-stockton app/web.2: INFO http://stockton.nutrislice.com/heartbeat/ Pinged from IP: 10.190.159.205 -- AGENT: NewRelicPinger/1.0 (269661) Oct 15 15:10:00 nutrislice-stockton heroku/router: at=info method=HEAD path=/heartbeat/ host=stockton.nutrislice.com fwd="50.112.95.211" dyno=web.2 connect=1ms service=10ms status=200 bytes=0 Oct 15 15:10:09 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/239/?smp=341 host=edenpr.nutrislice.com fwd="75.73.177.139" dyno=web.2 connect=8ms service=334ms status=200 bytes=277 Oct 15 15:10:16 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/395/?smp=306 host=sdhc.nutrislice.com fwd="72.186.96.121" dyno=web.2 connect=1ms service=96ms status=200 bytes=245 Oct 15 15:10:20 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/391/?smp=305 host=sdhc.nutrislice.com fwd="173.170.34.126" dyno=web.2 connect=32ms service=5207ms status=200 bytes=290 Oct 15 15:10:22 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/350/?smp=305 host=sdhc.nutrislice.com fwd="173.170.34.126" dyno=web.2 connect=60ms service=7676ms status=200 bytes=1147 Oct 15 15:10:31 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/258/?smp=341 host=edenpr.nutrislice.com fwd="75.73.177.139" dyno=web.2 connect=42ms service=517ms status=200 bytes=26974 Oct 15 15:10:43 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/schools/?format=json-p&callback=_jqjsp&_1381871432885= host=ocps.nutrislice.com fwd="71.47.21.97" dyno=web.2 connect=1490ms service=9883ms status=200 bytes=1565 Oct 15 15:10:52 nutrislice-stockton heroku/router: at=error code=H13 desc="Connection closed without response" method=GET path=/ host=jordandistrict.nutrislice.com fwd="71.199.48.37" dyno=web.2 connect=1959ms service=29230ms status=503 bytes=0 Oct 15 15:10:52 nutrislice-stockton app/web.2: 2013-10-15 21:10:50 [2] [CRITICAL] WORKER TIMEOUT (pid:12) Oct 15 15:10:52 nutrislice-stockton app/web.2: 2013-10-15 21:10:50 [2] [CRITICAL] WORKER TIMEOUT (pid:12) Oct 15 15:10:52 nutrislice-stockton app/web.2: 2013-10-15 21:10:50 [26] [INFO] Booting worker with pid: 26 Oct 15 15:10:52 nutrislice-stockton app/web.2: 2013-10-15 21:10:50,930 (26/MainThread) newrelic.core.agent INFO - New Relic Python Agent (2.0.0.1) Oct 15 15:10:54 nutrislice-stockton heroku/router: at=info method=GET path=/surveys/api/activesurveycount/?format=json-p&callback=_jqjsp&_1381871433429= host=henrico.nutrislice.com fwd="96.248.5.53" dyno=web.2 connect=1181ms service=20074ms status=200 bytes=32 Oct 15 15:10:55 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/schooltypes/?format=json-p&callback=_jqjsp&_1381871433374= host=henrico.nutrislice.com fwd="96.248.5.53" dyno=web.2 connect=1136ms service=20393ms status=200 bytes=142 Oct 15 15:11:01 nutrislice-stockton app/web.2: using heroku production settings Oct 15 15:11:01 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/utils/hashcompat.py:9: DeprecationWarning: django.utils.hashcompat is deprecated; use hashlib instead Oct 15 15:11:01 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:11:01 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/settings/?format=json-p&callback=_jqjsp&_1381871432922= host=ocps.nutrislice.com fwd="71.47.21.97" dyno=web.2 connect=1435ms service=23198ms status=200 bytes=486 Oct 15 15:11:03 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/conf/urls/defaults.py:3: DeprecationWarning: django.conf.urls.defaults is deprecated; use django.conf.urls instead Oct 15 15:11:03 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:11:05 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/schooltypes/?format=json-p&callback=_jqjsp&_1381871443300= host=martinschools.nutrislice.com fwd="99.114.229.202" dyno=web.2 connect=1089ms service=20040ms status=200 bytes=268 Oct 15 15:11:10 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/weeks/school-menu-profile/135/menu-type/63/2013/10/14/?format=json-p&callback=_jqjsp&_1381871439548= host=henrico.nutrislice.com fwd="96.248.5.53" dyno=web.2 connect=1018ms service=30001ms status=503 bytes=0 Oct 15 15:11:15 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/sales/?format=json-p&callback=_jqjsp&_1381871443267= host=martinschools.nutrislice.com fwd="99.114.229.202" dyno=web.2 connect=1096ms service=30001ms status=503 bytes=0 Oct 15 15:11:15 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/schools/?format=json-p&callback=_jqjsp&_1381871443296= host=martinschools.nutrislice.com fwd="99.114.229.202" dyno=web.2 connect=1108ms service=30000ms status=503 bytes=0 Oct 15 15:11:23 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/weeks/school-menu-profile/48/menu-type/21/2013/10/14/?format=json-p&callback=_jqjsp&_1381871449451= host=martinschools.nutrislice.com fwd="99.114.229.202" dyno=web.2 connect=1114ms service=31756ms status=200 bytes=48771 Oct 15 15:11:26 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/sales/?format=json-p&callback=_jqjsp&_1381871455129= host=pcsb.nutrislice.com fwd="66.87.110.127" dyno=web.2 connect=990ms service=30001ms status=503 bytes=0 Oct 15 15:11:26 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/schools/?format=json-p&callback=_jqjsp&_1381871455291= host=pcsb.nutrislice.com fwd="66.87.110.127" dyno=web.2 connect=1028ms service=30008ms status=503 bytes=0 Oct 15 15:11:31 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menuwidgets/179/?smp=6 host=cusdnutrition.nutrislice.com fwd="68.99.246.16" dyno=web.2 connect=2492ms service=30000ms status=503 bytes=0 Oct 15 15:11:32 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menuwidgets/192/?smp=6 host=cusdnutrition.nutrislice.com fwd="68.99.246.16" dyno=web.2 connect=2713ms service=30003ms status=503 bytes=0 Oct 15 15:11:39 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/ host=hebisd.nutrislice.com fwd="38.107.226.1" dyno=web.2 connect=2115ms service=30001ms status=503 bytes=0 Oct 15 15:11:45 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/weeks/school-menu-profile/44/menu-type/19/2013/10/14/?format=json-p&callback=_jqjsp&_1381871472583= host=pcsb.nutrislice.com fwd="66.87.110.127" dyno=web.2 connect=2168ms service=30000ms status=503 bytes=0 Oct 15 15:11:48 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/marketingtools/api/active-announcements/?format=json-p&callback=_jqjsp&_1381871476287= host=sdhc.nutrislice.com fwd="65.34.72.116" dyno=web.2 connect=1927ms service=30000ms status=503 bytes=0 Oct 15 15:11:48 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/surveys/api/activesurveycount/?format=json-p&callback=_jqjsp&_1381871476543= host=sdhc.nutrislice.com fwd="65.34.72.116" dyno=web.2 connect=2117ms service=30000ms status=503 bytes=0 Oct 15 15:11:48 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/schooltypes/?format=json-p&callback=_jqjsp&_1381871476481= host=sdhc.nutrislice.com fwd="65.34.72.116" dyno=web.2 connect=2111ms service=30009ms status=503 bytes=0 Oct 15 15:11:50 nutrislice-stockton app/web.2: 2013-10-15 15:11:32,597 (26/NR-Activate-Session/nutrislice-stockton) newrelic.core.data_collector INFO - Successfully registered New Relic Python agent where app_name='nutrislice-stockton', pid=26, redirect_host='collector-2.newrelic.com' and agent_run_id=474482914, in 40.26 seconds. Oct 15 15:11:50 nutrislice-stockton app/web.2: INFO Successfully registered New Relic Python agent where app_name='nutrislice-stockton', pid=26, redirect_host='collector-2.newrelic.com' and agent_run_id=474482914, in 40.26 seconds. Oct 15 15:11:52 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/marketingtools/api/active-announcements/?format=json-p&callback=_jqjsp&_1381871480294= host=sdhc.nutrislice.com fwd="65.34.72.116" dyno=web.2 connect=1689ms service=30006ms status=503 bytes=0 Oct 15 15:11:55 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/settings/?format=json-p&callback=_jqjsp&_1381871482566= host=henrico.nutrislice.com fwd="72.84.233.45" dyno=web.2 connect=2067ms service=30004ms status=503 bytes=0 Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:41 [2] [CRITICAL] WORKER TIMEOUT (pid:26) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:41 [2] [CRITICAL] WORKER TIMEOUT (pid:26) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:41 [29] [INFO] Booting worker with pid: 29 Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:41,067 (29/MainThread) newrelic.core.agent INFO - New Relic Python Agent (2.0.0.1) Oct 15 15:11:57 nutrislice-stockton app/web.2: using heroku production settings Oct 15 15:11:57 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/utils/hashcompat.py:9: DeprecationWarning: django.utils.hashcompat is deprecated; use hashlib instead Oct 15 15:11:57 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:44 [2] [CRITICAL] WORKER TIMEOUT (pid:23) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:44 [2] [CRITICAL] WORKER TIMEOUT (pid:23) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:44 [32] [INFO] Booting worker with pid: 32 Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:44,154 (32/MainThread) newrelic.core.agent INFO - New Relic Python Agent (2.0.0.1) Oct 15 15:11:57 nutrislice-stockton app/web.2: using heroku production settings Oct 15 15:11:57 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/utils/hashcompat.py:9: DeprecationWarning: django.utils.hashcompat is deprecated; use hashlib instead Oct 15 15:11:57 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:48 [2] [CRITICAL] WORKER TIMEOUT (pid:14) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:48 [2] [CRITICAL] WORKER TIMEOUT (pid:14) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:48 [35] [INFO] Booting worker with pid: 35 Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:48,273 (35/MainThread) newrelic.core.agent INFO - New Relic Python Agent (2.0.0.1) Oct 15 15:11:57 nutrislice-stockton app/web.2: using heroku production settings Oct 15 15:11:57 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/utils/hashcompat.py:9: DeprecationWarning: django.utils.hashcompat is deprecated; use hashlib instead Oct 15 15:11:57 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:11:57 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/353/?smp=306 host=sdhc.nutrislice.com fwd="72.186.96.121" dyno=web.2 connect=21ms service=76ms status=200 bytes=255 Oct 15 15:12:00 nutrislice-stockton app/web.2: 2013-10-15 21:11:54 [2] [CRITICAL] WORKER TIMEOUT (pid:13) Oct 15 15:12:00 nutrislice-stockton app/web.2: 2013-10-15 21:11:54 [2] [CRITICAL] WORKER TIMEOUT (pid:13) Oct 15 15:12:00 nutrislice-stockton app/web.2: 2013-10-15 21:11:54 [38] [INFO] Booting worker with pid: 38 Oct 15 15:12:00 nutrislice-stockton app/web.2: 2013-10-15 21:11:54,388 (38/MainThread) newrelic.core.agent INFO - New Relic Python Agent (2.0.0.1) Oct 15 15:12:00 nutrislice-stockton app/web.2: using heroku production settings Oct 15 15:12:01 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/utils/hashcompat.py:9: DeprecationWarning: django.utils.hashcompat is deprecated; use hashlib instead Oct 15 15:12:01 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:12:02 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/conf/urls/defaults.py:3: DeprecationWarning: django.conf.urls.defaults is deprecated; use django.conf.urls instead Oct 15 15:12:02 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:12:03 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menuwidgets/353/?smp=306 host=sdhc.nutrislice.com fwd="108.9.154.78" dyno=web.2 connect=3650ms service=30006ms status=503 bytes=0 Oct 15 15:12:03 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menuwidgets/395/?smp=306 host=sdhc.nutrislice.com fwd="108.9.154.78" dyno=web.2 connect=3581ms service=30006ms status=503 bytes=0 Oct 15 15:12:06 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/settings/?format=json-p&callback=_jqjsp&_1381871492466= host=canyonsdistrict.nutrislice.com fwd="174.52.155.49" dyno=web.2 connect=3582ms service=30001ms status=503 bytes=0 Oct 15 15:12:09 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/mobile/api_version/?deviceType=iphone host=pasco.nutrislice.com fwd="173.65.148.9" dyno=web.2 connect=3837ms service=30004ms status=503 bytes=0 Oct 15 15:12:11 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/mobile/api_version/?deviceType=iphone host=canyonsdistrict.nutrislice.com fwd="174.52.155.49" dyno=web.2 connect=3987ms service=30001ms status=503 bytes=0 Oct 15 15:12:11 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/schools/?format=json-p&callback=_jqjsp&_1381871497105= host=canyonsdistrict.nutrislice.com fwd="174.52.155.49" dyno=web.2 connect=3962ms service=30001ms status=503 bytes=0 Oct 15 15:12:11 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/menutypes/?format=json-p&callback=_jqjsp&_1381871497128= host=canyonsdistrict.nutrislice.com fwd="174.52.155.49" dyno=web.2 connect=4020ms service=30007ms status=503 bytes=0
और H12 टाइम-आउट और [क्रिटिकल] वर्कर टाइमआउट का यह "डेथ-सर्पिल" तब तक जारी रहता है जब तक कि मास्टर प्रक्रिया फिर से शुरू नहीं हो जाती।

कोई विचार अगर यह वही समस्या है या एक अलग है? ठीक करने के लिए कोई सुझाव? मुझे लगता है कि चूंकि समय समाप्त होने के बाद गनिकोर्न कार्यकर्ता प्रक्रियाओं को मार रहा है और उन्हें नए सिरे से शुरू कर रहा है कि वे सामान्य रूप से चीजों को संसाधित करना शुरू कर पाएंगे, लेकिन ऐसा लगता है कि उसके बाद भी अनुरोध नहीं मिल रहे हैं। शायद यह एक हेरोकू मुद्दा है।

:+1: इस समस्या को भी देख रहे हैं।

मैं इस मुद्दे को Heroku . पर भी देख रहा हूँ

@sprynmr @richardkeen क्या आप जिस तरह से गनिकोर्न लॉन्च कर रहे हैं और कोई लॉग आप साझा कर सकते हैं? इससे समस्या को ठीक करने में काफी मदद मिलेगी।

@nebstrebor क्या होगा यदि आप अनुरोधों की संख्या को सीमित नहीं करते हैं?

हम इसे इस तरह लॉन्च कर रहे थे:
web: newrelic-admin run-program python manage.py run_gunicorn -b "0.0.0.0:$PORT" --log-level=DEBUG -w 3 -k gevent --max-requests 250

लॉग-लेवल DEBUG के साथ भी हमें लॉग के रास्ते में बहुत कुछ नहीं मिला कि क्या हो रहा था। gevent का उपयोग न करने से अभी हमारे लिए समस्या का समाधान हो गया है, लेकिन यह आदर्श नहीं है।

@sprynmr क्या होगा यदि आप अनुरोधों की अधिकतम संख्या हटा दें? इसके अलावा gevent का कौन सा संस्करण?

हम 1.0rc2 । अनुरोधों की अधिकतम संख्या के बारे में अनिश्चित। वास्तव में इसे अभी हमारे उत्पादन परिवेश के लिए वापस चालू नहीं करना चाहते हैं।

अनुरोध टाइमआउट पर हेरोकू पृष्ठ पढ़ना वे एप्लिकेशन टाइमआउट well under 30 seconds, such as 10 or 15 सेट करने का सुझाव देते हैं। क्या आपने गनिकोर्न में टाइमआउट पैरामीटर का उपयोग करके सुझाव का प्रयास किया था?

वैसे भी gevent के साथ दिखने वाली समस्या शायद कनेक्शन को संभालने के तरीके के कारण है। कार्यकर्ता का वर्तमान संस्करण इस ग्रीनलेट के किसी वास्तविक पर्यवेक्षण के बिना एक ग्रीनलेट/स्वीकृत कनेक्शन पैदा कर रहा है। संभवतः क्या होता है कि स्वीकृत सॉकेट में से एक लंबे समय तक प्रतीक्षा कर रहा होगा, और कोई अन्य घटना नहीं संभाली जाती है, जिससे गनिकोर्न कार्यकर्ता पुनरारंभ हो जाता है। लेकिन मुझे जांचना है ..

दिलचस्प। नहीं, हमने इसकी कोशिश नहीं की।

: +1: मैं इसे अपने आवेदन पर भी देख रहा हूं। @Jwpe / @sprynmr क्या आपको कभी इस समस्या का समाधान मिला? ऐसा लगता है कि इस मुद्दे पर कोई गतिविधि हुए 2 महीने से अधिक समय हो गया है। मैं यह जानने के लिए उत्सुक हूं कि क्या आपको समस्या का समाधान करने के लिए कुछ मिला है।

धन्यवाद!

@dencold क्या आपने https://github.com/benoitc/gunicorn/issues/588#issuecomment -29267541 की कोशिश की

मेरे पास उसकेोकू में कोई खाता नहीं है इसलिए यह सुनिश्चित नहीं है कि यह क्या करता है। क्या आपके पास भी वही लॉग हैं?

हाय @benoitc , त्वरित प्रतिक्रिया के लिए बहुत बहुत धन्यवाद। लॉग बिल्कुल वैसी ही हैं जैसी @Jwpe और @nebstrebor ने रिपोर्ट की थी। मुझे प्रासंगिक बिट्स को बाहर निकालने और उन्हें यहां जोड़ने में खुशी हो रही है यदि इससे समस्या को अलग करने में मदद मिलेगी, तो बस मुझे बताएं।

मैं आपकी पिछली टिप्पणी से आपकी सलाह लेने जा रहा हूं और गनिकोर्न टाइमआउट को उसकेोकू राउटर टाइमआउट से कम होने के लिए कॉन्फ़िगर करता हूं और देखता हूं कि इससे मदद मिलती है या नहीं। सलाह के लिये धन्यवाद।

इस कैस्केडिंग विफलता के वास्तविक कारण का पता लगाना मददगार होगा। एक कार्यकर्ता को विफल होते देखना और फिर पूरे गनिकोर्न सर्वर को पूरी तरह से अनुत्तरदायी देखना वास्तव में अजीब है। मुझे बताएं कि क्या निदान में मदद करने के लिए मैं कुछ कर सकता हूं। मैं इस टाइमआउट को स्थानीय रूप से पुन: उत्पन्न करने में सक्षम नहीं हूं। ऐसा लगता है कि केवल उसकेोकू इंफ्रास्ट्रक्चर पर होता है।

क्षमा करें @dencold मुझे कभी समाधान नहीं मिला। एक बहुत ही गहरा रहस्यमय बग लग रहा था, और मेरे पास इससे लड़ने का समय नहीं था। यह देखने के लिए उत्सुक होंगे कि क्या टाइमआउट बिट आपकी मदद करता है। वापस रिपोर्ट करें।

@dencold क्या आप भी नए अवशेष का उपयोग कर रहे हैं?

@benoitc हाँ, हम नए अवशेष का भी उपयोग कर रहे हैं।

@dencold इसी तरह, हमने कभी भी इस मुद्दे को सफलतापूर्वक हल नहीं किया। हमारे पास यह पता लगाने के लिए समय नहीं था कि त्रुटियों का कारण क्या था, और मूल अनुरोधों की अवधि को कम करने पर ध्यान केंद्रित करने की आवश्यकता थी। हालांकि, त्रुटि की गंभीर प्रकृति - चूंकि यह उपयोगकर्ता के सामने थी - ने हमें अंतरिम में समस्या से बचने के लिए WSGI सर्वर स्विच करने के लिए प्रेरित किया। इसलिए हमने समस्या को और वर्गीकृत करने के लिए कोई और प्रयोग नहीं किया है।

@Jwpe क्या आपने कम से कम प्रस्तावित समाधान की कोशिश की? इसके अलावा परिणाम अजीब है और मैं इसे कभी भी गनिकोर्न के साथ पुन: पेश नहीं करता हूं।

मेरे पास कटऑफ का समय 15 सेकंड तक था और अभी भी समस्या देख रहा था

रविवार, 26 जनवरी 2014 को, बेनोइट चेसनेउ नोटिफिकेशन @github.com
लिखा था:

@Jwpe https://github.com/Jwpe क्या आपने कम से कम प्रस्तावित कोशिश की?
समाधान? इसके अलावा परिणाम अजीब है और मैं इसे कभी भी गनिकोर्न के साथ पुन: पेश नहीं करता हूं
अपने आप।

-
इस ईमेल का सीधे उत्तर दें या इसे Gi tHub पर देखेंhttps://github.com/benoitc/gunicorn/issues/588#issuecomment -33316333
.

बेन रॉबर्ट्स
सीटीओ
न्यूट्रिस्लाइस, इंक।
866-524-3444 एक्सटेंशन 702
[email protected]

@Jwpe / @nebstrebor इस मुद्दे पर वापस आने के लिए बहुत बहुत धन्यवाद।

@benoitc हमने अपने हरोकू उदाहरण पर प्रस्तावित टाइमआउट समाधान लागू किया है। मैं आने वाले दिनों में इस पर कड़ी नजर रखूंगा। यदि नया टाइमआउट होने के बाद मुझे वही समस्या दिखाई देती है तो मैं वापस पोस्ट करूंगा।

मदद के लिए सभी को फिर से धन्यवाद। यह जानकर अच्छा लगा कि इस समस्या का सामना करने वाला मैं अकेला नहीं हूं। आशा है कि हम कारण की तह तक जा सकते हैं।

@benoitc सिर्फ यह रिपोर्ट करना चाहता था कि कम समय के साथ लगभग दो सप्ताह हो गए हैं। हमने कुछ वर्कर टाइमआउट देखे हैं, लेकिन कोई भी ऐसा नहीं है जिसके कारण पूरी गनिकोर्न प्रक्रिया अनुत्तरदायी हो जाती है। ऐसा लगता है कि समस्या हल हो गई है, लेकिन मुझे अभी भी यकीन नहीं है कि 30 के टाइमआउट पहले स्थान पर कैस्केडिंग त्रुटि क्यों पैदा कर रहे थे।

बस आपको तैनात रखना चाहता था। यहाँ सभी मदद के लिए फिर से धन्यवाद!

एक ही [क्रिटिकल] वर्कर टाइमआउट त्रुटि होने के कारण रास्पबेरी पीआई में गनिकोर्न के साथ Django चल रहा है।

कोई समाचार नहीं।

मुझे वही [क्रिटिकल] वर्कर टाइमआउट मिल रहा है।
मुद्दा यह है कि कार्यकर्ता के वास्तविक टाइमआउट (लंबे अनुरोध) के बाद, बंदूकधारी कार्यकर्ता को मारता है और नए को जन्म देने का प्रयास करता है, लेकिन नया कार्यकर्ता टाइमआउट सीमा के भीतर शुरू नहीं कर सकता है और उस स्थान तक नहीं पहुंचता है जहां यह माता-पिता की प्रक्रिया को सूचित करता है कि यह है रहते हैं, इसलिए गनिकोर्न इसे बार-बार मारता है :(। हमारे मामले में यह मुद्दा गीवेंट और संतरी से संबंधित था (https://github.com/getsentry/raven-python/issues/305)। संतरी बस स्टार्टअप पर लटका रहता है .
बीटीडब्ल्यू कार्यकर्ता प्रारंभ समय के लिए अलग टाइमआउट और एक कार्यकर्ता के भीतर कुछ अतिरिक्त लॉग के लिए सहायक होगा कि यह "टाइमआउट" समय के भीतर शुरू नहीं हो सकता है।

सिंक वर्कर को छोड़कर टाइमआउट अनुरोध टाइमआउट नहीं है। अन्य कार्यकर्ता लंबे अनुरोधों को संभालने के बावजूद भी मध्यस्थ के लिए दिल की धड़कन करते हैं। उस मामले में टाइमआउट समय स्टार्टअप टाइमआउट समय है।

एक मायने में, गनिकोर्न में कोई "अनुरोध टाइमआउट" नहीं है।

हां, वर्कर टाइमआउट async में अनुरोध टाइमआउट से अलग है। लेकिन बिना किसी फ़ंक्शन कॉल के लंबे समय तक चलने वाले अनुरोध जहां async "संदर्भ स्विचिंग" हो सकता है (जैसे "सॉकेट - रीड / राइट") कार्यकर्ता टाइमआउट के कारण हैं। और इसके अलावा कार्यकर्ता स्टार्टअप (जहां कोई अनुरोध नहीं है) पर टाइमआउट हो सकता है। लेकिन गनिकोर्न लॉग में उन 2 अलग-अलग मामलों को अलग करने का कोई तरीका नहीं है, केवल एक संदेश "वर्कर टाइमआउट" है।

क्या हमें अनुरोध टाइमआउट सेटिंग जोड़नी चाहिए? इससे लंबे स्टार्टअप वाले ऐप्स वर्कर टाइमआउट को टक्कर देंगे।

ऐसा मत सोचो, क्योंकि
1) अनुरोध रन-टाइम मापना कठिन है, हम भीख मांगने और अनुरोध के अंत में समय अंतर का उपयोग नहीं कर सकते हैं।
2) जैसा कि मुझे पता है कि "निष्पादन इकाइयों" (संदर्भ स्विच के बीच चलने वाले कोड की मात्रा) के टाइमआउट को पकड़ना संभव नहीं है।

फिर कोई सुझाव?

यदि यह समस्या केवल वैध टाइमआउट और संभावित कैस्केडिंग के कारण है
सर्वर लोड के कारण टाइमआउट जो पहले रन पर मौजूद नहीं है, वहाँ है
यहाँ कुछ करना है? या यह मुद्दा बंद करने योग्य है और इसे बेहतर तरीके से संभाला जाता है
बुनियादी ढांचे के एक अलग स्तर पर परिचालन?
जुला 30, 2014 1:14 pm पर, "Mkrtich" [email protected] लिखा है:

ऐसा मत सोचो, क्योंकि
1) अनुरोध रन-टाइम मापना कठिन है, हम समय अंतर का उपयोग नहीं कर सकते हैं
भीख मांगना और अनुरोध के अंत में।
2) जैसा कि मैं "निष्पादन इकाइयों" (कोड की मात्रा) के टाइमआउट को पकड़ना जानता हूं
जो संदर्भ स्विच के बीच चलता है) gevent में संभव नहीं है।

-
इस ईमेल का सीधे उत्तर दें या इसे GitHub पर देखें
https://github.com/benoitc/gunicorn/issues/588#issuecomment -50673040।

सुझाव है कि 2 टाइमआउट पैरामीटर और 2 अलग-अलग लॉग हों।
1) एक वर्तमान टाइमआउट पैरामीटर है जो केवल अनुरोध से निपटने के दौरान काम करेगा।
2) दूसरा वर्कर स्टार्टअप टाइमआउट होगा।

यह समस्या भी देख रहे हैं

हमने हेरोकू के लिए यूडब्ल्यूएसजीआई पर स्विच करना समाप्त कर दिया है और बेहतर सफलता मिली है ... गनिकोर्न के लिए कोई फिक्स नहीं है, मुझे एहसास है, लेकिन मुझे लगा कि यह सुझाव किसी ऐसे व्यक्ति के लिए उपयोगी हो सकता है जो इस मुद्दे को अपने उत्पादन सर्वर पर देख रहा है और बाद में जल्द से जल्द समाधान की आवश्यकता है .

@nebstrebor क्या आपने टाइमआउट कम करने के सुझाव का प्रयास किया था?

@CrazyPython टिकट बंद कर दिया गया है। क्या आप एक नया टिकट खोल सकते हैं जो आपके पास मौजूद समस्या का वर्णन करता है और हम इसे कैसे पुन: पेश कर सकते हैं? यह निश्चित रूप से यह पता लगाने में मदद करेगा कि क्या यह वही मुद्दा है, कुछ और और सह :)

हां, इससे कोई फर्क नहीं पड़ा, जैसा कि ऊपर बताया गया है। समस्या छिटपुट थी
पर्याप्त (पुन: उत्पन्न करने में सक्षम नहीं था) और इतना विनाशकारी कि हमें करना पड़ा
वह कदम उठाएं (यह एक वर्ष से अधिक हो गया है)। हालांकि मुझे वास्तव में Gunicorn पसंद है,
और हम इसे बिना किसी समस्या के हेरोकू के बाहर उपयोग करते हैं।

बेन रॉबर्ट्स
सीटीओ और सह-संस्थापक
न्यूट्रिस्लाइस, इंक।
[email protected]
सेल - 801-735-7845

मंगलवार, 30 जून, 2015 को सुबह 8:08 बजे, बेनोइट चेसनेउ नोटिफिकेशन @github.com
लिखा था:

@nebstrebor https://github.com/nebstrebor अच्छी तरह से आपने कोशिश की
टाइमआउट कम करने का सुझाव?

@CrazyPython https://github.com/CrazyPython टिकट बंद कर दिया गया है।
क्या आप एक नया टिकट खोल सकते हैं जो आपकी समस्या का वर्णन करता है और हम कैसे कर सकते हैं
इसे पुन: पेश करें? यह निश्चित रूप से यह पता लगाने में मदद करेगा कि क्या यह वही मुद्दा है,
कुछ और और सह :)

-
इस ईमेल का सीधे उत्तर दें या इसे GitHub पर देखें
https://github.com/benoitc/gunicorn/issues/588#issuecomment -117199606।

मुझे लगता है कि हम इस मुद्दे को भी देख रहे हैं। दोनों कार्यकर्ता (--वर्कर्स 2) कुछ लंबे समय तक चलने वाले अनुरोधों पर लटक गए, अंततः मारे गए (--टाइमआउट 20), और हम तुरंत दो एच 13 देखते हैं, और फिर हमें एच 12 और वर्कर टाइमआउट पुनरारंभ होना शुरू हो जाता है। अगले 10 मिनट में, यह जारी रहा, श्रमिकों ने समय समाप्त होने और पुनः आरंभ करने से पहले अनुरोध को सफलतापूर्वक संसाधित नहीं किया। इसलिए, हमने डायनो को फिर से शुरू किया, और इसने इसे ठीक कर दिया।

एक दिलचस्प बात जो मैंने देखी कि मैंने किसी और को नोट नहीं देखा - हम दो H13s (बिना प्रतिक्रिया के कनेक्शन बंद) देखते हैं, और फिर जब हमने अंततः SIGTERM जारी किया, तो हमने H13s - 48 की बाढ़ देखी सटीक होने के लिए, जो हमारे द्वारा देखे गए वर्कर टाइमआउट की समान संख्या है (पहले दो को छोड़कर जिनके लिए हमने तत्काल एच 13 देखा)। मुझे बिल्कुल यकीन नहीं है कि इसका क्या मतलब है, लेकिन यह संदिग्ध लगता है ....

H13s या H12s क्या है? क्या यह उसकेोकू से कुछ है? पोर्ट कैसे दिया जाता है जिस पर गनिकोर्न बंधा होगा? मुझे संदेह है कि उसकेोकू प्रॉक्सी यह पता नहीं लगा रहा है कि सॉकेट बंद है।

इसके अलावा आप किस कार्यकर्ता का उपयोग कर रहे हैं?

हाँ, वे हरोकू त्रुटि कोड हैं:
H12 - अनुरोध टाइमआउट - आमतौर पर 30s (https://devcenter.heroku.com/articles/error-codes#h12-request-timeout)
H13 - बिना प्रतिक्रिया के कनेक्शन बंद - (https://devcenter.heroku.com/articles/error-codes#h13-connection-closed-without-response)

संपादित करें: मैंने अभी देखा है कि अगर यह पर्यावरण चर के रूप में मौजूद है तो गनिकोर्न पोर्ट का उपयोग करेगा, इस प्रकार बंदरगाह कॉन्फ़िगर किया गया है।

हम तुल्यकालिक श्रमिकों का उपयोग कर रहे हैं।

और मैं यह भी उल्लेख करना भूल गया, हम गनिकोर्न 19.3.0 . चला रहे हैं

लंबे समय से वहां कोई गतिविधि नहीं होने के कारण इस मुद्दे को बंद करना। हो सकता है कि विलंबित समय समाप्त होना लंबे समय से शुरू होने वाले अनुप्रयोगों के लिए अच्छा होगा, लेकिन यदि आवश्यक हो तो इसे किसी अन्य टिकट में किया जाना चाहिए।

अरे मैं भी नए अवशेष व्यवस्थापक procfile के साथ उसकेोकू पर गनिकोर्न यूविकॉर्न के साथ एक ही समस्या का सामना कर रहा हूँ:

newrelic-admin run-program gunicorn -w 4 -k uvicorn.workers.UvicornWorker app.main:fastapi_app -b 0.0.0.0:${PORT:-5000} --log-level info --access-logfile=- --logger-class=gunicorn_color.Logger --preload

जैसे ही सिस्टम बूट होता है यह मुझे इस लॉग की ओर ले जाता है:

2021-03-19T13:18:19.187532+00:00 heroku[web.1]: State changed from starting to up
2021-03-19T13:18:51.964740+00:00 heroku[router]: at=error code=H12 desc="Request timeout" method=GET path="/" host=api-app-clienti-pr-49.herokuapp.com request_id=8742009a-3e56-4f83-a147-97ff84d4e30b fwd="5.89.111.249" dyno=web.1 connect=1ms service=30003ms status=503 bytes=0 protocol=https
2021-03-19T13:19:04.292784+00:00 heroku[router]: at=error code=H12 desc="Request timeout" method=GET path="/api" host=api-app-clienti-pr-49.herokuapp.com request_id=85b6320a-7728-4074-87eb-b0992e7c3f9d fwd="5.89.111.249" dyno=web.1 connect=3ms service=30001ms status=503 bytes=0 protocol=https