Gunicorn: POST लौटने पर विफल रहता है> Heroku पर 13k प्रतिक्रिया

वास्तव में उपयोगी रिपोर्ट, धन्यवाद @erjiang।

मेरे पास परीक्षण करने के लिए कोई उसकाोकू खाता नहीं है। क्या ऐसे खाते वाला कोई भी इसका परीक्षण कर सकता है? cc @tilgovi @kennethreitz

खुशी है, लेकिन शायद मैं जल्द ही इसे प्राप्त नहीं कर पाऊंगा।

एक त्वरित विवेक जांच के रूप में मैंने इसे स्थानीय रूप से चलाया और वेट्रेस और गनिकोर्न की तुलना करने के लिए कर्ल के साथ कुछ चीजों की जांच की:

• [x] सामग्री-लंबाई समान
• [x] शरीर की समान सामग्री
• [x] समान स्थानांतरण एन्कोडिंग (कोई भी खंडित निर्दिष्ट नहीं करता है, दोनों सामग्री-लंबाई का उपयोग करते हैं)

आगे मैं शायद इस बारे में उत्सुक हूं कि क्या टीसीपी स्तर पर मतभेद हैं। मैं उन्हें tcpdump कर दूंगा और देख सकता हूं कि मुझे कुछ गड़बड़ है या नहीं।

मैंने देखा कि एक ही कर्ल लाइन के साथ भी गनिकोर्न कनेक्शन को छोड़ देता है लेकिन वेट्रेस इसे खुला छोड़ देती है। इसका अभी तक कोई सुराग नहीं मिला है, लेकिन यह _only_ चीज है जिसे मैं देख सकता था जो अलग था।

@tilgovi मुझे लगता है कि आप वेट्रेस के साथ जो व्यवहार देखते हैं उसे थ्रेडेड वर्कर के साथ पुन: पेश किया जा सकता है। वैसे भी इसका ख्याल रखने के लिए धन्यवाद :)

नमस्ते,
मैं भी ऐसी ही समस्या से गुजर रहा हूँ। क्या आप में से किसी को इस मुद्दे की अधिक गहराई से जांच करने का मौका मिला?
@tilgovi @erjiang @benoitc

चियर्स
कहावत

@maximkgn क्या आप भी फ्लास्क का उपयोग कर रहे हैं? कोई और विवरण?

मैं django 1.7 का उपयोग कर रहा हूँ।
हमारे पास एक निश्चित पोस्ट प्रतिक्रिया थी जो हमेशा 13k से अधिक लंबी थी, और एक निश्चित संभावना के साथ ~ 0.5 क्लाइंट में प्रतिक्रिया को 13k से थोड़ा अधिक तक छोटा कर दिया जाएगा। हरोकू लॉग में हमने वही h18 त्रुटि देखी, और यह सुनिश्चित करने के बाद कि हमारे अजगर कोड में कोई त्रुटि नहीं हो रही है, हमें यह निष्कर्ष निकालना पड़ा कि यह हरोकू और हमारे अजगर के बीच गनिकोर्न परत में होता है।
जब हमने वेट्रेस/यूडब्ल्यूएसजीआई पर स्विच किया तो बग होना बंद हो गया..

@maximkgn यदि आप --threads सेटिंग का उपयोग करते हैं तो क्या होगा?

कोई इसका परीक्षण करने में सक्षम है?

मुझे फ्लास्क और गनिकोर्न (परीक्षण किए गए संस्करण 19.3 और 19.4.5) के साथ भी यही समस्या है। @benoitc मैंने 1, 2, और 4 धागे (--थ्रेड्स के साथ) विकल्प की कोशिश की, और इससे कोई फर्क नहीं पड़ता।

मुझे बताएं कि क्या मैं किसी भी तरह से इसका परीक्षण करने में मदद कर सकता हूं?

@cbaines अनुरोध कैसा दिखता है?

फ्रेंडपेस्ट 1M से अधिक पोस्ट स्वीकार करने में सक्षम है .... इसलिए निश्चित रूप से गनिकोर्न के अंदर कोई सीमा नहीं है।

कभी जवाब नहीं था। इस मुद्दे को बंद करना क्योंकि यह प्रतिलिपि प्रस्तुत करने योग्य नहीं है। यदि आवश्यक हो तो एक को फिर से खोलने के लिए स्वतंत्र महसूस करें।

फ्लास्क 1.0.2 और गनिकोर्न 19.9.0 को शामिल करने के लिए निर्भरता को अद्यतन करने के बाद भी पुन: पेश करता है। इस बारे में हेरोकू में किसी का ध्यान आकर्षित करना अच्छा हो सकता है - मैंने सुना है कि उनके पास कुछ समर्पित पायथन लोग हैं।

नवीनतम प्रतिबद्धता यहां देखें: https://github.com/erjiang/gunicorn-issue/

मुझे यह H18 त्रुटि एक बड़े GET अनुरोध पर नियमित रूप से प्राप्त हो रही है।

वेट्रेस पर स्विच करने से समस्या ठीक हो गई। निश्चित नहीं है कि गनिकोर्न इसका उत्पादन क्यों करता है, लेकिन वही सटीक कोड निष्पादित किया जा रहा है।

प्रतिक्रिया निकाय 21.54 KB . है

फ्लास्क 1.0.2 और गनिकोर्न 19.9.0 को शामिल करने के लिए निर्भरता को अद्यतन करने के बाद भी पुन: पेश करता है। इस बारे में हेरोकू में किसी का ध्यान आकर्षित करना अच्छा हो सकता है - मैंने सुना है कि उनके पास कुछ समर्पित पायथन लोग हैं।

नवीनतम प्रतिबद्धता यहां देखें: https://github.com/erjiang/gunicorn-issue/

मैंने हरोकू पर एक समर्थन टिकट बनाया। अगर इससे कुछ उपयोगी आता है तो यहां अपडेट करेंगे।

@benoitc ऐसा लगता है कि @erjiang ने एक प्रतिलिपि प्रस्तुत करने योग्य उदाहरण प्रदान किया है। क्या हम इसे बैक अप खोल सकते हैं?

फिर से खोला गया। मैं स्व-असाइन करूंगा और जब मैं कर सकता हूं तब एक नज़र डालूंगा।

फ्लास्क 1.0.2 और गनिकोर्न 19.9.0 को शामिल करने के लिए निर्भरता को अद्यतन करने के बाद भी पुन: पेश करता है। इस बारे में हेरोकू में किसी का ध्यान आकर्षित करना अच्छा हो सकता है - मैंने सुना है कि उनके पास कुछ समर्पित पायथन लोग हैं।
नवीनतम प्रतिबद्धता यहां देखें: https://github.com/erjiang/gunicorn-issue/

मैंने हरोकू पर एक समर्थन टिकट बनाया। अगर इससे कुछ उपयोगी आता है तो यहां अपडेट करेंगे।

क्या आपको उसकेोकू से जवाब मिला?

मैं https://github.com/erjiang/gunicorn-issue पर टेस्टकेस का उपयोग करके पुन: पेश करने में सक्षम था (जो गनिकोर्न 19.9.0, पायथन 2.7.14, सिंक वर्कर, --workers 4 )। ध्यान देने योग्य बात यह है कि गनिकोर्न की एक्सेस लॉग आउटपुट रिपोर्ट यह मानती है कि उसने एक HTTP 200 लौटाया है।

Python 3.7.3 + gunicorn master अपडेट करना, और --workers 1 को कम करने से पुनरुत्पादन पर कोई प्रभाव नहीं पड़ा, हालांकि सिंक वर्कर से gevent में स्विच करने से त्रुटि कम बार होती है (हालांकि यह अभी भी हुई)। --log-level debug का उपयोग करने से कुछ भी महत्वपूर्ण नहीं दिखा (अनुरोध के दौरान केवल अतिरिक्त आउटपुट [DEBUG] POST /test1 लाइन था)।

इसके बाद मैंने कोशिश की --spew , हालांकि इस मुद्दे को अब पुन: प्रस्तुत नहीं किया गया। यह मैं एक जोड़ने की कोशिश करने के लिए नेतृत्व time.sleep(1) से पहले resp.close() यहाँ जो इसी तरह इस मुद्दे को रोका।

ऐसा लगता है कि इसका कारण यह है कि सॉकेट भेजने वाला बफर close() समय खाली नहीं हो सकता है, जिससे प्रतिक्रिया खो सकती है:

नोट: close() एक कनेक्शन से जुड़े संसाधन को रिलीज करता है लेकिन जरूरी नहीं कि कनेक्शन तुरंत बंद हो जाए। यदि आप समय पर कनेक्शन बंद करना चाहते हैं, तो shutdown() से पहले close() shutdown() पर कॉल करें।

(देखें https://docs.python.org/3/library/socket.html#socket.socket.close)

जोड़ा जा रहा है sock.shutdown(socket.SHUT_RDWR) ( डॉक्स ) से पहले sock.close() यहाँ मेरे लिए समस्या हल हो गई। एक वैकल्पिक समाधान शायद SO_LINGER का उपयोग करना हो सकता है, हालांकि मैंने जो पढ़ा है उससे ट्रेड-ऑफ है।

इस विषय पर डॉक्स मिलना मुश्किल है, लेकिन मैंने पाया:
https://stackoverflow.com/questions/8874021/close-socket-directly-after-send-unsafe
https://blog.netherlabs.nl/articles/2009/01/18/the-ultimate-so_linger-page-or-why-is-my-tcp-not-reliable

उम्मीद है की वो मदद करदे :-)

पूर्ण एसटीआर:

1. https://signup.heroku.com . पर एक निःशुल्क हरोकू खाता बनाएं
2. हेरोकू सीएलआई स्थापित करें (देखें https://devcenter.heroku.com/articles/heroku-cli)
3. heroku login का उपयोग करके सीएलआई में लॉग इन करें
4. git clone https://github.com/erjiang/gunicorn-issue && cd gunicorn-issue
5. heroku create (यह यादृच्छिक रूप से जेनरेट किए गए नाम के साथ एक निःशुल्क हेरोकू ऐप बनाता है और heroku नामक गिट रिमोट को कॉन्फ़िगर करता है)
6. git push heroku master
7. curl --data "foo=bar" https://YOUR_GENERATED_APP_NAME.herokuapp.com/test1 (समय का 75% विफल रहता है)
8. समाप्त होने पर, ऐप को हटाने के लिए heroku destroy चलाएं।

@tilgovi लगता है जैसे @edmorley ने गलत क्या है इसकी एक sock.shutdown() जोड़ने के लिए एक पीआर भी जमा कर सकता था लेकिन मुझे यह कहने के लिए पर्याप्त जानकारी नहीं है कि यह सही फिक्स है या क्या यह अन्य स्थितियों को नकारात्मक रूप से प्रभावित करेगा।

हैलो, मैंने 503 केबी प्रतिक्रिया आकार के साथ एक ही समस्या को मारा। प्रतिक्रिया डेटा JSON सरणी है।
मनाया व्यवहार है:

1. मुझे छोटा प्रतिक्रिया निकाय दिखाई देता है और http क्लाइंट (क्रोम, कर्ल) अभी भी प्रतिक्रिया की प्रतीक्षा कर रहा है।
2. ~75% अनुरोध 120-130 सेकंड के बीच प्रतिक्रिया समय का अनुभव करते हैं। शेष अनुरोध 400 एमएस के तहत हल होते हैं।
3. छोटे प्रतिक्रिया आकार वाले अनुरोध तेज़ होते हैं।

यह दोनों पर योग्य है:

1. विंडोज 10 पर स्थानीय डॉकर इंस्टॉलेशन
2. एडब्ल्यूएस ईसीएस पर चल रहे डोकर कंटेनर

रनटाइम पर्यावरण सेटअप
मीनहेल्ड-गनिकोर्न-डॉकर इमेज को _python3.6_ के रूप में टैग किया गया है जिसमें पायथन 3.6.7, फ्लास्क 1.0.2, फ्लास्क-रेस्टप्लस 0.12.1, सिम्पे फ्लास्क-कैशिंग है।

डॉकर कॉन्फ़िगरेशन : 3 सीपीयू, रैम 1024 एमबी

Gunicorn विन्यास :

• कार्यकर्ता = 2 * सीपीयू + 1 (डॉक्टर द्वारा अनुशंसित)
• थ्रेड्स = 1 (2 * सीपीयू थ्रेड्स के साथ समान व्यवहार)
• कार्यकर्ता_वर्ग = " अंडा: मीनहेल्ड#गनिकोर्न_वर्कर "

https://github.com/benoitc/gunicorn/issues/2015 में किसी और को मीनहेल्ड वर्कर के लटकने की समस्या थी, और एक अलग वर्कर टाइप का उपयोग करने से समस्या हल हो गई। मुझे आश्चर्य है कि इसमें कोई सामान्य समस्या है या नहीं। @stapetro क्या आप एक अलग कार्यकर्ता की कोशिश करने में सक्षम हैं?

नमस्ते @jamadden ,
आपके सुझाव ने समस्या को ठीक कर दिया। दोनों _gevent_ और _gthread_ कार्यकर्ता वर्गों के साथ कोई समस्या नहीं है। मैं मीनहेल्ड से दूर चला गया। त्वरित उत्तर और सहायता के लिए धन्यवाद! :)

पूर्ण एसटीआर:

1. https://signup.heroku.com . पर एक निःशुल्क हरोकू खाता बनाएं
2. हेरोकू सीएलआई स्थापित करें (देखें https://devcenter.heroku.com/articles/heroku-cli)
3. heroku login का उपयोग करके सीएलआई में लॉग इन करें
4. git clone https://github.com/erjiang/gunicorn-issue && cd gunicorn-issue
5. heroku create (यह यादृच्छिक रूप से जेनरेट किए गए नाम के साथ एक निःशुल्क हेरोकू ऐप बनाता है और heroku नामक गिट रिमोट को कॉन्फ़िगर करता है)
6. git push heroku master
7. curl --data "foo=bar" https://YOUR_GENERATED_APP_NAME.herokuapp.com/test1 (समय का 75% विफल रहता है)
8. समाप्त होने पर, ऐप को हटाने के लिए heroku destroy चलाएं।

मेरे ऐप पर मेरा बहुत ही समान व्यवहार था, और पाया कि कर्ल - डेटा के बजाय कर्ल-एच का उपयोग करते समय (क्योंकि यह एक जीईटी अनुरोध है) यह मेरे ऐप (डीजेंगो, गुनिकॉर्न, हेरुको) के लिए काम करता है। मैंने गनिकोर्न-इश्यू ऐप पर परीक्षण नहीं किया है। सोचा कि यह किसी के लिए उपयोगी हो सकता है।

@ मिकेलहन यस । फ्लास्क/फ्लास्क रेस्टप्लस और गनिकोर्न के साथ एक ऐप इस तरह से व्यवहार करता है: POST अनुरोध का जवाब देने से 503 त्रुटि मिलती है [यदि पेलोड> 13k], जबकि त्रुटि तब नहीं होती है जब ऐप जीईटी का जवाब देता है। बिल्कुल वही कोड!
क्या कोई इस बहुत कष्टप्रद व्यवहार की व्याख्या कर सकता है? क्या इस समस्या को ठीक करने के लिए वेट्रेस पर स्विच करना ही एकमात्र समाधान है? मुझे लगता है कि "हाथ से" Gunicorn को संशोधित करना एक व्यवहार्य समाधान नहीं है ...

मैं आगे बढ़ गया और बंद() से पहले शटडाउन() को कॉल करने के लिए एक पीआर खोला। सच कहूँ तो, यह थोड़ा जंगली है कि जब हरोकू पर डिफ़ॉल्ट रूप से टूट जाता है तो हरोकू गनिकोर्न की सिफारिश करना जारी रखता है।

यदि, जैसा कि @erijang सही ढंग से बताता है, हरोकू Gunicorn की सिफारिश करता है जब Gunicorn जाने का रास्ता नहीं है: जो Gunicorn के लिए सरल और व्यवहार्य विकल्प हैं (और उन्हें Heroku पर सर्वोत्तम रूप से कैसे कॉन्फ़िगर करें)?
AFAIK, कई ग्राहक हरोकू को सिर्फ इसलिए चुनते हैं क्योंकि इसे सर्वर आर्किटेक्चर और कॉन्फ़िगरेशन विवरण में गहन ज्ञान की आवश्यकता नहीं होनी चाहिए ...: |

@RinaldoNani आपका क्या मतलब है? साथ ही हम किस कार्यकर्ता की बात कर रहे हैं? .

@benoitc यह समस्या कई कार्यकर्ता प्रकारों को प्रभावित करती है, जैसा कि इसमें बताया गया है:
https://github.com/benoitc/gunicorn/issues/840#issuecomment -४८२४९१२६७

हाय @benoitc। जैसा कि मैंने पिछली पोस्ट में उल्लेख किया है, हमने पाइथन/फ्लास्क सर्वर साइड एप्लिकेशन परिनियोजन के लिए हेरोकू के दिशानिर्देशों की देखभाल के साथ हेरोकू पर एक बहुत ही सरल फ्लास्क/फ्लास्करेस्टप्लस ऐप तैनात किया है (जो, जैसा कि मैं समझता हूं, गनिकोर्न सिंक "वेब" के उपयोग का सुझाव देता हूं। कार्यकर्ता )।

हमारे ऐप का व्यवहार इस थ्रेड के शीर्षक को दर्शाता है।

स्थानीय रूप से परीक्षण किया गया, सब कुछ ठीक काम करता है, ऐप बिना किसी समस्या के 20k+ JSON वितरित करता है; लेकिन जब ऐप को हेरोकू पर तैनात किया जाता है, तो 503 त्रुटि समस्या व्यवस्थित हो जाती है: यहां तक ​​​​कि सचमुच कोई ट्रैफ़िक नहीं होने पर भी आउटपुट वितरित नहीं होता है।
जैसा कि अन्य ने बताया, लॉग दिखाते हैं कि HTTP स्तर पर सबकुछ ठीक लगता है (200 प्रतिक्रिया कोड लॉग होता है)।
यदि पेलोड 13k से कम है, तो Heroku/Gunicorn उम्मीद के मुताबिक POST का जवाब देता है।
हमने POST (?!?) एंडपॉइंट से बचने और इसके बजाय GET का उपयोग करने के @mikkelhn विचार का पालन किया, और यह समस्या से निपटने का एक (बहुत अच्छा नहीं) तरीका लगता है।

हम Gunicorn विशेषज्ञ नहीं हैं, और स्पष्ट रूप से हमें उम्मीद थी कि हमारा सरल उपयोग केस "बॉक्स से बाहर" काम कर सकता है।
अगर आपके पास हमारी मदद करने के लिए कोई सुझाव है, तो हम हमेशा आभारी रहेंगे :)

@RinaldoNani अंधेरे में गोली मार दी ... कहीं आपके अनुरोध हैंडलर में, सभी request.data पढ़ने का प्रयास करें। उदाहरण के लिए:

@route('/whatever', methods=['POST'])
def whatever_handler():
    str(request.data)
    return flask.jsonify(...)

क्या इससे आपकी त्रुटियों पर कोई प्रभाव पड़ता है?

मैं इसे 2 सप्ताह से अधिक समय से H18 के मुद्दे के साथ 1:00 पूर्वाह्न पर लिख रहा हूं (साझा करने के लिए इंतजार नहीं कर सकता)।

मैं विशाल डेटासेट के साथ काम कर रहा हूं और प्लॉट करने के लिए 18K से 20K रिकॉर्ड का जवाब दे रहा हूं। H18 एक बहुत ही यादृच्छिक त्रुटि के रूप में आया। यह कभी-कभी ठीक काम करेगा, लेकिन सभी ब्राउज़रों पर "सामग्री-शीर्षलेख लंबाई मेल नहीं खाता" फेंक देगा। मैंने इस मुद्दे के बारे में चर्चा किए गए लगभग सभी समाधानों की कोशिश की लेकिन कोई भाग्य नहीं था। मैंने 2 चीजें आजमाईं जो आखिरकार काम कर गईं:

1. POST अनुरोध को GET में बदल दिया।
2. मेरे डेटा में NaN / Null मान थे इसलिए मैंने अपना मॉडल बदल दिया और एक डिफ़ॉल्ट मान प्रदान किया। (मुझे लगता है कि इसने इस मुद्दे को हल कर दिया)
   इसके बाद, मुझे यह त्रुटि मिलनी बंद हो गई।
   उम्मीद है कि यह किसी की मदद कर सकता है!