Gunicorn: डोकर कंटेनर में Gunicorn + कुप्पी + Tensorflow काम नहीं करता

क्या आपका डॉकर सेटअप कंटेनर के लिए उपलब्ध अधिकतम मेमोरी को सीमित कर रहा है?

वही अनुभव कर रहे हैं। मुझे नहीं लगता कि हालांकि गनिकोर्न को दोष देना है। कंटेनर में बैश शेल से python3 api.py चलाते समय मुझे वही त्रुटि मिलती है।

@tlaanemaa क्या आप पुष्टि कर सकते हैं कि @mackdelany क्या कहता है?

अरे। इस तरह गायब होने के लिए क्षमा करें।

मेरा सेटअप डॉकर की रैम को थोड़ा सीमित कर रहा है लेकिन यही बात तब भी हुई जब मैंने सीमा हटा दी।

मैं गनिकोर्न और आर ईपोर्ट के बिना एपीआई फ़ाइल चलाने की कोशिश करूंगा।

धन्यवाद!

@tlaanemaa इसके बारे में कोई खबर?

@benoitc हेया
क्षमा करें, मुझे अन्य सामान के साथ ले जाया गया है और इसके साथ आगे जाने का समय नहीं है।
मैं आज इसे पोक करने की कोशिश करूंगा और आपसे वापस मिलूंगा

इसलिए मैंने कंटेनर में गनिकोर्न के बिना ऐप चलाने की कोशिश की और यह काम कर गया।
मेरे डॉकरफाइल का सीएमडी बिट नीचे है

काम करता है:

CMD [ "python", "src/api.py" ]

लॉग:

2019-12-02 11:40:45.649503: I tensorflow/core/platform/cpu_feature_guard.cc:142] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
2019-12-02 11:40:45.653496: I tensorflow/core/platform/profile_utils/cpu_utils.cc:94] CPU Frequency: 2208000000 Hz
2019-12-02 11:40:45.653999: I tensorflow/compiler/xla/service/service.cc:168] XLA service 0x55f969cf6a40 executing computations on platform Host. Devices:
2019-12-02 11:40:45.654045: I tensorflow/compiler/xla/service/service.cc:175]   StreamExecutor device (0): Host, Default Version
TensorFlow version is  2.0.0
 * Serving Flask app "api" (lazy loading)
 * Environment: production
   WARNING: This is a development server. Do not use it in a production deployment.
   Use a production WSGI server instead.
 * Debug mode: off
 * Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)

काम नहीं करता:

CMD [ "gunicorn", "--chdir", "src", "api:app" ]

लॉग:

[2019-12-02 11:39:22 +0000] [1] [INFO] Starting gunicorn 20.0.4
[2019-12-02 11:39:22 +0000] [1] [INFO] Listening at: http://127.0.0.1:8000 (1)
[2019-12-02 11:39:22 +0000] [1] [INFO] Using worker: sync
[2019-12-02 11:39:22 +0000] [9] [INFO] Booting worker with pid: 9
2019-12-02 11:39:24.041188: I tensorflow/core/platform/cpu_feature_guard.cc:142] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
2019-12-02 11:39:24.046495: I tensorflow/core/platform/profile_utils/cpu_utils.cc:94] CPU Frequency: 2208000000 Hz
2019-12-02 11:39:24.047129: I tensorflow/compiler/xla/service/service.cc:168] XLA service 0x5623e18b5200 executing computations on platform Host. Devices:
2019-12-02 11:39:24.047183: I tensorflow/compiler/xla/service/service.cc:175]   StreamExecutor device (0): Host, Default Version

इसके अलावा, मैंने भंडार को खोल दिया है ताकि यदि आप चाहें तो चारों ओर पोक कर सकते हैं।
मददगार हो सकता है

https://gitlab.com/tlaanemaa/image-classifier

Listening at: http://127.0.0.1:8000 (1)

क्या समस्या यह हो सकती है कि गनिकोर्न एक कंटेनर के अंदर लोकलहोस्ट को सुन रहा है, इसलिए इसे बाहर से नहीं पहुँचा जा सकता है?

मुझे ऐसा नहीं लगता क्योंकि फ्लास्क ऐप वही कर रहा था और वह काम कर रहा था।
इसके अलावा, गनिकोर्न संस्करण टेंसरफ़्लो संस्करण को लॉग नहीं करता है जो इस प्रकार का सुझाव देता है कि समस्या कोड में लॉग लाइन के सामने होती है। जब गनिकोर्न के बिना दौड़ते हैं, तो बस फ्लास्क, फिर यह लॉग करता है।
TensorFlow version is 2.0.0

डीबग स्तर पर यह क्या कहता है?

@tlaanemaa आपका डॉकर @CaselIT की टिप्पणी के

क्या आप Gunicorn को arg -b 0.0.0.0:8000 साथ शुरू करने का प्रयास कर सकते हैं?

मुझे नहीं लगता कि समस्या नेटवर्क में है क्योंकि ऐसा लगता है, कम से कम लॉग से, कि सर्वर बिल्कुल भी शुरू नहीं हो रहा है क्योंकि यह कभी भी लॉग लाइनों को हिट नहीं करता है जो टेंसरफ़्लो आयात के बाद आते हैं

फिर भी मैंने आपके सुझाव की कोशिश की लेकिन यह मुझे एक त्रुटि देता है

CMD [ "gunicorn", "-b", "0.0.0.0:8000", "--chdir", "src", "api:app" ]

_लॉग_

usage: gunicorn [OPTIONS] [APP_MODULE]
gunicorn: error: unrecognized arguments: -d

अगर आप खुद को आजमाना चाहते हैं तो कॉमटेनर इमेज रजिस्ट्री .gitlab.com/tlaanemaa/image-classifier पर उपलब्ध है।

@tlaanemaa क्या आप अपने अपडेट किए गए Dockerfile , इमेज बिल्ड कमांड और कंटेनर रन कमांड को दोबारा पोस्ट कर सकते हैं?

@javabrett ज़रूर

• डॉकरफाइल: https://gitlab.com/tlaanemaa/image-classifier/blob/master/Dockerfile
• बिल्ड कमांड: docker build -t tlaanemaa/image-classifier .
• कंटेनर पोर्टेनर के माध्यम से चलाया जाता है, मुझे यकीन नहीं है कि यह दुख की बात है कि यह किस आदेश का उपयोग करता है। वहां कुछ भी पागल नहीं किया जा रहा है, मानक सामान, पोर्ट 8000 अग्रेषित किया गया है।

_डॉकरफाइल पोस्टिंग के समय:_

FROM python:3.7

RUN pip install gunicorn

WORKDIR /usr/src/app

COPY requirements.txt ./
RUN pip install --no-cache-dir -r requirements.txt

COPY . .

EXPOSE 8000

CMD [ "gunicorn", "-b", "0.0.0.0:8000", "--chdir", "src", "api:app" ]

डॉकटर का पूरा लॉग क्या है, क्या आप उस कमांड लाइन को पेस्ट कर सकते हैं जिसका वह अंत में उपयोग कर रहा है?

जब तक यह ऐसा कुछ नहीं कर रहा है जिसे इस मुद्दे के डिबग के दौरान नहीं छोड़ा जा सकता है, क्या आप इसे अभी के लिए पोर्टेनर के बिना चला सकते हैं?

यह मेरे लिए काम करता है, मैक 2.1.0.5 के लिए डॉकर डेस्कटॉप:

docker build -t tlaanemaa/image-classifier .
docker run -it --rm -p 8000:8000 tlaanemaa/image-classifier

POST अनुरोध स्वीकार करता है।

कृपया पूर्ण आउटपुट और परिणाम चलाएं और पोस्ट करें।

मैंने कोशिश की और यह अब काम करता है।
क्या यह -b ध्वज हो सकता है जिसने इसे ठीक किया?

बहुत - बहुत धन्यवाद!

अब दिलचस्प बात यह है कि जब मैं POST अनुरोध करता हूं तो वे तेज़ होते हैं लेकिन अनुरोध प्राप्त करना बहुत धीमा होता है। जीईटी अनुरोध करने के कुछ समय बाद ये तेज़ हो जाते हैं लेकिन फिर पोस्ट बहुत धीमी हो जाती है और कार्यकर्ता का समय समाप्त हो जाता है। एक बार जब यह उस POST का जवाब देता है, तो POST फिर से तेज़ हो जाते हैं और GET धीमे हो जाते हैं। ऐसा लगता है जैसे यह एक उपवास कर सकता है और इसे स्विच करने में समय लगता है :D

ये लॉग हैं जब GET तेज है और POST धीमा है क्योंकि कार्यकर्ता का समय समाप्त हो गया है:

[2020-01-10 09:34:46 +0000] [1] [CRITICAL] WORKER TIMEOUT (pid:72)
[2020-01-10 09:34:46 +0000] [72] [INFO] Worker exiting (pid: 72)
[2020-01-10 09:34:47 +0000] [131] [INFO] Booting worker with pid: 131
TensorFlow version is  2.0.0
2020-01-10 09:34:48.946351: I tensorflow/core/platform/cpu_feature_guard.cc:142] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
2020-01-10 09:34:48.951124: I tensorflow/core/platform/profile_utils/cpu_utils.cc:94] CPU Frequency: 2208000000 Hz
2020-01-10 09:34:48.951612: I tensorflow/compiler/xla/service/service.cc:168] XLA service 0x56481dbabd80 executing computations on platform Host. Devices:
2020-01-10 09:34:48.951665: I tensorflow/compiler/xla/service/service.cc:175]   StreamExecutor device (0): Host, Default Version

 * Server ready!

साथ ही, कुछ स्थितियों में * Server ready! लॉग डॉकर लॉग में नहीं आते हैं। यह भ्रामक भी हो सकता था। सुनिश्चित नहीं है कि इसका क्या कारण है

आपके डॉकर में वर्तमान सर्वर सिंगल/सिंक थ्रेडेड कॉन्फ़िगर किया जाएगा, जो व्यस्त/अवरुद्ध करने के लिए छोटा होगा, इसलिए संभव है कि आप इसे देख रहे हों। --workers=2 --threads=4 --worker-class=gthread जैसे कुछ तर्क जोड़ने का प्रयास करें।

धन्यवाद @javabrett
इसने इसे ठीक कर दिया!

एक ही मुद्दा था। जहाँ तक मैं अपने स्वयं के लॉग से अनुमान लगा सकता हूँ, ऐसा लगता है कि tensorflow gevent उपयोग कर रहा है, और आप gevent में एक ही समय में gunicorn उपयोग नहीं कर सकते हैं। . --workers और --threads झंडे मेरे लिए कोई फर्क नहीं पड़ता, लेकिन --worker-class=gevent से --worker-class=gthread बदलने से मेरे लिए समस्या ठीक हो गई। धन्यवाद @javabrett

नमस्ते! गीवेंट के अनुरक्षक और इस परियोजना के योगदानकर्ता दोनों के रूप में मैं स्पष्ट रूप से कह सकता हूं कि गीवेंट और गनिकोर्न एक साथ अच्छी तरह से काम करते हैं। विभिन्न पुस्तकालय हस्तक्षेप कर सकते हैं, लेकिन यह गनिकोर्न या गीवेंट की गलती नहीं है। यदि आपके लिए ऐसा नहीं है तो कृपया एक नया मुद्दा खोलें। धन्यवाद!