Gunicorn: OSError: [Errno 9] खराब फाइल डिस्क्रिप्टर

@leond08 टिकट के लिए धन्यवाद!

यह कैसे हो रहा है इसे समझने के लिए क्या आप कुछ और जानकारी दे सकते हैं?

• आप Gunicorn के किस संस्करण का परीक्षण कर रहे हैं
• आप किस कार्यकर्ता का उपयोग कर रहे हैं
• यह कब होता है?

मैं gunicorn3 नवीनतम संस्करण का उपयोग कर रहा हूँ
मैं इसके लिए इवेंटलेट और गीवेंट का उपयोग कर रहा हूं
मैं अपना फ्लास्क एप्लिकेशन चला रहा हूं - फ्लास्क-सॉकेटियो

उपयोगकर्ता द्वारा बटन पर क्लिक करने के बाद मैं अपना पृष्ठभूमि कार्य प्रारंभ करता हूं
मेरा बैकग्राउंड टास्क फंक्शन किसी इवेंट को सुनना है,
"संपन्न" बटन पर क्लिक करने के बाद पृष्ठभूमि कार्य रुकना चाहिए
फिर सभी उपयोगकर्ताओं को एक संदेश भेजें

aiohttp + gunicorn के साथ एक ही समस्या थी, उसी संदेश को हर बार देखें जब ctrl + c.

[सूचना] सॉकेट बंद करते समय त्रुटि [त्रुटि 9] खराब फ़ाइल विवरणक

मैं इसे पुन: पेश नहीं करता। मुझे संदेह है कि आपका आवेदन कुछ एफडी बंद कर रहा है जो ऊपर की समस्या पैदा करते हैं।

हम एक ही समस्या का सामना कर रहे हैं, केवल एक चीज यह है कि यह डॉक झुंड में चल रहे 8 कंटेनरों में से 1 पर ही हो रहा है।

हमने 9 में से 1 कंटेनर के साथ एक ही समस्या का अनुभव किया है, ऐसा लगता है कि यह docker और python3 और gevent से संबंधित है।

गनिकोर्न 20.0.4 + aiohttp 3.6.2

Gunicorn देव सर्वर के रूप में चल रहा है:

gunicorn --reload app:make_app --bind localhost:5000 --worker-class aiohttp.GunicornWebWorker --workers 2 --access-logfile -

लगभग हर Ctrl+C के साथ समाप्त होता है

^C[2020-05-23 21:49:50 +0200] [38524] [INFO] Handling signal: int
Exception ignored when trying to write to the signal wakeup fd:
Exception ignored when trying to write to the signal wakeup fd:
Traceback (most recent call last):
  File "/usr/lib/python3.8/asyncio/unix_events.py", line 42, in _sighandler_noop
Traceback (most recent call last):
  File "/usr/lib/python3.8/asyncio/unix_events.py", line 42, in _sighandler_noop
    def _sighandler_noop(signum, frame):
    def _sighandler_noop(signum, frame):
OSError: [Errno 9] Bad file descriptor
OSError: [Errno 9] Bad file descriptor
[2020-05-23 21:49:50 +0200] [38526] [INFO] Worker exiting (pid: 38526)
[2020-05-23 21:49:50 +0200] [38528] [INFO] Worker exiting (pid: 38528)
[2020-05-23 21:49:50 +0200] [38524] [INFO] Shutting down: Master

इससे कोई फर्क नहीं पड़ता कि आवेदन ने किसी अनुरोध को संभाला या नहीं।

सैनिक 20.3.0 के साथ:

^C[2020-05-26 13:24:55 +0200] [27706] [INFO] Handling signal: int
[2020-05-26 13:24:55 +0200] [27769] [INFO] Stopping server: 27769, connections: 0
[2020-05-26 13:24:55 +0200] [27769] [INFO] Error while closing socket [Errno 9] Bad file descriptor
[2020-05-26 13:24:55 +0200] [27769] [INFO] Worker exiting (pid: 27769)
[2020-05-26 13:24:55 +0200] [27771] [INFO] Stopping server: 27771, connections: 0
[2020-05-26 13:24:55 +0200] [27771] [INFO] Error while closing socket [Errno 9] Bad file descriptor
[2020-05-26 13:24:55 +0200] [27771] [INFO] Worker exiting (pid: 27771)
[2020-05-26 13:24:55 +0200] [27706] [INFO] Shutting down: Master

हर Ctrl+C . पर Gunicorn 20.0.4 + Uvicorn 0.11.5 वर्कर क्लास के साथ भी ऐसा ही है

INFO:     [12621] [gunicorn.error] Handling signal: int
INFO:     [12635] [gunicorn.error] Error while closing socket [Errno 9] Bad file descriptor
INFO:     [12634] [gunicorn.error] Error while closing socket [Errno 9] Bad file descriptor
INFO:     [12635] [gunicorn.error] Worker exiting (pid: 12635)
INFO:     [12634] [gunicorn.error] Worker exiting (pid: 12634)
INFO:     [12621] [gunicorn.error] Shutting down: Master

आवेदन का कोई उदाहरण? इसके अलावा हम पायथन के किस संस्करण के बारे में बात कर रहे हैं?

उबंटू 20.04, वर्चुअलएन्व में सिस्टम ने पायथन 3.8.2 प्रदान किया

उदाहरण आवेदन: https://github.com/zgoda/newsloop-server/tree/d603a1c10c9e8be3d998f62ccc55dd73f4677115 (aiohttp के साथ) या https://github.com/zgoda/newsloop-server/tree/b2a8a7f09fa9848d0384b51037fb459e (Sanic के साथ)। मेरी पिछली टिप्पणी में सटीक गनिकोर्न मंगलाचरण।

aiohttp और Sanic के बीच आउटपुट में अंतर मुझे संदेहास्पद बनाता है कि श्रमिकों को शामिल करने में कुछ गड़बड़ है।

एक ही मुद्दा, अजगर 3.8.0
सैनिक 19.12.2
गनिकोर्न 20.0.4

संपादित करें: ऐसा तब होता है जब मैं अपने मैक पर स्थानीय रूप से चलता हूं, लेकिन लिनक्स डॉकटर के अंदर नहीं चल रहा होता है, इससे आपको मदद मिल सकती है

नमस्ते,
मुझे लगता है कि इस मुद्दे https://github.com/benoitc/gunicorn/issues/2064 के समान कारण हैं।
हमारे पास लगभग समान त्रुटियां हैं जैसे कि अंक में, लेकिन हम गनिकोर्न का उपयोग करते हैं - 19.9.0

मैं भी इसका अनुभव कर रहा हूं, FastAPI + नवीनतम Gunicorn और uvicorn कार्यकर्ता Python 3.8.5 . के साथ

जैसे ही मैं यूविकॉर्न का उपयोग करना बंद कर देता हूं (अर्थात इस लाइन को मेरे गनिकोर्न कॉन्फिग से हटा दें):

worker_class = "uvicorn.workers.UvicornWorker"

त्रुटियां गायब हो जाती हैं।

जैसा कि ऊपर वर्णित है, यह तब होता है जब गनिकोर्न को Ctrl+C से रोकना या PID को एक सुंदर किल सिग्नल भेजना।

[2020-09-12 11:56:37 +1000] [100390] [INFO] Starting gunicorn 20.0.4
[2020-09-12 11:56:37 +1000] [100390] [INFO] Listening at: http://0.0.0.0:6000 (100390)
[2020-09-12 11:56:37 +1000] [100390] [INFO] Using worker: uvicorn.workers.UvicornWorker
[2020-09-12 11:56:37 +1000] [100392] [INFO] Booting worker with pid: 100392
[2020-09-12 11:56:38 +1000] [100392] [INFO] Started server process [100392]
[2020-09-12 11:56:38 +1000] [100392] [INFO] Waiting for application startup.
[2020-09-12 11:56:38 +1000] [100392] [INFO] Application startup complete.
[2020-09-12 11:56:48 +1000] [100390] [INFO] Handling signal: term
[2020-09-12 11:56:48 +1000] [100392] [INFO] Shutting down
[2020-09-12 11:56:48 +1000] [100392] [INFO] Error while closing socket [Errno 9] Bad file descriptor
[2020-09-12 11:56:48 +1000] [100392] [INFO] Waiting for application shutdown.
[2020-09-12 11:56:48 +1000] [100392] [INFO] Application shutdown complete.
[2020-09-12 11:56:48 +1000] [100392] [INFO] Finished server process [100392]
[2020-09-12 11:56:48 +1000] [100392] [INFO] Worker exiting (pid: 100392)
[2020-09-12 11:56:48 +1000] [100390] [INFO] Shutting down: Master

यहाँ इस मुद्दे की एक सटीक प्रतिकृति है:

[fots<strong i="6">@workstation</strong> testing]$ python3.8 -V
Python 3.8.5
[fots<strong i="7">@workstation</strong> testing]$ python3.8 -m venv ~/.virtualenv/testing
[fots<strong i="8">@workstation</strong> testing]$ source ~/.virtualenv/testing/bin/activate
(testing) [fots<strong i="9">@workstation</strong> testing]$ pip install fastapi gunicorn uvicorn
Collecting fastapi
  Using cached fastapi-0.61.1-py3-none-any.whl (48 kB)
Collecting gunicorn
  Using cached gunicorn-20.0.4-py2.py3-none-any.whl (77 kB)
Collecting uvicorn
  Using cached uvicorn-0.11.8-py3-none-any.whl (43 kB)
Collecting pydantic<2.0.0,>=1.0.0
  Using cached pydantic-1.6.1-cp38-cp38-manylinux2014_x86_64.whl (11.5 MB)
Collecting starlette==0.13.6
  Using cached starlette-0.13.6-py3-none-any.whl (59 kB)
Requirement already satisfied: setuptools>=3.0 in /home/fots/.virtualenv/testing/lib/python3.8/site-packages (from gunicorn) (47.1.0)
Collecting h11<0.10,>=0.8
  Using cached h11-0.9.0-py2.py3-none-any.whl (53 kB)
Collecting websockets==8.*
  Using cached websockets-8.1-cp38-cp38-manylinux2010_x86_64.whl (78 kB)
Collecting httptools==0.1.*; sys_platform != "win32" and sys_platform != "cygwin" and platform_python_implementation != "PyPy"
  Using cached httptools-0.1.1-cp38-cp38-manylinux1_x86_64.whl (227 kB)
Collecting uvloop>=0.14.0; sys_platform != "win32" and sys_platform != "cygwin" and platform_python_implementation != "PyPy"
  Using cached uvloop-0.14.0-cp38-cp38-manylinux2010_x86_64.whl (4.7 MB)
Collecting click==7.*
  Using cached click-7.1.2-py2.py3-none-any.whl (82 kB)
Installing collected packages: pydantic, starlette, fastapi, gunicorn, h11, websockets, httptools, uvloop, click, uvicorn
Successfully installed click-7.1.2 fastapi-0.61.1 gunicorn-20.0.4 h11-0.9.0 httptools-0.1.1 pydantic-1.6.1 starlette-0.13.6 uvicorn-0.11.8 uvloop-0.14.0 websockets-8.1
WARNING: You are using pip version 20.1.1; however, version 20.2.3 is available.
You should consider upgrading via the '/home/fots/.virtualenv/testing/bin/python3.8 -m pip install --upgrade pip' command.
(testing) [fots<strong i="10">@workstation</strong> testing]$ ls -l
total 4
-rw-rw-r-- 1 fots fots 117 Sep 12 12:13 main.py
(testing) [fots<strong i="11">@workstation</strong> testing]$ cat main.py
from fastapi import FastAPI

app = FastAPI()


@app.get("/")
async def root():
    return {"message": "Hello World"}
(testing) [fots<strong i="12">@workstation</strong> testing]$ gunicorn -k uvicorn.workers.UvicornWorker main:app
[2020-09-12 12:19:05 +1000] [105788] [INFO] Starting gunicorn 20.0.4
[2020-09-12 12:19:05 +1000] [105788] [INFO] Listening at: http://127.0.0.1:8000 (105788)
[2020-09-12 12:19:05 +1000] [105788] [INFO] Using worker: uvicorn.workers.UvicornWorker
[2020-09-12 12:19:05 +1000] [105790] [INFO] Booting worker with pid: 105790
[2020-09-12 12:19:05 +1000] [105790] [INFO] Started server process [105790]
[2020-09-12 12:19:05 +1000] [105790] [INFO] Waiting for application startup.
[2020-09-12 12:19:05 +1000] [105790] [INFO] Application startup complete.
^C[2020-09-12 12:19:06 +1000] [105788] [INFO] Handling signal: int
[2020-09-12 12:19:06 +1000] [105790] [INFO] Shutting down
[2020-09-12 12:19:06 +1000] [105790] [INFO] Error while closing socket [Errno 9] Bad file descriptor
[2020-09-12 12:19:06 +1000] [105790] [INFO] Waiting for application shutdown.
[2020-09-12 12:19:06 +1000] [105790] [INFO] Application shutdown complete.
[2020-09-12 12:19:06 +1000] [105790] [INFO] Finished server process [105790]
[2020-09-12 12:19:06 +1000] [105790] [INFO] Worker exiting (pid: 105790)
[2020-09-12 12:19:07 +1000] [105788] [INFO] Shutting down: Master

और यहाँ pip freeze आउटपुट है:

click==7.1.2
fastapi==0.61.1
gunicorn==20.0.4
h11==0.9.0
httptools==0.1.1
pydantic==1.6.1
starlette==0.13.6
uvicorn==0.11.8
uvloop==0.14.0
websockets==8.1

मैंने गिटहब (मास्टर शाखा) से यूविकॉर्न और गनिकोर्न स्थापित करने का प्रयास किया ताकि यह सुनिश्चित हो सके कि मुझे नवीनतम सुधार मिले लेकिन समस्या बनी रही।

उम्मीद है की यह मदद करेगा
फोटिस

1. मैं इस लॉग त्रुटि को केवल gunicorn और uvicorn साथ एक सेटअप के साथ पुन: उत्पन्न करने में सक्षम हूं। यह त्रुटि संदेश uvicorn==0.11.4 साथ होना शुरू होता है न कि पिछले संस्करण 0.11.3 (OSx और Linux कंटेनर दोनों पर)। यह यूविकॉर्न के साथ ऊपर की रिपोर्ट के अनुरूप है, जहां रिपोर्ट किए गए संस्करण हमेशा 0.11.4 से अधिक होते हैं। अंत में साक्ष्य
2. इस त्रुटि के लिए जिम्मेदार कमिटमेंट यह है । समस्या अभी उल्लिखित प्रतिबद्धता की इन कुछ पंक्तियों के साथ है। कमिट केवल कोड के दो ब्लॉक के क्रम को बदलता है। अगर मैं ऑर्डर के उस परिवर्तन को वापस कर दूं, तो लॉग त्रुटि दूर हो जाएगी, जबकि अभी भी uvicorn के परीक्षण सूट को पास कर रहा है
3. वही लॉग त्रुटि तब होती है जब कोई: ऊपर बताए अनुसार starlette और fastapi स्टैक के शीर्ष पर gunicorn+uvicorn करता है; - नवीनतम uvicorn संस्करण चलाता है 12.X के बजाय 0.11.4 ; - gunicorn केवल एक से अधिक uvicorn कार्यकर्ता के साथ चलता है

सबूत । ओएसएक्स पर एक नए फ़ोल्डर में संलग्न स्क्रिप्ट test.sh (ओएसएक्स पर परीक्षण) चलाएं। Linux कंटेनर में परीक्षण के लिए, स्क्रिप्ट और Dockerfile दोनों को सहेजें और फिर Dockerfile के शीर्षलेख को पढ़ें। मैं स्क्रिप्ट का लॉग भी संलग्न करता हूं।

@benoitc , uvicorn में इस प्रतिबद्धता के बारे में आप क्या सोचते हैं जो बग पेश करता प्रतीत होता है? समस्या gunicorn और uvicorn बीच इंटरफेस में प्रतीत होती है। क्या आप ऊपर उल्लिखित प्रतिबद्धता में uvicorn में बदले गए कोड के 2 ब्लॉकों के क्रम पर टिप्पणी कर सकते हैं? इससे यह पता लगाने में मदद मिल सकती है कि अन्य मामलों में भी ऐसा क्यों होता है। अब तक aiohttp , gevent , Flask-SocketIO sanic साथ भी इसकी सूचना मिली है। मैं आसानी के लिए स्क्रिप्ट का लॉग भी संलग्न करता हूं।

log_test.log

फ़ाइल _test.sh_

#!/bin/bash
python3 -m venv venv
source venv/bin/activate
pip install gunicorn==20.0.04 uvicorn==0.11.4
# create simple uvicorn app
printf "async def app(scope, receive, send):\n    await send()\n" > example.py
# spin up gunicorn with 1 uvicorn worker, and then send TERM signal to gunicorn
gunicorn example:app -w 1 -k uvicorn.workers.UvicornWorker &
sleep 5 && pkill -f gunicorn
sleep 1
# you will see 1 log entry like this one:
# [XX] [YY] [INFO] Error while closing socket [Errno 9] Bad file descriptor

printf "\n\n[INFO] if you instead bump down uvicorn's version from 11.4 to 11.3 [Errno 9] goes away:\n\n"
pip install uvicorn==0.11.3
gunicorn example:app -w 1 -k uvicorn.workers.UvicornWorker &
sleep 5 && pkill -f gunicorn

फ़ाइल _डॉकरफ़ाइल_

# run with:
# docker run -it $(docker build -q .)
FROM python:3.8
COPY test.sh .
RUN chmod +x /test.sh
CMD /test.sh

मेरे पास बिल्कुल वही मुद्दा था। यहाँ मेरा मामला है।

संक्षिप्त: मैं Gunicorn के साथ Django dwebsocket के लिए एक परीक्षण आवेदन स्थापित करने की कोशिश कर रहा हूँ। जब मैं परिणाम का परीक्षण करने के लिए websocket_client का उपयोग करने का प्रयास कर रहा हूं, तो websocket बंद करने के बाद यह त्रुटि हर बार होती है।

पर्यावरण :
डॉकर छवि: अजगर: 3.7
अजगर संस्करण: अजगर 3.7.6
गनिकोर्न : संस्करण = 20.0.4, कार्य = गीवेंट
Django संस्करण: Django == 2.2
dwebsocket संस्करण: 0.5.12

कोड:

view.py

from dwebsocket import accept_websocket

<strong i="16">@accept_websocket</strong>
def my_ws(request):
    if request.is_websocket():
        ws = request.websocket
        while True:
            msg = ws.wait(timeout=15)
            if msg is None:
                print('get None message')
                break
            else:
                msg = b'echo :' + msg
                ws.send(msg)
                print('send ws seccess')
        print('websocket close')

urls.py

from websocketInfo.views import  my_ws
from django.conf.urls import url

urlpatterns = [
    url(r'my_ws/$', my_ws, name='my_ws')
]

websocket_client

from websocket import create_connection
ws = create_connection("ws://127.0.0.1:8080/my_ws/")
print("Sending 'Hello, World'...")
ws.send("Hello, World")
print("Receiving...")
result = ws.recv()
print(result)
ws.close()
print('ws close')

गनिकोर्न सर्वर चलाने के लिए कमांड

gunicorn MyWebsocket.wsgi -b 0.0.0.0:8000 -w 3 -k gevent

त्रुटि आउटपुट

send ws seccess
get None message
websocket close
[2021-01-13 02:43:56 +0000] [101] [ERROR] Socket error processing request.
Traceback (most recent call last):
  File "/usr/local/lib/python3.7/site-packages/gunicorn/workers/base_async.py", line 65, in handle
    util.reraise(*sys.exc_info())
  File "/usr/local/lib/python3.7/site-packages/gunicorn/util.py", line 625, in reraise
    raise value
  File "/usr/local/lib/python3.7/site-packages/gunicorn/workers/base_async.py", line 55, in handle
    self.handle_request(listener_name, req, client, addr)
  File "/usr/local/lib/python3.7/site-packages/gunicorn/workers/ggevent.py", line 143, in handle_request
    super().handle_request(listener_name, req, sock, addr)
  File "/usr/local/lib/python3.7/site-packages/gunicorn/workers/base_async.py", line 128, in handle_request
    util.reraise(*sys.exc_info())
  File "/usr/local/lib/python3.7/site-packages/gunicorn/util.py", line 625, in reraise
    raise value
  File "/usr/local/lib/python3.7/site-packages/gunicorn/workers/base_async.py", line 114, in handle_request
    resp.write(item)
  File "/usr/local/lib/python3.7/site-packages/gunicorn/http/wsgi.py", line 326, in write
    self.send_headers()
  File "/usr/local/lib/python3.7/site-packages/gunicorn/http/wsgi.py", line 322, in send_headers
    util.write(self.sock, util.to_bytestring(header_str, "latin-1"))
  File "/usr/local/lib/python3.7/site-packages/gunicorn/util.py", line 286, in write
    sock.sendall(data)
  File "/usr/local/lib/python3.7/site-packages/gevent/_socket3.py", line 523, in sendall
    return _socketcommon._sendall(self, data_memory, flags)
  File "/usr/local/lib/python3.7/site-packages/gevent/_socketcommon.py", line 367, in _sendall
    chunk_size = max(socket.getsockopt(SOL_SOCKET, SO_SNDBUF), 1024 * 1024)
  File "/usr/local/lib/python3.7/site-packages/gevent/_socket3.py", line 156, in __getattr__
    return getattr(self._sock, name)
  File "/usr/local/lib/python3.7/site-packages/gevent/_socket3.py", line 66, in _dummy
    raise OSError(EBADF, 'Bad file descriptor')
OSError: [Errno 9] Bad file descriptor

@ChrisXiaoShu आपके द्वारा पोस्ट किया गया स्टैक ट्रेस हमें बताता है कि यह विशिष्ट सॉकेट ऑब्जेक्ट स्पष्ट रूप से पायथन स्तर पर बंद कर दिया गया है (यही वह समय है जब gevent अपने _dummy का उपयोग उसी अपवाद को उत्पन्न करने के लिए करता है जो ऑपरेटिंग सिस्टम करता है)। इसका मतलब है कि आपके एप्लिकेशन स्टैक का कुछ हिस्सा गनीकॉर्न को संभालने के लिए प्रतिक्रिया वापस करने से पहले सॉकेट को बंद कर रहा है; जिस बिंदु पर त्रुटि होती है, गनिकोर्न ने अभी तक HTTP प्रतिक्रिया शीर्षलेख भी नहीं भेजे थे।

मेरे मामले में एक ही समस्या की तरह, इस अंतर के साथ कि यह त्रुटि कुछ भी किए बिना होती है। कभी 5 मिनट के बाद तो कभी 2 घंटे बाद...