Gunicorn: OSError: [Errno 9] 잘못된 파일 설명자

@leond08 티켓 감사합니다!

어떻게 발생하는지 이해하기 위해 조금 더 정보를 제공할 수 있습니까?

• 테스트 중인 Gunicorn 버전
• 어떤 작업자를 사용하고 있습니까?
• 언제 이런 일이 발생합니까?

나는 gunicorn3 최신 버전을 사용하고 있습니다
나는 이것을 위해 eventlet과 gevent를 사용하고 있습니다.
내 플라스크 응용 프로그램을 실행 중입니다 - Flask-SocketIO

사용자가 버튼을 클릭한 후 백그라운드 작업을 시작합니다.
내 백그라운드 작업 기능은 이벤트를 수신하는 것입니다.
"완료" 버튼을 클릭한 후 백그라운드 작업이 중지되어야 합니다.
그런 다음 모든 사용자에게 방출 메시지를 보냅니다.

aiohttp + gunicorn과 동일한 문제가 있었는데 ctrl + c를 할 때마다 동일한 메시지를 관찰하십시오.

[INFO] 소켓을 닫는 동안 오류가 발생했습니다. [Errno 9] 잘못된 파일 설명자

나는 그것을 재생산하지 않습니다. 귀하의 응용 프로그램이 위의 문제를 일으키는 일부 fd를 닫고 있다고 생각합니다.

우리는 동일한 문제를 겪고 있습니다. 유일한 문제는 도커 떼에서 실행되는 컨테이너 8개 중 1개에서만 발생한다는 것입니다.

우리는 9개의 컨테이너 중 1개에서 동일한 문제를 경험했습니다. docker 및 python3 및 gevent와 관련된 것 같습니다.

gunicorn 20.0.4 + aiohttp 3.6.2

Gunicorn이 개발 서버로 실행 중입니다.

gunicorn --reload app:make_app --bind localhost:5000 --worker-class aiohttp.GunicornWebWorker --workers 2 --access-logfile -

거의 모든 Ctrl+C는 다음으로 끝납니다.

^C[2020-05-23 21:49:50 +0200] [38524] [INFO] Handling signal: int
Exception ignored when trying to write to the signal wakeup fd:
Exception ignored when trying to write to the signal wakeup fd:
Traceback (most recent call last):
  File "/usr/lib/python3.8/asyncio/unix_events.py", line 42, in _sighandler_noop
Traceback (most recent call last):
  File "/usr/lib/python3.8/asyncio/unix_events.py", line 42, in _sighandler_noop
    def _sighandler_noop(signum, frame):
    def _sighandler_noop(signum, frame):
OSError: [Errno 9] Bad file descriptor
OSError: [Errno 9] Bad file descriptor
[2020-05-23 21:49:50 +0200] [38526] [INFO] Worker exiting (pid: 38526)
[2020-05-23 21:49:50 +0200] [38528] [INFO] Worker exiting (pid: 38528)
[2020-05-23 21:49:50 +0200] [38524] [INFO] Shutting down: Master

애플리케이션이 요청을 처리했는지 여부는 중요하지 않습니다.

Sanic 20.3.0 사용:

^C[2020-05-26 13:24:55 +0200] [27706] [INFO] Handling signal: int
[2020-05-26 13:24:55 +0200] [27769] [INFO] Stopping server: 27769, connections: 0
[2020-05-26 13:24:55 +0200] [27769] [INFO] Error while closing socket [Errno 9] Bad file descriptor
[2020-05-26 13:24:55 +0200] [27769] [INFO] Worker exiting (pid: 27769)
[2020-05-26 13:24:55 +0200] [27771] [INFO] Stopping server: 27771, connections: 0
[2020-05-26 13:24:55 +0200] [27771] [INFO] Error while closing socket [Errno 9] Bad file descriptor
[2020-05-26 13:24:55 +0200] [27771] [INFO] Worker exiting (pid: 27771)
[2020-05-26 13:24:55 +0200] [27706] [INFO] Shutting down: Master

모든 Ctrl+C에서 Gunicorn 20.0.4 + Uvicorn 0.11.5 작업자 클래스와 동일

INFO:     [12621] [gunicorn.error] Handling signal: int
INFO:     [12635] [gunicorn.error] Error while closing socket [Errno 9] Bad file descriptor
INFO:     [12634] [gunicorn.error] Error while closing socket [Errno 9] Bad file descriptor
INFO:     [12635] [gunicorn.error] Worker exiting (pid: 12635)
INFO:     [12634] [gunicorn.error] Worker exiting (pid: 12634)
INFO:     [12621] [gunicorn.error] Shutting down: Master

적용 예가 있습니까? 또한 어떤 버전의 Python에 대해 이야기하고 있습니까?

Ubuntu 20.04, virtualenv에서 시스템 제공 Python 3.8.2

예제 애플리케이션: https://github.com/zgoda/newsloop-server/tree/d603a1c10c9e8be3d998f62ccc55dd73f4677115(aiohttp 포함 ) 또는 https://github.com/zgoda/newsloop-server/tree/b2a8a7f09fa98 내 이전 의견에서 정확한 gunicorn 호출.

iohttp와 Sanic 사이의 출력 차이로 인해 작업자와 관련된 문제가 있다는 의심이 듭니다.

동일한 문제, Python 3.8.0
제정신 19.12.2
귀니콘 20.0.4

편집: 이것은 내 Mac에서 로컬로 실행할 때 발생하지만 Linux 도커 내에서 실행할 때는 발생하지 않습니다. 도움이 될 수 있습니다.

안녕하세요,
이 문제 https://github.com/benoitc/gunicorn/issues/2064 도 같은 이유가 있다고 생각합니다.
문제와 거의 동일한 오류가 있지만 gunicorn - 19.9.0을 사용합니다.

저도 이것을 경험하고 있습니다. FastAPI + Python 3.8.5를 사용하는 최신 Gunicorn 및 uvicorn 작업자

uvicorn 사용을 중단하자마자(즉, 내 gunicorn 구성에서 이 줄을 제거):

worker_class = "uvicorn.workers.UvicornWorker"

오류가 사라집니다.

위에서 설명한 것처럼 Ctrl+C로 Gunicorn을 중지하거나 PID에 Graceful kill 신호를 보낼 때 발생합니다.

[2020-09-12 11:56:37 +1000] [100390] [INFO] Starting gunicorn 20.0.4
[2020-09-12 11:56:37 +1000] [100390] [INFO] Listening at: http://0.0.0.0:6000 (100390)
[2020-09-12 11:56:37 +1000] [100390] [INFO] Using worker: uvicorn.workers.UvicornWorker
[2020-09-12 11:56:37 +1000] [100392] [INFO] Booting worker with pid: 100392
[2020-09-12 11:56:38 +1000] [100392] [INFO] Started server process [100392]
[2020-09-12 11:56:38 +1000] [100392] [INFO] Waiting for application startup.
[2020-09-12 11:56:38 +1000] [100392] [INFO] Application startup complete.
[2020-09-12 11:56:48 +1000] [100390] [INFO] Handling signal: term
[2020-09-12 11:56:48 +1000] [100392] [INFO] Shutting down
[2020-09-12 11:56:48 +1000] [100392] [INFO] Error while closing socket [Errno 9] Bad file descriptor
[2020-09-12 11:56:48 +1000] [100392] [INFO] Waiting for application shutdown.
[2020-09-12 11:56:48 +1000] [100392] [INFO] Application shutdown complete.
[2020-09-12 11:56:48 +1000] [100392] [INFO] Finished server process [100392]
[2020-09-12 11:56:48 +1000] [100392] [INFO] Worker exiting (pid: 100392)
[2020-09-12 11:56:48 +1000] [100390] [INFO] Shutting down: Master

문제의 정확한 복제는 다음과 같습니다.

[fots<strong i="6">@workstation</strong> testing]$ python3.8 -V
Python 3.8.5
[fots<strong i="7">@workstation</strong> testing]$ python3.8 -m venv ~/.virtualenv/testing
[fots<strong i="8">@workstation</strong> testing]$ source ~/.virtualenv/testing/bin/activate
(testing) [fots<strong i="9">@workstation</strong> testing]$ pip install fastapi gunicorn uvicorn
Collecting fastapi
  Using cached fastapi-0.61.1-py3-none-any.whl (48 kB)
Collecting gunicorn
  Using cached gunicorn-20.0.4-py2.py3-none-any.whl (77 kB)
Collecting uvicorn
  Using cached uvicorn-0.11.8-py3-none-any.whl (43 kB)
Collecting pydantic<2.0.0,>=1.0.0
  Using cached pydantic-1.6.1-cp38-cp38-manylinux2014_x86_64.whl (11.5 MB)
Collecting starlette==0.13.6
  Using cached starlette-0.13.6-py3-none-any.whl (59 kB)
Requirement already satisfied: setuptools>=3.0 in /home/fots/.virtualenv/testing/lib/python3.8/site-packages (from gunicorn) (47.1.0)
Collecting h11<0.10,>=0.8
  Using cached h11-0.9.0-py2.py3-none-any.whl (53 kB)
Collecting websockets==8.*
  Using cached websockets-8.1-cp38-cp38-manylinux2010_x86_64.whl (78 kB)
Collecting httptools==0.1.*; sys_platform != "win32" and sys_platform != "cygwin" and platform_python_implementation != "PyPy"
  Using cached httptools-0.1.1-cp38-cp38-manylinux1_x86_64.whl (227 kB)
Collecting uvloop>=0.14.0; sys_platform != "win32" and sys_platform != "cygwin" and platform_python_implementation != "PyPy"
  Using cached uvloop-0.14.0-cp38-cp38-manylinux2010_x86_64.whl (4.7 MB)
Collecting click==7.*
  Using cached click-7.1.2-py2.py3-none-any.whl (82 kB)
Installing collected packages: pydantic, starlette, fastapi, gunicorn, h11, websockets, httptools, uvloop, click, uvicorn
Successfully installed click-7.1.2 fastapi-0.61.1 gunicorn-20.0.4 h11-0.9.0 httptools-0.1.1 pydantic-1.6.1 starlette-0.13.6 uvicorn-0.11.8 uvloop-0.14.0 websockets-8.1
WARNING: You are using pip version 20.1.1; however, version 20.2.3 is available.
You should consider upgrading via the '/home/fots/.virtualenv/testing/bin/python3.8 -m pip install --upgrade pip' command.
(testing) [fots<strong i="10">@workstation</strong> testing]$ ls -l
total 4
-rw-rw-r-- 1 fots fots 117 Sep 12 12:13 main.py
(testing) [fots<strong i="11">@workstation</strong> testing]$ cat main.py
from fastapi import FastAPI

app = FastAPI()


@app.get("/")
async def root():
    return {"message": "Hello World"}
(testing) [fots<strong i="12">@workstation</strong> testing]$ gunicorn -k uvicorn.workers.UvicornWorker main:app
[2020-09-12 12:19:05 +1000] [105788] [INFO] Starting gunicorn 20.0.4
[2020-09-12 12:19:05 +1000] [105788] [INFO] Listening at: http://127.0.0.1:8000 (105788)
[2020-09-12 12:19:05 +1000] [105788] [INFO] Using worker: uvicorn.workers.UvicornWorker
[2020-09-12 12:19:05 +1000] [105790] [INFO] Booting worker with pid: 105790
[2020-09-12 12:19:05 +1000] [105790] [INFO] Started server process [105790]
[2020-09-12 12:19:05 +1000] [105790] [INFO] Waiting for application startup.
[2020-09-12 12:19:05 +1000] [105790] [INFO] Application startup complete.
^C[2020-09-12 12:19:06 +1000] [105788] [INFO] Handling signal: int
[2020-09-12 12:19:06 +1000] [105790] [INFO] Shutting down
[2020-09-12 12:19:06 +1000] [105790] [INFO] Error while closing socket [Errno 9] Bad file descriptor
[2020-09-12 12:19:06 +1000] [105790] [INFO] Waiting for application shutdown.
[2020-09-12 12:19:06 +1000] [105790] [INFO] Application shutdown complete.
[2020-09-12 12:19:06 +1000] [105790] [INFO] Finished server process [105790]
[2020-09-12 12:19:06 +1000] [105790] [INFO] Worker exiting (pid: 105790)
[2020-09-12 12:19:07 +1000] [105788] [INFO] Shutting down: Master

다음은 pip freeze 출력입니다.

click==7.1.2
fastapi==0.61.1
gunicorn==20.0.4
h11==0.9.0
httptools==0.1.1
pydantic==1.6.1
starlette==0.13.6
uvicorn==0.11.8
uvloop==0.14.0
websockets==8.1

최신 수정 사항을 받았는지 확인하기 위해 GitHub(마스터 브랜치)에서 uvicorn과 gunicorn을 설치하려고 시도했지만 문제가 지속되었습니다.

도움이 되었기를 바랍니다
포티스

1. gunicorn 및 uvicorn 설정으로 이 로그 오류를 재현할 수 있습니다. 이 오류 메시지는 이전 버전 0.11.3 아니라 uvicorn==0.11.4 발생하기 시작합니다(OSx 및 Linux 컨테이너 모두에서). 이는 보고된 버전이 항상 0.11.4 보다 큰 uvicorn의 위 보고서와 일치합니다. 마지막에 증거
2. 이 오류에 대한 책임이 커밋 하나 . 문제는 방금 언급한 커밋의 이 몇 줄 에 있습니다. 커밋은 두 코드 블록의 순서만 변경합니다. 그 순서 변경을 되돌리면 uvicorn 의 테스트 스위트를 계속 통과하면서 로그 오류가 사라집니다.
3. 동일한 로그 오류는 다음 중 하나를 사용하는 경우 발생합니다. 위에 보고된 대로 gunicorn+uvicorn 스택 맨 위에 starlette 및 fastapi 를 사용합니다. - 12.X 대신 최신 uvicorn 버전 0.11.4 ; - 한 명 이상의 uvicorn 작업자와 함께 gunicorn 실행

증거 . osx의 새 폴더에서 첨부된 스크립트 test.sh (osx에서 테스트됨)를 실행합니다. Linux 컨테이너에서 테스트하려면 스크립트와 Dockerfile을 모두 저장한 다음 Dockerfile의 헤더를 읽으십시오. 스크립트 로그도 첨부합니다.

@benoitc , uvicorn 의 이 커밋에 대해 어떻게 생각하세요? 버그가 발생하는 것 같나요? 문제는 gunicorn 와 uvicorn 사이의 인터페이스에 있는 것 같습니다. uvicorn 에서 위에서 언급한 커밋에서 변경된 2개의 코드 블록 순서에 대해 언급할 수 있습니까? 이렇게 하면 다른 경우에도 이런 일이 발생하는 이유를 찾는 데 도움이 될 수 있습니다. 지금까지 이것은 aiohttp , gevent , Flask-SocketIO sanic . 편의를 위해 스크립트 로그도 첨부합니다.

log_test.log

파일 _test.sh_

#!/bin/bash
python3 -m venv venv
source venv/bin/activate
pip install gunicorn==20.0.04 uvicorn==0.11.4
# create simple uvicorn app
printf "async def app(scope, receive, send):\n    await send()\n" > example.py
# spin up gunicorn with 1 uvicorn worker, and then send TERM signal to gunicorn
gunicorn example:app -w 1 -k uvicorn.workers.UvicornWorker &
sleep 5 && pkill -f gunicorn
sleep 1
# you will see 1 log entry like this one:
# [XX] [YY] [INFO] Error while closing socket [Errno 9] Bad file descriptor

printf "\n\n[INFO] if you instead bump down uvicorn's version from 11.4 to 11.3 [Errno 9] goes away:\n\n"
pip install uvicorn==0.11.3
gunicorn example:app -w 1 -k uvicorn.workers.UvicornWorker &
sleep 5 && pkill -f gunicorn

파일 _도커파일_

# run with:
# docker run -it $(docker build -q .)
FROM python:3.8
COPY test.sh .
RUN chmod +x /test.sh
CMD /test.sh

나는 똑같은 문제가있었습니다. 여기 내 경우가 있습니다.

요약 : gunicorn을 사용하여 Django dwebsocket에 대한 테스트 응용 프로그램을 설정하려고 합니다. websocket_client를 사용하여 결과를 테스트하려고 할 때 websocket을 닫은 후 이 오류가 매번 발생합니다.

환경 :
도커 이미지 : python:3.7
파이썬 버전: python3.7.6
gunicorn : 버전 = 20.0.4, 작업 = gevent
Django 버전 : Django==2.2
dwebsocket 버전 : 0.5.12

암호:

보기.py

from dwebsocket import accept_websocket

<strong i="16">@accept_websocket</strong>
def my_ws(request):
    if request.is_websocket():
        ws = request.websocket
        while True:
            msg = ws.wait(timeout=15)
            if msg is None:
                print('get None message')
                break
            else:
                msg = b'echo :' + msg
                ws.send(msg)
                print('send ws seccess')
        print('websocket close')

urls.py

from websocketInfo.views import  my_ws
from django.conf.urls import url

urlpatterns = [
    url(r'my_ws/$', my_ws, name='my_ws')
]

웹 소켓_클라이언트

from websocket import create_connection
ws = create_connection("ws://127.0.0.1:8080/my_ws/")
print("Sending 'Hello, World'...")
ws.send("Hello, World")
print("Receiving...")
result = ws.recv()
print(result)
ws.close()
print('ws close')

gunicorn 서버를 실행하는 commad

gunicorn MyWebsocket.wsgi -b 0.0.0.0:8000 -w 3 -k gevent

오류 출력

send ws seccess
get None message
websocket close
[2021-01-13 02:43:56 +0000] [101] [ERROR] Socket error processing request.
Traceback (most recent call last):
  File "/usr/local/lib/python3.7/site-packages/gunicorn/workers/base_async.py", line 65, in handle
    util.reraise(*sys.exc_info())
  File "/usr/local/lib/python3.7/site-packages/gunicorn/util.py", line 625, in reraise
    raise value
  File "/usr/local/lib/python3.7/site-packages/gunicorn/workers/base_async.py", line 55, in handle
    self.handle_request(listener_name, req, client, addr)
  File "/usr/local/lib/python3.7/site-packages/gunicorn/workers/ggevent.py", line 143, in handle_request
    super().handle_request(listener_name, req, sock, addr)
  File "/usr/local/lib/python3.7/site-packages/gunicorn/workers/base_async.py", line 128, in handle_request
    util.reraise(*sys.exc_info())
  File "/usr/local/lib/python3.7/site-packages/gunicorn/util.py", line 625, in reraise
    raise value
  File "/usr/local/lib/python3.7/site-packages/gunicorn/workers/base_async.py", line 114, in handle_request
    resp.write(item)
  File "/usr/local/lib/python3.7/site-packages/gunicorn/http/wsgi.py", line 326, in write
    self.send_headers()
  File "/usr/local/lib/python3.7/site-packages/gunicorn/http/wsgi.py", line 322, in send_headers
    util.write(self.sock, util.to_bytestring(header_str, "latin-1"))
  File "/usr/local/lib/python3.7/site-packages/gunicorn/util.py", line 286, in write
    sock.sendall(data)
  File "/usr/local/lib/python3.7/site-packages/gevent/_socket3.py", line 523, in sendall
    return _socketcommon._sendall(self, data_memory, flags)
  File "/usr/local/lib/python3.7/site-packages/gevent/_socketcommon.py", line 367, in _sendall
    chunk_size = max(socket.getsockopt(SOL_SOCKET, SO_SNDBUF), 1024 * 1024)
  File "/usr/local/lib/python3.7/site-packages/gevent/_socket3.py", line 156, in __getattr__
    return getattr(self._sock, name)
  File "/usr/local/lib/python3.7/site-packages/gevent/_socket3.py", line 66, in _dummy
    raise OSError(EBADF, 'Bad file descriptor')
OSError: [Errno 9] Bad file descriptor

@ChrisXiaoShu 게시한 스택 추적은 이 특정 소켓 개체가 Python 수준에서 명시적으로 닫 _dummy 를 사용하여 운영 체제와 동일한 예외를 생성함). 이는 애플리케이션 스택의 일부가 gunicorn이 처리할 수 있도록 응답을 반환하기 전에 소켓을 닫고 있음을 의미합니다. 오류가 발생하는 시점에서 gunicorn은 아직 HTTP 응답 헤더를 보내지 않았습니다.

이 오류가 아무 것도하지 않고 발생한다는 차이점과 함께 내 경우에는 동일한 문제입니다. 때로는 5분 후, 때로는 2시간 후...