Gunicorn: OSError: [Errno 0] 오류

내 기억으로는 이 오류는 클라이언트가 SSL 없이 연결을 시도할 때 발생합니다. 당신에게도 그럴 수 있습니까?

내가 닫은 다른 문제에 대한 귀하의 게시물을 참조하십시오. 제 댓글이 원인이 아니라면 사과드립니다.

이런 식으로 요청이 실패하는 패턴이 있습니까?

@usmetanina 어떤 클라이언트가 Gunicorn에도 연결되나요? 명시적으로 연결하는 데 사용되는 SSL 옵션이 있습니까?

이것은 이미 해결 되었습니까? @usmetanina , 정확히 같은 문제가 있기 때문에

@benoitc 나는 @usmetanina가 '자주 python3.6 및 gunicorn 사용하여 정확한 오류에요 참조 19.9.0 .

아래 정보를 사용하여 도커 컨테이너 내에서 실행되는 플라스크 앱으로 gunicorn을 시작합니다.

gunicorn --workers=3 --bind=0.0.0.0:8000 --config=gunicorn_config.py --preload main

구성 파일은 다음과 같습니다(domain-with-cert.com은 물론 실제 도메인 이름의 자리 표시자임).

workers = 3
bind = '0.0.0.0:443'
certfile = '/etc/letsencrypt/live/domain-with-cert.com/fullchain.pem'
keyfile = '/etc/letsencrypt/live/domain-with-cert.com/privkey.pem'

디버깅에 대한 모든 생각은 도움이 될 것입니다. 추가 정보가 필요하면 알려주세요.

@willpatera , 내 의견을 참조하십시오.

내 기억으로는 이 오류는 클라이언트가 SSL 없이 연결을 시도할 때 발생합니다. 당신에게도 그럴 수 있습니까?

@tilgovi 위의 댓글을 보았습니다. 클라이언트가 SSL을 통해 연결하고 있다고 확신합니다. 디버깅 제안이 있습니까?

@willpatera 액세스 로그를 켜고 어떤 요청이 문제를 일으키는지 확인할 수 있는지 확인합니다. gunicorn 앞에 역방향 프록시가 있는 경우 액세스 로그가 있는지 확인하여 gunicorn이 로그를 기록하지 않더라도 어떤 요청이 gunicorn에 오류를 일으키는지 확인할 수 있습니다.

@tilgovi 같은 문제가 있습니다. 다음 정보가 올바르지 않아 약간 수정해야 했습니다.
gunicorn에 대한 요청은 항상 정확히 동일한 요청입니다(그러나 본문은 다름). 따라서 http가 아닌 https라는 것은 의심의 여지가 없습니다.
내가 주목하는 것은 요청 양이 증가할 때 항상 발생한다는 것입니다. 서버가 바쁘면 요청을 제대로 처리하는 데 문제가 있는 것 같습니다.

아마도 이것은 작업자 또는 이와 유사한 것과 관련이 있습니까? 구성 제안 사항이 있으면 기꺼이 테스트해 보겠습니다.

안녕하세요 여러분, 저는 여전히 이 문제를 해결할 방법을 찾고 있습니다. 현재 우리가 할 수 있는 유일한 옵션은 일반 HTTP로 다운그레이드하는 것입니다. 이는 전혀 실현 가능하지 않습니다.

나는 같은 것을 목격했습니다. Gunicorn + Flask(로드 밸런서 뒤)를 실행하는 프로덕션 서버가 몇 달 동안 제대로 작동했는데 갑자기 모든 요청이 Gunicorn을 다시 시작할 때까지 이 오류가 발생했습니다.

[2019-11-21 07:27:36 +0000] [24245] [ERROR] Socket error processing request.
Traceback (most recent call last):
  File "/usr/local/lib/python3.6/dist-packages/gunicorn/workers/sync.py", line 134, in handle
    req = six.next(parser)
  File "/usr/local/lib/python3.6/dist-packages/gunicorn/http/parser.py", line 41, in __next__
    self.mesg = self.mesg_class(self.cfg, self.unreader, self.req_count)
  File "/usr/local/lib/python3.6/dist-packages/gunicorn/http/message.py", line 181, in __init__
    super(Request, self).__init__(cfg, unreader)
  File "/usr/local/lib/python3.6/dist-packages/gunicorn/http/message.py", line 54, in __init__
    unused = self.parse(self.unreader)
  File "/usr/local/lib/python3.6/dist-packages/gunicorn/http/message.py", line 193, in parse
    self.get_data(unreader, buf, stop=True)
  File "/usr/local/lib/python3.6/dist-packages/gunicorn/http/message.py", line 184, in get_data
    data = unreader.read()
  File "/usr/local/lib/python3.6/dist-packages/gunicorn/http/unreader.py", line 38, in read
    d = self.chunk()
  File "/usr/local/lib/python3.6/dist-packages/gunicorn/http/unreader.py", line 65, in chunk
    return self.sock.recv(self.mxchunk)
  File "/usr/lib/python3.6/ssl.py", line 997, in recv
    return self.read(buflen)
  File "/usr/lib/python3.6/ssl.py", line 874, in read
    return self._sslobj.read(len, buffer)
  File "/usr/lib/python3.6/ssl.py", line 633, in read
    v = self._sslobj.read(len)
OSError: [Errno 0] Error

이러한 오류 이전의 로그에는 트리거가 무엇인지 암시하는 내용이 없습니다.

이것은 단일 코어 서버에서 3명의 작업자와 함께 실행되는 Gunicorn 19.9.0의 경우였습니다.

이 문제를 처음 본 것이므로 다시 재현할 것이라고 장담할 수 없습니다. 그러나 이러한 일이 다시 발생하는 경우 유용한 정보를 제공할 수 있는 로깅 또는 기타 진단 코드가 누군가 저에게 우리 서버에 추가했으면 하는 내용이 있다면 저는 모두 귀를 기울이고 있습니다.

LB가 특정 엔드포인트를 호출합니까? LB 요청에 어떻게 응답합니까?

내가 "로드 밸런서"라고 말했을 때, 나는 정말로 CDN 또는 캐싱 레이어를 말했어야 했습니다. 특히: Amazon Cloudfront입니다. 요청을 Gunicorn 서버(EC2 인스턴스에서 실행)로 전달하고 잠시 동안 결과를 캐시합니다.

hrm은 amazon cloudfront가 SSL 요청을 종료하지 않아야 합니까? @폭발양배추 . 왜 gunicorn이 뒤에서 ssl을 들어야합니까?

@benoitc 따라서 아키텍처에 관련된 SSL을 사용하는 두 개의 레이어가 있습니다. HTTPS를 통해 우리의 CloudFront를 도메인을 통해 우리의 웹 사이트에 공개 연결의 회원 한 다음 CloudFront를도 (다른 도메인 이름과 인증서로) HTTPS를 사용하여, Gunicorn을 실행하는 우리의 백엔드 노드에 요청을이 결과를 캐시하고, 그것을 제공 공공의.

내부 요청에 대해 SSL을 사용하는 요점이 무엇인지 궁금하신가요? 무의미하다고 주장할 수 있습니다. (비록 그렇지 않을 수도 있습니다. Amazon이 내부 네트워크에서 우리 통신을 스누핑하는 것을 중지하고 규제상의 이유도 있습니다. 우리 회사의 산업을 감안할 때 우리는 파이프라인 전체에 걸쳐 암호화). 무의미하든 아니든 우리는 그것을 합니다. ¯\_(ツ)_/¯

클라우드프론트가 엔드포인트에 일반 HTTP 요청을 보내는 것일 수 있습니까? 클라우드프론트 로그에 액세스할 수 있는 경우 볼 수 있어야 합니다.

@benoitc CloudFront가 유용한 로그를 노출한다고 생각하지 않지만 다음과 같은

• 배포는 "HTTPS 전용"을 통해 Gunicorn 오리진에 연결하도록 CloudFront 콘솔에서 구성됩니다.
• Gunicorn이 포트 80에서 수신 대기하지 않음
• 내가 HTTP를 통해 우리의 백엔드 서버에 연결을 시도하는 경우가 재생되지 않습니다 (포트 443에서 HTTP를 강제 포함) OSError는 위에 인용
• 위에서 인용한 OSError가 발생했을 때 백엔드 서버에서 Gunicorn을 다시 시작하면 문제가 즉시 해결되었습니다.

@ExplodingCabbage ok 20.0.1이 나온 후에 살펴보겠습니다. 마지막으로 어떤 버전의 Python을 사용하고 있습니까?

3.6.8

위의 이야기에서 세부 사항을 빠뜨렸다는 것을 깨달았습니다. Gunicorn을 다시 시작하기 전에 Gunicorn이 LetsEncrypt와 함께 사용하는 SSL 인증서도 업데이트했습니다. 나는 어제 오류가 시작된 날 인증서가 만료될 일이 없고 인증서 업데이트가 실제로 문제를 해결하는 것과 관련이 없다고 잘못 결론을 내렸기 때문에 이에 대해 언급할 생각을 하지 못했습니다.

그러나 일부 로그를 확인한 결과 오류가 실제로는 이전 인증서가 만료되는 날부터 시작되었다는 것을 알게 되었습니다.

여기에는 여전히 미스터리와 개선의 여지가 있습니다(이 오류가 정확히 무엇을 의미하며 Gunicorn이 더 유용한 메시지를 제공할 수 없는 이유는 무엇입니까?). 명백한 원인 없이 - 옳지 않습니다. CloudFront가 Gunicorn 서버에서 만료된 인증서를 본 것에 대한 응답으로 연결을 종료하고 있었고 Gunicorn이 이를 이해하고 의미 있게 보고하는 대신 메시지 없는 OSError가 발생하도록 합니다.

제보 전 제 오리들을 연달아 올리지 못한 점 사과드립니다. 반면에 시나리오를 더 우아하게 처리하고 싶다면 이렇게 하면 이 예외를 마음대로 재현하기가 더 쉬워질 것입니다.

@ExplodingCabbage 오 꽤

방금 동일한 문제에 재현 가능하게 실행되었으며 일종의 리소스 고갈의 결과라고 어느 정도 확신합니다.

나에게 그것은 차단 호출과 누적 요청에 대한 시간 초과를 잊어버려서 촉발되었습니다.

HTH

여보세요! 이 정확한 문제가 발생했습니다. 네트워크 로드 밸런서 뒤에 있는 ECS 클러스터에서 실행 중인 gunicorn/flask 서비스가 있습니다. 일부 버전 사양:

python    - 3.7.4
gunicorn  - 19.9.0
flask     - 1.0.4

서비스는 문제 없이 TLS를 사용하여 클라이언트에서 오는 요청에 응답할 수 있지만 내 로그는 OSErrors로 가득 차 있습니다. 내가 알 수 있는 한, 이는 로드 밸런서(TCP)에서 오는 상태 확인 요청으로 인해 발생합니다.

수신 포트(이 경우 8000)에서 수동으로 TCP 연결을 열고 닫아 로컬에서 오류를 재현할 수 있었습니다.

$ nc -vz 127.0.0.1 8000
localhost [127.0.0.1] 8000 (irdmi) open

그 결과 다음 오류가 발생했습니다.

Traceback (most recent call last):
    File "/nix/store/nh3v0c2nipihwblkdn0mh2kqyv3jq9nz-python3-3.7.4-env/lib/python3.7/site-packages/gunicorn/workers/sync.py" line 134 in handle
        req = six.next(parser)
    File "/nix/store/nh3v0c2nipihwblkdn0mh2kqyv3jq9nz-python3-3.7.4-env/lib/python3.7/site-packages/gunicorn/http/parser.py" line 41 in __next__
        self.mesg = self.mesg_class(self.cfg, self.unreader, self.req_count)
    File "/nix/store/nh3v0c2nipihwblkdn0mh2kqyv3jq9nz-python3-3.7.4-env/lib/python3.7/site-packages/gunicorn/http/message.py" line 181 in __init__
        super(Request, self).__init__(cfg, unreader)
    File "/nix/store/nh3v0c2nipihwblkdn0mh2kqyv3jq9nz-python3-3.7.4-env/lib/python3.7/site-packages/gunicorn/http/message.py" line 54 in __init__
        unused = self.parse(self.unreader)
    File "/nix/store/nh3v0c2nipihwblkdn0mh2kqyv3jq9nz-python3-3.7.4-env/lib/python3.7/site-packages/gunicorn/http/message.py" line 193 in parse
        self.get_data(unreader, buf, stop=True)
    File "/nix/store/nh3v0c2nipihwblkdn0mh2kqyv3jq9nz-python3-3.7.4-env/lib/python3.7/site-packages/gunicorn/http/message.py" line 184 in get_data
        data = unreader.read()
    File "/nix/store/nh3v0c2nipihwblkdn0mh2kqyv3jq9nz-python3-3.7.4-env/lib/python3.7/site-packages/gunicorn/http/unreader.py" line 38 in read
        d = self.chunk()
    File "/nix/store/nh3v0c2nipihwblkdn0mh2kqyv3jq9nz-python3-3.7.4-env/lib/python3.7/site-packages/gunicorn/http/unreader.py" line 65 in chunk
        return self.sock.recv(self.mxchunk)
    File "/nix/store/azwzsm1pkbzjxpkiq88w68p4jdghgasl-python3-3.7.4/lib/python3.7/ssl.py" line 1056 in recv
        return self.read(buflen)
    File "/nix/store/azwzsm1pkbzjxpkiq88w68p4jdghgasl-python3-3.7.4/lib/python3.7/ssl.py" line 931 in read
        return self._sslobj.read(len)
OSError: [Errno 0] Error

도움이 되었기를 바랍니다!

흠, 몇 가지 추가 연구를 마친 후 이것은 실제로 python ssl 라이브러리가 Linux에서 비정형 EOF를 처리하는 방식의 버그일 수 있습니다. https://bugs.python.org/issue31122

@shevisjohnson 이 언급했듯이 "nc -vz hostname port_no"를 실행하면 이 오류가 나타납니다.
아래의 로깅 메커니즘을 사용하여 로그 파일에서 이 오류를 억제할 수 있습니다.

$cat logging_config.yml

version: 1

formatters:
  simple:
    format: " %(asctime)s || %(name)s || %(levelname)s || %(message)s"

  test_api:
    format: "[%(asctime)s] [%(process)s] [%(levelname)s] %(message)s"

handlers:

  console:
    class: logging.StreamHandler
    level: DEBUG
    formatter: simple
    stream: ext://sys.stdout

  test_api_file_handler:
     class: logging.handlers.RotatingFileHandler
     level: DEBUG
     formatter: test_api
     filename: logs/test.log
     maxBytes: 2000000000
     backupCount: 1
     encoding: utf8

loggers:

  test_api: 
    level: DEBUG
    handlers: [test_api_file_handler]
    propagate: 0

root:
  level: DEBUG
  handlers: [console]

다음은 파이썬 파일입니다.

import logging
import yaml
from flask import Flask

app = Flask(__name__)

def logSetter(logger_name:str) -> logging:
    with open("logging_config.yml", 'r') as f:
        config = yaml.safe_load(f)
    logging.config.dictConfig(config)
    logger = logging.getLogger(logger_name)
    return logger

logger=logSetter(logger_name="test_api")

@app.route("/api/test")
def hello():
     app.logger.info("hey from api")
     return "Hello from Python!"

도움이 되기를 바랍니다.

동시 로드 중에 프로덕션에서 이 오류로 인해 여러 Gunicorn 앱이 실패하는 것을 간헐적으로 관찰했습니다.

신뢰할 수 있는 재생산을 찾는 데 잠시 시간이 걸렸습니다. hey 를 사용하여 gthread 작업자를 사용하여 최신 Gunicorn(20.0.4)에 100개의 동시 요청을 보냅니다.

$ hey -n 100 -c 100 https://127.0.0.1:8000

```
$ gunicorn app:app -k gthread --certfile=... --keyfile=...
...
[2020-07-11 19:10:58 +0000] [3628247] [ERROR] 소켓 오류 처리 요청입니다.
역추적(가장 최근 호출 마지막):
반환 self._sslobj.read(len)
OSError: [Errno 0] 오류

Using a Debian 9 / Linux 4.14.67 based environment.

The WSGI app to reproduce need not be anything beyond:
```python
# app.py
def app(environ, start_response):
    start_response("200 OK", [])
    return ""

이것도 도움이된다면!

근본 원인이 실제로 https://bugs.python.org/issue31122인 경우 :

• 3월 4일에 수정 사항이 제출되었지만(python/cpython#18772), 여전히 핵심 개발자가 이를 인정하지 않았습니다. 아마도 Gunicorn 유지 관리자가 거기에 또는 BPO-31122에 그것이 gunicorn 사용자에게 영향을 미치고 있다는 의견을 남기면 도움이 될까요?
• Gunicorn은 해당 수정 사항이 릴리스되기 이전의 지원되는 Python 버전에 대해 여전히 이 문제를 해결해야 합니다. 같은 의견에 해결 방법이 있는지 물어볼 가치가 있습니까?

이는 생산 중인 내 조직에도 영향을 미치고 있습니다.

버그 수정 이 3.8 및 3.9 분기에 도착했지만 <= 3.7 EOL을 고려하고 있으며 당분간 3.6에 고정되어 있습니다. 현재 gunicorn 자체에 이 문제에 대한 알려진 해결 방법이 있습니까? 계획된 것이 있습니까?

우리는 이것을 트리거하기 위해 서비스를 그렇게 많이 호출할 수 있는 것을 조사하고 있지만, 영향을 받는 노드에서 엄청난 리소스 스파이크를 초래하기 때문에 무엇을 할 수 있는지 알아내려고 합니다.

3.8 이전에 백포트할 의사가 없다는 jriddy의 의견 외에도 다른 사람이 이 문제를 겪고 있다면 수정 사항이 CPython 3.8.6에 포함되도록 설정되어 있습니다 .

이 트레이스백이 어디에서 나오는지 정확히 말하는 데 문제가 있습니다. 제 경우에는 gevent 를 WSGI 앱 서버로 직접 사용하므로 gevent/greenlet 내의 어딘가에서 로깅 호출이라고 가정하지만 아직 찾을 수 없습니다. Gunicorn의 경우 동기 작업자의 경우 여기에서 발생합니다.

https://github.com/benoitc/gunicorn/blob/e636bf81989bb833d2b99104feb11e86c3f2c43a/gunicorn/workers/sync.py#L150

Gunicorn의 경우 로그의 노이즈가 걱정된다면 다음과 같은 작업을 수행할 수 있습니다.

import logging

class HandshakeFilter(logging.Filter):
    # example: https://docs.python.org/3/howto/logging-cookbook.html
    # I have not tested this
    def filter(self, record):
        return "socket error processing request" in record.msg.casefold()

logging.getLogger("gunicorn").addFilter(HandshakeFilter())

관련 gevent 문제: https://github.com/gevent/gevent/issues/1671