Gunicorn: OSError：[Errno0]エラー

私の記憶から、このエラーは、クライアントがSSLなしで接続しようとしたときに発生します。 それはあなたの場合でしょうか？

私が閉じた他の問題に関するあなたの投稿が表示されます。 私のコメントが原因ではない場合は、お詫び申し上げます。

この方法でリクエストが失敗するパターンはありますか？

@usmetaninaどのようなクライアントがGunicornにも接続していますか？ 接続に明示的に使用されるSSLオプションはありますか？

これはすでに解決されていますか？ @usmetanina 、私はまったく同じ問題を抱えているので

@benoitc私は頻繁にpython3.6を使用して@usmetaninaの正確なエラーを確認し、gunicorn 19.9.0 。

以下の情報を使用して、Dockerコンテナー内で実行されているフラスコアプリでgunicornを起動します。

gunicorn --workers=3 --bind=0.0.0.0:8000 --config=gunicorn_config.py --preload main

構成ファイルは次のようになります（domain-with-cert.comはもちろん実際のドメイン名のプレースホルダーです）。

workers = 3
bind = '0.0.0.0:443'
certfile = '/etc/letsencrypt/live/domain-with-cert.com/fullchain.pem'
keyfile = '/etc/letsencrypt/live/domain-with-cert.com/privkey.pem'

これをデバッグすることについての考えは役に立ちます。 さらに詳しい情報が必要な場合は、お知らせください。

@willpatera 、私のコメントを参照してください：

私の記憶から、このエラーは、クライアントがSSLなしで接続しようとしたときに発生します。 それはあなたの場合でしょうか？

@tilgovi上記のコメントを見ました。 クライアントがSSL経由で接続していることは間違いありません。 デバッグの提案はありますか？

@willpateraアクセスログをオンにして、問題の原因となっているリクエストを特定できるかどうかを確認してください。 gunicornの前にリバースプロキシがある場合は、アクセスログがあることを確認してください。そうすれば、gunicornがログに記録しなくても、どのリクエストがgunicornでエラーを引き起こすかを確認できます。

@tilgovi私は同じ問題を抱えています。 次の情報は正しくなかったため、少し編集する必要がありました。
gunicornに対して行われているリクエストは、常にまったく同じリクエストです（ただし、本文が異なります）。 したがって、httpではなくhttpsであることは間違いありません。
私が気付いたのは、リクエストの量が増えているときに常に発生するということです。 サーバーがビジー状態の場合、リクエストを適切に処理するのに問題があるようです。

多分これは労働者かそのような何かと関係がありますか？ 構成に関する提案があれば、喜んでテストしたいと思います。

こんにちはみんな、私はまだこれを解決する方法を探しています。 現在、私たちが持っている唯一のオプションは、プレーンHTTPにダウングレードすることですが、これはまったく実現可能ではありません。

私は同じことを目撃しました。 Gunicorn + Flask（ロードバランサーの背後）を実行している本番サーバーが数か月間正常に機能していた場合、Gunicornを再起動するまで、突然すべてのリクエストでこのエラーが発生しました。

[2019-11-21 07:27:36 +0000] [24245] [ERROR] Socket error processing request.
Traceback (most recent call last):
  File "/usr/local/lib/python3.6/dist-packages/gunicorn/workers/sync.py", line 134, in handle
    req = six.next(parser)
  File "/usr/local/lib/python3.6/dist-packages/gunicorn/http/parser.py", line 41, in __next__
    self.mesg = self.mesg_class(self.cfg, self.unreader, self.req_count)
  File "/usr/local/lib/python3.6/dist-packages/gunicorn/http/message.py", line 181, in __init__
    super(Request, self).__init__(cfg, unreader)
  File "/usr/local/lib/python3.6/dist-packages/gunicorn/http/message.py", line 54, in __init__
    unused = self.parse(self.unreader)
  File "/usr/local/lib/python3.6/dist-packages/gunicorn/http/message.py", line 193, in parse
    self.get_data(unreader, buf, stop=True)
  File "/usr/local/lib/python3.6/dist-packages/gunicorn/http/message.py", line 184, in get_data
    data = unreader.read()
  File "/usr/local/lib/python3.6/dist-packages/gunicorn/http/unreader.py", line 38, in read
    d = self.chunk()
  File "/usr/local/lib/python3.6/dist-packages/gunicorn/http/unreader.py", line 65, in chunk
    return self.sock.recv(self.mxchunk)
  File "/usr/lib/python3.6/ssl.py", line 997, in recv
    return self.read(buflen)
  File "/usr/lib/python3.6/ssl.py", line 874, in read
    return self._sslobj.read(len, buffer)
  File "/usr/lib/python3.6/ssl.py", line 633, in read
    v = self._sslobj.read(len)
OSError: [Errno 0] Error

これらのエラーの前のログには、トリガーが何であったかを示唆するものはありません。

これは、シングルコアサーバー上で3人のワーカーで実行されているGunicorn19.9.0の場合でした。

この問題を目にしたのはこれが初めてなので、私はそれを再現することを約束することはできません。 ただし、これが再び発生した場合に役立つ情報を提供する可能性のある、何らかの種類のロギングまたはその他の診断コードをサーバーに追加してほしい場合は、私はすべての耳です。

LBは特定のエンドポイントを呼び出しますか？ LBリクエストにどのように応答しますか？

「ロードバランサー」と言ったとき、私は本当にCDNまたはキャッシングレイヤーと言ったはずです。 具体的には、AmazonCloudfrontです。 リクエストをGunicornサーバー（EC2インスタンスで実行）に転送し、しばらくの間結果をキャッシュします。

hrmは、amazon cloudfrontがSSLリクエストを終了するべきではありませんか？ @ExplodingCabbage 。 なぜgunicornは背後のSSLをリッスンする必要があるのですか？

@benoitcつまり、アーキテクチャにはSSLを使用した2つのレイヤーがあります。 HTTPS経由で当社CloudFrontのドメインを介して当社のウェブサイトへのパブリック接続のメンバー、そしてCloudFrontをも（別のドメイン名と証明書付き）HTTPSを使用して、Gunicornを実行している私たちのバックエンドノードへの要求を行うには、結果をキャッシュし、それを提供します公衆。

その2番目の内部リクエストにSSLを使用する意味は何か疑問に思っているのではないでしょうか。 それは確かに無意味であると主張できます（おそらくそうではありませんが、Amazonが内部ネットワークの通信をスヌーピングするのを防ぎます。また、私の会社の業界を考えると、私たちが持っていることを確認する必要があるかもしれない理由については説明しません。パイプラインに沿ってずっと暗号化）。 無意味であろうとなかろうと、私たちはそれを行います。 ¯\ _（ツ）_ /¯

クラウドフロントがエンドポイントにプレーンなHTTPリクエストを送信している可能性はありますか？ クラウドフロントログにアクセスできる場合は、それを表示できるはずです。

@benoitc CloudFrontが有用なログを公開するとは思わないが、次の理由から、HTTP経由で接続しようとしていないと確信している。

• 私たちのディストリビューションは、CloudFrontコンソールで「HTTPSのみ」を介してGunicornオリジンに接続するように設定されています
• Gunicornはポート80でリッスンしていません
• 私はHTTPを介して私たちのバックエンドサーバーに接続しようとした場合、それは再現しません（ポート443上でHTTPを強制含む）OSErrorのは、上に引用
• 上記のOSErrorを取得していたとき、バックエンドサーバーでGunicornを再起動すると、問題が即座に修正されました。これは、Cloudfront側ではなくGunicorn側に問題があることを示しています。

@ExplodingCabbage ok 20.0.1がリリースされたら、それを見ていきます。 最後に、どのバージョンのPythonを使用していますか？

3.6.8

上記のストーリーから詳細を省略したことに気付きました。Gunicornを再起動する前に、GunicornがLetsEncryptで使用するSSL証明書も更新しました。 昨日、エラーが発生した日に証明書の有効期限が切れる可能性はなく、証明書の更新は実際には問題の修正に関連していないと誤って結論付けたため、これについて言及することは考えていませんでした。

しかし、いくつかのログを確認したところ、実際には、以前の証明書の有効期限が切れる日にエラーが発生したことがわかりました。

ここにはまだいくつかの謎があり、改善の余地がある可能性があります（このエラーは正確に何を意味し、なぜGunicornはより有用なメッセージを提供できないのですか？）、しかし私が以前に与えた物語-このエラーは突然始まりました明らかな原因はありません-正しくありません。 CloudFrontは、Gunicornサーバーからの期限切れの証明書を確認したことに応答して接続を終了していたと思います。また、Gunicornは、それを理解して意味のあるレポートを作成するのではなく、メッセージのないOSErrorを発生させます。

報告する前にアヒルが一列に並んでいないことをお詫びします。 一方、シナリオをよりエレガントに処理したい場合は、これにより、この例外を自由に再現しやすくなる可能性があります。

@ExplodingCabbageああ、それは非常に

私は同じ問題に再現性よく遭遇したばかりであり、それはある種のリソースの枯渇の結果であるとある程度確信しています。

私にとって、それはブロッキング呼び出しのタイムアウトを忘れて、積み重なる要求によって引き起こされました。

HTH

こんにちは！ 私はこの正確な問題を経験しています。 ネットワークロードバランサーの背後にあるECSクラスターでgunicorn / flaskサービスを実行しています。 いくつかのバージョンの詳細：

python    - 3.7.4
gunicorn  - 19.9.0
flask     - 1.0.4

このサービスは、TLSを使用してクライアントからの要求に問題なく応答できますが、ログにOSErrorが殺到します。 私の知る限り、これらはロードバランサー（TCP）からのヘルスチェック要求に起因しています。

リスニングポート（この場合は8000）でTCP接続を手動で開いたり閉じたりすることで、ローカルでエラーを再現できました。

$ nc -vz 127.0.0.1 8000
localhost [127.0.0.1] 8000 (irdmi) open

その結果、次のエラーがスローされました。

Traceback (most recent call last):
    File "/nix/store/nh3v0c2nipihwblkdn0mh2kqyv3jq9nz-python3-3.7.4-env/lib/python3.7/site-packages/gunicorn/workers/sync.py" line 134 in handle
        req = six.next(parser)
    File "/nix/store/nh3v0c2nipihwblkdn0mh2kqyv3jq9nz-python3-3.7.4-env/lib/python3.7/site-packages/gunicorn/http/parser.py" line 41 in __next__
        self.mesg = self.mesg_class(self.cfg, self.unreader, self.req_count)
    File "/nix/store/nh3v0c2nipihwblkdn0mh2kqyv3jq9nz-python3-3.7.4-env/lib/python3.7/site-packages/gunicorn/http/message.py" line 181 in __init__
        super(Request, self).__init__(cfg, unreader)
    File "/nix/store/nh3v0c2nipihwblkdn0mh2kqyv3jq9nz-python3-3.7.4-env/lib/python3.7/site-packages/gunicorn/http/message.py" line 54 in __init__
        unused = self.parse(self.unreader)
    File "/nix/store/nh3v0c2nipihwblkdn0mh2kqyv3jq9nz-python3-3.7.4-env/lib/python3.7/site-packages/gunicorn/http/message.py" line 193 in parse
        self.get_data(unreader, buf, stop=True)
    File "/nix/store/nh3v0c2nipihwblkdn0mh2kqyv3jq9nz-python3-3.7.4-env/lib/python3.7/site-packages/gunicorn/http/message.py" line 184 in get_data
        data = unreader.read()
    File "/nix/store/nh3v0c2nipihwblkdn0mh2kqyv3jq9nz-python3-3.7.4-env/lib/python3.7/site-packages/gunicorn/http/unreader.py" line 38 in read
        d = self.chunk()
    File "/nix/store/nh3v0c2nipihwblkdn0mh2kqyv3jq9nz-python3-3.7.4-env/lib/python3.7/site-packages/gunicorn/http/unreader.py" line 65 in chunk
        return self.sock.recv(self.mxchunk)
    File "/nix/store/azwzsm1pkbzjxpkiq88w68p4jdghgasl-python3-3.7.4/lib/python3.7/ssl.py" line 1056 in recv
        return self.read(buflen)
    File "/nix/store/azwzsm1pkbzjxpkiq88w68p4jdghgasl-python3-3.7.4/lib/python3.7/ssl.py" line 931 in read
        return self._sslobj.read(len)
OSError: [Errno 0] Error

お役に立てれば！

うーん、いくつかの追加の調査の後、これは実際にはpython sslライブラリがLinuxで不規則なEO​​Fを処理する方法のバグである可能性があります： https ：//bugs.python.org/issue31122

@shevisjohnsonが述べたように、「nc -vz hostname port_no」を実行すると、このエラーが表示されます。
以下のログメカニズムを使用することで、ログファイルでこのエラーを抑制することができます。

$ cat logging_config.yml

version: 1

formatters:
  simple:
    format: " %(asctime)s || %(name)s || %(levelname)s || %(message)s"

  test_api:
    format: "[%(asctime)s] [%(process)s] [%(levelname)s] %(message)s"

handlers:

  console:
    class: logging.StreamHandler
    level: DEBUG
    formatter: simple
    stream: ext://sys.stdout

  test_api_file_handler:
     class: logging.handlers.RotatingFileHandler
     level: DEBUG
     formatter: test_api
     filename: logs/test.log
     maxBytes: 2000000000
     backupCount: 1
     encoding: utf8

loggers:

  test_api: 
    level: DEBUG
    handlers: [test_api_file_handler]
    propagate: 0

root:
  level: DEBUG
  handlers: [console]

これがPythonファイルです。

import logging
import yaml
from flask import Flask

app = Flask(__name__)

def logSetter(logger_name:str) -> logging:
    with open("logging_config.yml", 'r') as f:
        config = yaml.safe_load(f)
    logging.config.dictConfig(config)
    logger = logging.getLogger(logger_name)
    return logger

logger=logSetter(logger_name="test_api")

@app.route("/api/test")
def hello():
     app.logger.info("hey from api")
     return "Hello from Python!"

それが役に立てば幸い。

同時ロード中に、本番環境でこのエラーが発生して失敗するGunicornアプリが断続的に発生しています。

信頼性の高い複製を思い付くのに少し時間がかかりました。 heyを使用して、 gthreadワーカーを使用して最新のGunicorn（20.0.4）に100の同時リクエストを送信します。

$ hey -n 100 -c 100 https://127.0.0.1:8000

`` `
$ gunicorn app：app -k gthread --certfile = ... --keyfile = .. ..
..。
[2020-07-11 19:10:58 +0000] [3628247] [ERROR]ソケットエラー処理要求。
トレースバック（最後の最後の呼び出し）：
self._sslobj.read（len）を返します
OSError：[Errno0]エラー

Using a Debian 9 / Linux 4.14.67 based environment.

The WSGI app to reproduce need not be anything beyond:
```python
# app.py
def app(environ, start_response):
    start_response("200 OK", [])
    return ""

これも役立つ場合に備えて！

根本的な原因が実際にhttps://bugs.python.org/issue31122である場合：

• 3月4日に提出された修正（python / cpython＃18772）がありましたが、それでもコア開発者によって承認されていません。 おそらく、Gunicornのメンテナがそこにコメントを残したり、BPO-31122にコメントを残したりして、gunicornのユーザーに影響を与えていると言っているのでしょうか。
• Gunicornは、修正がリリースされる前のサポートされているバージョンのPythonについて、これを回避する必要があります。 同じコメントに回避策があるかどうかも尋ねる価値がありますか？

これは、製品の私の組織にも影響を与えています。

バグ修正が3.8と3.9のブランチに

これをトリガーするためにサービスを呼び出す可能性のあるものを調査していますが、影響を受けるノードでリソースが大幅に急増するため、何ができるかを理解しようとしています。

3.8より前にバックポートする意図がないというjriddyのコメントに加えて、他の誰かがこの問題を抱えている場合は、修正がCPython3.8.6に含まれるように設定されていることにも注意してください。

このトレースバックがどこから発生しているかを正確に判断するのに問題があります-私の場合、WSGIアプリサーバーとしてgeventを直接使用しているため、gevent / greenlet内のどこかでロギング呼び出しであると想定しますが、現時点では見つかりません。 Gunicornの場合、同期ワーカーの場合はここで発生します。

https://github.com/benoitc/gunicorn/blob/e636bf81989bb833d2b99104feb11e86c3f2c43a/gunicorn/workers/sync.py#L150

Gunicornの場合、ログのノイズだけが気になる場合は、次のようなことができる可能性があります。

import logging

class HandshakeFilter(logging.Filter):
    # example: https://docs.python.org/3/howto/logging-cookbook.html
    # I have not tested this
    def filter(self, record):
        return "socket error processing request" in record.msg.casefold()

logging.getLogger("gunicorn").addFilter(HandshakeFilter())

関連するgeventの問題： https ：