Gunicorn: 長時間実行されたリクエスト後のインスタントワーカーのタイムアウト

@Jwpe優れたバグレポート。

私が最初に調べることは、グリーン化されたPostgreSQLドライバーを使用しているかどうかです。 これを正しく機能させるには、モンキーパッチで使用する必要のある特定のバージョンがありました。 今の状況はわかりません。 ただし、貼り付けたタイムアウトはワーカータイムアウトであり、非同期ワーカーの1つでは、基本的に「グリーンレットが$ timeout秒を超えて生成されていない」という結果になります。 長時間実行されるPostgreSQLリクエストについて説明していることを考えると、それが私が最初に調査する場所です。

@davispこれに対する迅速な対応に感謝します！

あなたのポインタに続いて、私はpsycopg2アダプター（DjangoアプリをPostgresに接続するために使用します）を見て、次のように記載されているドキュメントのこのセクションを発見しました。

警告：Psycopg接続はグリーンスレッドセーフではなく、異なるグリーンスレッドで同時に使用することはできません。 スレッドごとに1つのカーソルを使用して一度に複数のコマンドを実行しようとすると、エラー（または2.4.2より前のバージョンではデッドロック）が発生します。
したがって、プログラマーは、コルーチン間で接続を共有しないようにするか、ライブラリーに適したロックを使用して、プールなどの共有接続を同期することをお勧めします。

言い換えれば、psycopg2はグリーンスレッドが好きではありません。 私たちが遭遇した動作に基づいて、これがエラーの原因であると推測します。 psycopgのドキュメントによると、この問題に対処するための推奨される方法は、コルーチンのpsycopgサポートを有効にするライブラリを使用することです。 推奨されるライブラリはpsycogreenです。

psycogreenライブラリを使用してテストサーバーで問題を再現し、問題が解決するかどうかを確認します。 うまくいけば、私は比較的早くいくつかの結果を報告することができるはずです。

@Jwpeそれは私が覚えていたフックのように見えます。

@benoitcおそらく、Gunicornのドキュメントのどこかでこれを呼び出す必要がありますか？ しかし、最高の場所がどこにあるのか完全にはわかりません。

@davisp多分FAQセクションにありますか？

hmppff forgiotはすでに存在していました（http://docs.gunicorn.org/en/latest/faq.html）したがって、そこから「トラブルシューティング」セクションへのリンクを作成できる可能性があります。 確かではありませんが、virtualenvやその他のトリックに関する情報をそのようなセクションに移動することもできます。

たぶん、警告または「グリーンスレッドに関する注意」ページ。 スーパープレスではありません。

geventワーカーと他のいくつかのgunicornを実行しているHerokuでほぼ同じ動作が見られたので、このスレッドで推奨されているように同期ワーカーに切り替えましたが、基本的に同じ深刻な問題が発生していました。 H12の30秒のHerokuカットオフを取得し、dyno全体をリセットするまで（場合によっては1時間以上後、またはmax-requestsがヒットするまで）、H12と[CRITICAL] Worker Timeoutエラーを繰り返しました。 そこで、gunicornのタイムアウトを28秒に調整して、Herokuがタイムアウトする前にタイムアウトするようにしました。 同じ（または非常によく似た）問題が1日に1〜2回発生し、マスタープロセスが再起動されるまで続きます。今回は、gunicornが切断しているため、H13（接続が閉じられている）で始まります。 これらの期間中、トラフィックに大きなスパイクはありません。

これが私の現在のprocfileエントリです：

web: newrelic-admin run-program gunicorn publisher.wsgi -b 0.0.0.0:$PORT -w 4 --max-requests 1000 --timeout 28 --preload

一連のイベントの詳細：

最初に、非常に長い時間（5秒以上）かかるように見えるいくつかのリクエストを受け取り、次にリクエストがH12タイムアウトで失敗し（ワーカータイムアウトがそれを遮断し）、さらにいくつかのリクエストが終了しますが、非常に長い時間（20秒）。 それ以降は、dynoを再起動するまで、純粋なH1130秒のherokuカットオフです。

Webサーバー（python / djangoを実行）としてgunicorn（v 18.0）を使用します。

newrelicを実行します。これは、ダウンタイムとめちゃくちゃ高いリクエストキューイング時間を示していますが、他の洞察は提供していません。 NRで確認できるスループットの急上昇やその他の異常な状態はありませんでした。 ログ処理とエラーメールの送信にはペーパートレイルを使用します。

Oct 15 15:08:53 nutrislice-stockton heroku/router: at=info method=GET path=/marketingtools/api/slides/?format=json-p&callback=_jqjsp&_1381871332239= host=oldham.nutrislice.com fwd="74.138.24.95" dyno=web.2 connect=15ms service=216ms status=200 bytes=21 Oct 15 15:08:54 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/menutypes/?format=json-p&callback=_jqjsp&_1381871332232= host=oldham.nutrislice.com fwd="74.138.24.95" dyno=web.2 connect=2ms service=90ms status=200 bytes=231 Oct 15 15:08:56 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/schools/?format=json-p&callback=_jqjsp&_1381871323514= host=oldham.nutrislice.com fwd="74.138.24.95" dyno=web.2 connect=3ms service=94ms status=200 bytes=5986 Oct 15 15:09:03 nutrislice-stockton heroku/router: at=info method=HEAD path=/heartbeat/ host=stockton.nutrislice.com fwd="54.247.188.179" dyno=web.2 connect=3ms service=23ms status=200 bytes=0 Oct 15 15:09:13 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/settings/?format=json-p&callback=_jqjsp&_1381871237946= host=pcsb.nutrislice.com fwd="66.87.110.127" dyno=web.2 connect=5ms service=166ms status=200 bytes=468 Oct 15 15:09:20 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/settings/?format=json-p&callback=_jqjsp&_1381871323611= host=oldham.nutrislice.com fwd="74.138.24.95" dyno=web.2 connect=6ms service=183ms status=200 bytes=453 Oct 15 15:09:40 nutrislice-stockton heroku/router: at=info method=GET path=/ host=nps.nutrislice.com fwd="74.190.240.28" dyno=web.2 connect=1ms service=260ms status=200 bytes=35951 Oct 15 15:09:55 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/api/list/school-menu-profile/87/menu-type/43/?format=json-p&callback=jQuery18008709754704032093_1381871379465&_=1381871393589 host=nps.nutrislice.com fwd="74.190.240.28" dyno=web.2 connect=15ms service=129ms status=200 bytes=400 Oct 15 15:09:55 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/api/list/school-menu-profile/306/menu-type/187/?format=json-p&callback=jQuery180013075259909965098_1381873891397&_=1381873896600 host=sdhc.nutrislice.com fwd="72.186.96.121" dyno=web.2 connect=2ms service=33ms status=200 bytes=486 Oct 15 15:10:00 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/186/?smp=257 host=coppellisd.nutrislice.com fwd="76.199.114.157" dyno=web.2 connect=7ms service=103ms status=200 bytes=323 Oct 15 15:10:00 nutrislice-stockton app/web.2: INFO http://stockton.nutrislice.com/heartbeat/ Pinged from IP: 10.190.159.205 -- AGENT: NewRelicPinger/1.0 (269661) Oct 15 15:10:00 nutrislice-stockton heroku/router: at=info method=HEAD path=/heartbeat/ host=stockton.nutrislice.com fwd="50.112.95.211" dyno=web.2 connect=1ms service=10ms status=200 bytes=0 Oct 15 15:10:09 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/239/?smp=341 host=edenpr.nutrislice.com fwd="75.73.177.139" dyno=web.2 connect=8ms service=334ms status=200 bytes=277 Oct 15 15:10:16 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/395/?smp=306 host=sdhc.nutrislice.com fwd="72.186.96.121" dyno=web.2 connect=1ms service=96ms status=200 bytes=245 Oct 15 15:10:20 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/391/?smp=305 host=sdhc.nutrislice.com fwd="173.170.34.126" dyno=web.2 connect=32ms service=5207ms status=200 bytes=290 Oct 15 15:10:22 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/350/?smp=305 host=sdhc.nutrislice.com fwd="173.170.34.126" dyno=web.2 connect=60ms service=7676ms status=200 bytes=1147 Oct 15 15:10:31 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/258/?smp=341 host=edenpr.nutrislice.com fwd="75.73.177.139" dyno=web.2 connect=42ms service=517ms status=200 bytes=26974 Oct 15 15:10:43 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/schools/?format=json-p&callback=_jqjsp&_1381871432885= host=ocps.nutrislice.com fwd="71.47.21.97" dyno=web.2 connect=1490ms service=9883ms status=200 bytes=1565 Oct 15 15:10:52 nutrislice-stockton heroku/router: at=error code=H13 desc="Connection closed without response" method=GET path=/ host=jordandistrict.nutrislice.com fwd="71.199.48.37" dyno=web.2 connect=1959ms service=29230ms status=503 bytes=0 Oct 15 15:10:52 nutrislice-stockton app/web.2: 2013-10-15 21:10:50 [2] [CRITICAL] WORKER TIMEOUT (pid:12) Oct 15 15:10:52 nutrislice-stockton app/web.2: 2013-10-15 21:10:50 [2] [CRITICAL] WORKER TIMEOUT (pid:12) Oct 15 15:10:52 nutrislice-stockton app/web.2: 2013-10-15 21:10:50 [26] [INFO] Booting worker with pid: 26 Oct 15 15:10:52 nutrislice-stockton app/web.2: 2013-10-15 21:10:50,930 (26/MainThread) newrelic.core.agent INFO - New Relic Python Agent (2.0.0.1) Oct 15 15:10:54 nutrislice-stockton heroku/router: at=info method=GET path=/surveys/api/activesurveycount/?format=json-p&callback=_jqjsp&_1381871433429= host=henrico.nutrislice.com fwd="96.248.5.53" dyno=web.2 connect=1181ms service=20074ms status=200 bytes=32 Oct 15 15:10:55 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/schooltypes/?format=json-p&callback=_jqjsp&_1381871433374= host=henrico.nutrislice.com fwd="96.248.5.53" dyno=web.2 connect=1136ms service=20393ms status=200 bytes=142 Oct 15 15:11:01 nutrislice-stockton app/web.2: using heroku production settings Oct 15 15:11:01 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/utils/hashcompat.py:9: DeprecationWarning: django.utils.hashcompat is deprecated; use hashlib instead Oct 15 15:11:01 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:11:01 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/settings/?format=json-p&callback=_jqjsp&_1381871432922= host=ocps.nutrislice.com fwd="71.47.21.97" dyno=web.2 connect=1435ms service=23198ms status=200 bytes=486 Oct 15 15:11:03 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/conf/urls/defaults.py:3: DeprecationWarning: django.conf.urls.defaults is deprecated; use django.conf.urls instead Oct 15 15:11:03 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:11:05 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/schooltypes/?format=json-p&callback=_jqjsp&_1381871443300= host=martinschools.nutrislice.com fwd="99.114.229.202" dyno=web.2 connect=1089ms service=20040ms status=200 bytes=268 Oct 15 15:11:10 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/weeks/school-menu-profile/135/menu-type/63/2013/10/14/?format=json-p&callback=_jqjsp&_1381871439548= host=henrico.nutrislice.com fwd="96.248.5.53" dyno=web.2 connect=1018ms service=30001ms status=503 bytes=0 Oct 15 15:11:15 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/sales/?format=json-p&callback=_jqjsp&_1381871443267= host=martinschools.nutrislice.com fwd="99.114.229.202" dyno=web.2 connect=1096ms service=30001ms status=503 bytes=0 Oct 15 15:11:15 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/schools/?format=json-p&callback=_jqjsp&_1381871443296= host=martinschools.nutrislice.com fwd="99.114.229.202" dyno=web.2 connect=1108ms service=30000ms status=503 bytes=0 Oct 15 15:11:23 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/weeks/school-menu-profile/48/menu-type/21/2013/10/14/?format=json-p&callback=_jqjsp&_1381871449451= host=martinschools.nutrislice.com fwd="99.114.229.202" dyno=web.2 connect=1114ms service=31756ms status=200 bytes=48771 Oct 15 15:11:26 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/sales/?format=json-p&callback=_jqjsp&_1381871455129= host=pcsb.nutrislice.com fwd="66.87.110.127" dyno=web.2 connect=990ms service=30001ms status=503 bytes=0 Oct 15 15:11:26 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/schools/?format=json-p&callback=_jqjsp&_1381871455291= host=pcsb.nutrislice.com fwd="66.87.110.127" dyno=web.2 connect=1028ms service=30008ms status=503 bytes=0 Oct 15 15:11:31 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menuwidgets/179/?smp=6 host=cusdnutrition.nutrislice.com fwd="68.99.246.16" dyno=web.2 connect=2492ms service=30000ms status=503 bytes=0 Oct 15 15:11:32 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menuwidgets/192/?smp=6 host=cusdnutrition.nutrislice.com fwd="68.99.246.16" dyno=web.2 connect=2713ms service=30003ms status=503 bytes=0 Oct 15 15:11:39 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/ host=hebisd.nutrislice.com fwd="38.107.226.1" dyno=web.2 connect=2115ms service=30001ms status=503 bytes=0 Oct 15 15:11:45 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/weeks/school-menu-profile/44/menu-type/19/2013/10/14/?format=json-p&callback=_jqjsp&_1381871472583= host=pcsb.nutrislice.com fwd="66.87.110.127" dyno=web.2 connect=2168ms service=30000ms status=503 bytes=0 Oct 15 15:11:48 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/marketingtools/api/active-announcements/?format=json-p&callback=_jqjsp&_1381871476287= host=sdhc.nutrislice.com fwd="65.34.72.116" dyno=web.2 connect=1927ms service=30000ms status=503 bytes=0 Oct 15 15:11:48 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/surveys/api/activesurveycount/?format=json-p&callback=_jqjsp&_1381871476543= host=sdhc.nutrislice.com fwd="65.34.72.116" dyno=web.2 connect=2117ms service=30000ms status=503 bytes=0 Oct 15 15:11:48 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/schooltypes/?format=json-p&callback=_jqjsp&_1381871476481= host=sdhc.nutrislice.com fwd="65.34.72.116" dyno=web.2 connect=2111ms service=30009ms status=503 bytes=0 Oct 15 15:11:50 nutrislice-stockton app/web.2: 2013-10-15 15:11:32,597 (26/NR-Activate-Session/nutrislice-stockton) newrelic.core.data_collector INFO - Successfully registered New Relic Python agent where app_name='nutrislice-stockton', pid=26, redirect_host='collector-2.newrelic.com' and agent_run_id=474482914, in 40.26 seconds. Oct 15 15:11:50 nutrislice-stockton app/web.2: INFO Successfully registered New Relic Python agent where app_name='nutrislice-stockton', pid=26, redirect_host='collector-2.newrelic.com' and agent_run_id=474482914, in 40.26 seconds. Oct 15 15:11:52 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/marketingtools/api/active-announcements/?format=json-p&callback=_jqjsp&_1381871480294= host=sdhc.nutrislice.com fwd="65.34.72.116" dyno=web.2 connect=1689ms service=30006ms status=503 bytes=0 Oct 15 15:11:55 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/settings/?format=json-p&callback=_jqjsp&_1381871482566= host=henrico.nutrislice.com fwd="72.84.233.45" dyno=web.2 connect=2067ms service=30004ms status=503 bytes=0 Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:41 [2] [CRITICAL] WORKER TIMEOUT (pid:26) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:41 [2] [CRITICAL] WORKER TIMEOUT (pid:26) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:41 [29] [INFO] Booting worker with pid: 29 Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:41,067 (29/MainThread) newrelic.core.agent INFO - New Relic Python Agent (2.0.0.1) Oct 15 15:11:57 nutrislice-stockton app/web.2: using heroku production settings Oct 15 15:11:57 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/utils/hashcompat.py:9: DeprecationWarning: django.utils.hashcompat is deprecated; use hashlib instead Oct 15 15:11:57 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:44 [2] [CRITICAL] WORKER TIMEOUT (pid:23) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:44 [2] [CRITICAL] WORKER TIMEOUT (pid:23) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:44 [32] [INFO] Booting worker with pid: 32 Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:44,154 (32/MainThread) newrelic.core.agent INFO - New Relic Python Agent (2.0.0.1) Oct 15 15:11:57 nutrislice-stockton app/web.2: using heroku production settings Oct 15 15:11:57 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/utils/hashcompat.py:9: DeprecationWarning: django.utils.hashcompat is deprecated; use hashlib instead Oct 15 15:11:57 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:48 [2] [CRITICAL] WORKER TIMEOUT (pid:14) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:48 [2] [CRITICAL] WORKER TIMEOUT (pid:14) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:48 [35] [INFO] Booting worker with pid: 35 Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:48,273 (35/MainThread) newrelic.core.agent INFO - New Relic Python Agent (2.0.0.1) Oct 15 15:11:57 nutrislice-stockton app/web.2: using heroku production settings Oct 15 15:11:57 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/utils/hashcompat.py:9: DeprecationWarning: django.utils.hashcompat is deprecated; use hashlib instead Oct 15 15:11:57 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:11:57 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/353/?smp=306 host=sdhc.nutrislice.com fwd="72.186.96.121" dyno=web.2 connect=21ms service=76ms status=200 bytes=255 Oct 15 15:12:00 nutrislice-stockton app/web.2: 2013-10-15 21:11:54 [2] [CRITICAL] WORKER TIMEOUT (pid:13) Oct 15 15:12:00 nutrislice-stockton app/web.2: 2013-10-15 21:11:54 [2] [CRITICAL] WORKER TIMEOUT (pid:13) Oct 15 15:12:00 nutrislice-stockton app/web.2: 2013-10-15 21:11:54 [38] [INFO] Booting worker with pid: 38 Oct 15 15:12:00 nutrislice-stockton app/web.2: 2013-10-15 21:11:54,388 (38/MainThread) newrelic.core.agent INFO - New Relic Python Agent (2.0.0.1) Oct 15 15:12:00 nutrislice-stockton app/web.2: using heroku production settings Oct 15 15:12:01 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/utils/hashcompat.py:9: DeprecationWarning: django.utils.hashcompat is deprecated; use hashlib instead Oct 15 15:12:01 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:12:02 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/conf/urls/defaults.py:3: DeprecationWarning: django.conf.urls.defaults is deprecated; use django.conf.urls instead Oct 15 15:12:02 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:12:03 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menuwidgets/353/?smp=306 host=sdhc.nutrislice.com fwd="108.9.154.78" dyno=web.2 connect=3650ms service=30006ms status=503 bytes=0 Oct 15 15:12:03 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menuwidgets/395/?smp=306 host=sdhc.nutrislice.com fwd="108.9.154.78" dyno=web.2 connect=3581ms service=30006ms status=503 bytes=0 Oct 15 15:12:06 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/settings/?format=json-p&callback=_jqjsp&_1381871492466= host=canyonsdistrict.nutrislice.com fwd="174.52.155.49" dyno=web.2 connect=3582ms service=30001ms status=503 bytes=0 Oct 15 15:12:09 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/mobile/api_version/?deviceType=iphone host=pasco.nutrislice.com fwd="173.65.148.9" dyno=web.2 connect=3837ms service=30004ms status=503 bytes=0 Oct 15 15:12:11 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/mobile/api_version/?deviceType=iphone host=canyonsdistrict.nutrislice.com fwd="174.52.155.49" dyno=web.2 connect=3987ms service=30001ms status=503 bytes=0 Oct 15 15:12:11 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/schools/?format=json-p&callback=_jqjsp&_1381871497105= host=canyonsdistrict.nutrislice.com fwd="174.52.155.49" dyno=web.2 connect=3962ms service=30001ms status=503 bytes=0 Oct 15 15:12:11 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/menutypes/?format=json-p&callback=_jqjsp&_1381871497128= host=canyonsdistrict.nutrislice.com fwd="174.52.155.49" dyno=web.2 connect=4020ms service=30007ms status=503 bytes=0
そして、このH12タイムアウトと[CRITICAL] WORKER TIMEOUTの「死のスパイラル」は、マスタープロセスが再開されるまで続きます。

これが同じ問題なのか、別の問題なのか、何か考えはありますか？ 修正する提案はありますか？ gunicornはタイムアウト後にワーカープロセスを強制終了し、新しく開始するので、通常どおり処理を開始できると思いますが、その後はリクエストが届かないようです。 多分それはHerokuの問題です。

：+1：この問題も見られます。

Herokuでもこの問題が発生しています

@sprynmr @richardkeen gunicornを起動する方法と、できるログを共有できますか？ 問題を解決するのに大いに役立ちます。

@nebstreborリクエストの数を制限しない場合はどうなりますか？

私たちは次のようにそれを立ち上げていました：
web: newrelic-admin run-program python manage.py run_gunicorn -b "0.0.0.0:$PORT" --log-level=DEBUG -w 3 -k gevent --max-requests 250

ログレベルのDEBUGを使用しても、何が起こっているかについてのログの邪魔になることはあまりありませんでした。 geventを使用しないことで、今のところ問題は解決しましたが、理想的ではありません。

@sprynmrリクエストの最大数を削除するとどうなりますか？ また、geventのどのバージョンですか？

私たちは1.0rc2 。 リクエストの最大数がわからない。 今のところ、本番環境で再びオンに切り替えたくはありません。

リクエストタイムアウトに関するHerokuページを読んで、アプリケーションタイムアウトwell under 30 seconds, such as 10 or 15を設定することを提案しています。 gunicornのtimeoutパラメーターを使用して提案を試しましたか？

とにかく、geventで発生する問題は、おそらく接続の処理方法が原因です。 ワーカーの現在のバージョンは、このグリーンレットの実際の監視なしに、グリーンレット/受け入れられた接続を生成しています。 おそらく発生するのは、受け入れられたソケットの1つが長時間待機し、他のイベントが処理されないため、gunicornワーカーが再起動することです。 しかし、私はチェックする必要があります。

面白い。 いいえ、試しませんでした。

：+1：これは私のアプリケーションでも見られます。 @Jwpe / @sprynmrこの問題の解決策に到達したことはありますか？ この問題に関するアクティビティが発生してから2か月以上経過しているようです。 問題に対処するための何かを見つけた場合は、ぜひお聞かせください。

ありがとう！

@dencoldはhttps://github.com/benoitc/gunicorn/issues/588#issuecomment-29267541を試しましたか

私はherokuにアカウントを持っていないので、それが何をするのかわかりません。 また、同じログがありますか？

こんにちは@benoitc 、迅速な対応に感謝します。 ログは、 @ Jwpeおよび@nebstreborが報告したものとまったく同じです。 問題を特定するのに役立つ場合は、関連するビットを取り出してここに追加してください。お知らせください。

以前のコメントからアドバイスを受け取り、gunicornのタイムアウトをherokuルーターのタイムアウトよりも低くなるように構成して、それが役立つかどうかを確認します。 提案をありがとう。

このカスケード障害の実際の原因を見つけることは役に立ちます。 1人のワーカーが失敗し、gunicornサーバー全体が完全に応答しなくなるのを見るのは本当に奇妙です。 診断に役立つことがあれば教えてください。 このタイムアウトをローカルで再現することはできません。 これは、herokuインフラストラクチャでのみ発生するようです。

申し訳ありませんが@dencold私は解決策を見つけられません

@dencoldも新しい遺物を使用していますか？

@benoitcうん、私たちは新しい遺物も使っています。

@dencoldも同様に、この問題を正常に解決することはできませんでした。 エラーの原因を突き止めるために投資する時間がなく、元のリクエストの期間を短縮することに集中する必要がありました。 ただし、エラーの重大な性質（ユーザーが直面しているため）により、暫定的に問題を回避するためにWSGIサーバーを切り替えることになりました。 したがって、問題をさらに分類するための実験はこれ以上実行していません。

@Jwpeは、少なくとも提案されたソリューションを試しましたか？ また、結果は奇妙で、gunicornだけでそれを再現することは決してありません。

カットオフ時間が15秒に短縮されましたが、まだ問題が発生していました

2014年1月26日（日曜日）には、ブノワChesneau [email protected]
書きました：

@Jwpehttps ：//github.com/Jwpe少なくとも提案されたものを試しましたか
解決？ また、結果は奇妙で、gunicornでそれを再現することはありません
それ自体で。

—
このメールに直接返信するか、Gi tHubhttps：//github.com/benoitc/gunicorn/issues/588#issuecomment-3331633で表示してください
。

ベンロバーツ
CTO
Nutrislice、Inc。
866-524-3444内線702
[email protected]

@Jwpe / @nebstreborこの問題についてご誠にありがとう

@benoitc提案されたタイムアウトソリューションをherokuインスタンスに実装しました。 今後数日間、これを注意深く監視します。 新しいタイムアウトが設定された後に同じ問題がポップアップするのを確認した場合は、投稿します。

助けてくれたみんなにもう一度感謝します。 この問題が発生しているのは私だけではないことを知っておくとよいでしょう。 私たちが原因の根底に到達できることを願っています。

@benoitcは、タイムアウトが設定されてから約2週間が経過したことを報告したかっただけです。 ワーカーのタイムアウトがいくつか見られましたが、gunicornプロセス全体が応答しなくなる原因はありません。 これで問題は解決したようですが、そもそもなぜ30秒のタイムアウトがカスケードエラーを引き起こしていたのかはわかりません。

投稿を続けたかっただけです。 ここですべての助けをありがとう！

RaspberryPIでgunicornを使用してDjangoを実行すると同じ[CRITICAL] WORKERTIMEOUTエラーが発生します。

ニュースはありません。

同じ[クリティカル]ワーカータイムアウトが発生します。
問題は、ワーカーの実際のタイムアウト（長いリクエスト）の後、gunicornがワーカーを強制終了して新しいワーカーを生成しようとしますが、新しいワーカーがTIMEOUT制限内で開始できず、親プロセスに通知する場所に到達しないことです。ライブなので、gunicornは何度も何度もそれを殺します:(。私たちの場合、問題はGeventとSentryに関連していました（https://github.com/getsentry/raven-python/issues/305）。Sentryは起動時にハングします。
ところで、ワーカーの開始時間と、「タイムアウト」時間内に開始できないワーカー内のいくつかの追加ログに別々のタイムアウトを設定すると便利です。

タイムアウトは、同期ワーカーを除いて要求タイムアウトではありません。 他のワーカーは、長いリクエストを処理する場合でも、アービターにハートビートを送ります。 その場合のタイムアウト時間は起動タイムアウト時間です。

ある意味で、gunicornには「リクエストタイムアウト」はありません。

はい、ワーカータイムアウトは非同期のリクエストタイムアウトとは異なります。 ただし、非同期の「コンテキスト切り替え」（「ソケット-読み取り/書き込み」など）が発生する可能性のある関数呼び出しのない長時間実行リクエストは、ワーカータイムアウトの原因です。 さらに、ワーカーの起動時にタイムアウトが発生する可能性があります（要求がまったくない場合）。 しかし、Gunicornのログでは、これら2つの異なるケースを区別する方法はなく、「WORKERTIMEOUT」というメッセージが1つだけあります。

リクエストタイムアウト設定を追加する必要がありますか？ これにより、起動時間が長いアプリはワーカーのタイムアウトを増やすことができます。

そうは思わないでください。
1）リクエストの実行時間を測定するのは難しいため、リクエストの開始時と終了時の時間差を使用することはできません。
2）私が知っているように、「実行ユニット」（コンテキストスイッチ間で実行されるコードの量）のタイムアウトをキャッチすることは、geventでは不可能です。

それでは何か提案はありますか？

この問題が正当なタイムアウトと潜在的なカスケードのみが原因である場合
最初の実行時に存在しないサーバー負荷によるタイムアウトがあります
ここで何かすることはありますか？ または、この問題は解決可能であり、これはより適切に処理されます
異なるレベルのインフラストラクチャで運用上？
2014年7月30日午後1時14分、「Mkrtich」 [email protected]は次のように書いています。

そうは思わないでください。
1）リクエストの実行時間を測定するのは難しいため、時間差を使用することはできません。
物乞いとリクエストの終わりに。
2）私が知っているように、「実行ユニット」のタイムアウト（コードの量）をキャッチする
コンテキストスイッチ間で実行される）はgeventでは不可能です。

—
このメールに直接返信するか、GitHubで表示してください
https://github.com/benoitc/gunicorn/issues/588#issuecomment-50673040 。

2つのタイムアウトパラメータと2つの異なるログを用意することをお勧めします。
1）1つは、リクエスト処理中にのみ機能する現在のタイムアウトパラメータです。
2）2つ目は、ワーカーの起動タイムアウトです。

この問題も見ています

最終的にHerokuをuWSGIに切り替えて、より良い成功を収めました... Gunicornの修正ではありませんが、本番サーバーでこの問題が発生し、早急に解決が必要な人には、この提案が役立つかもしれないと思いました。 。

@nebstreborよくタイムアウトを下げる提案を試みましたか？

@CrazyPythonチケットはクローズされました。 あなたが抱えている問題とそれを再現する方法を説明した新しいチケットを開くことができますか？ それが同じ問題であるかどうか、何か他のものであるかどうかを理解することは間違いなく役立ちます:)

はい、上記のように、違いはありませんでした。 問題は散発的でした
十分に（再現できなかった）そして壊滅的で、私たちがしなければならなかった
その動きをする（それは1年以上でした）。 私はGunicornが本当に好きですが
Herokuの外部でも問題なく使用しています。

ベンロバーツ
CTO兼共同創設者
Nutrislice、Inc。
[email protected]
セル-801-735-7845

8:08の火、2015年6月30日には、ブノワChesneau [email protected]
書きました：

@nebstrebor https://github.com/nebstreborよくやってみましたか？
タイムアウトを下げる提案？

@CrazyPythonhttps ：//github.com/CrazyPythonチケットはクローズされました。
新しいチケットを開くことができますか？あなたが抱えている問題とその方法を説明してください
それを再現しますか？ それが同じ問題であるかどうかを理解することは間違いなく役立ちます、
他の何かと共同:)

—
このメールに直接返信するか、GitHubで表示してください
https://github.com/benoitc/gunicorn/issues/588#issuecomment-117199066 。

この問題も発生していると思います。 両方のワーカー（--workers 2）は、長時間実行されている要求でハングアップし、最終的には強制終了され（--timeout 20）、すぐに2つのH13が表示され、H12とWORKERTIMEOUTが再起動し始めます。 次の10分間、これは続き、ワーカーはタイムアウトに達して再起動する前にリクエストを正常に処理できませんでした。 そこで、dynoを再起動すると、修正されました。

他に誰もメモを見ていないことに気付いた興味深い点の1つは、問題の開始時に2つのH13（接続が応答なしで閉じられた）が表示され、最終的にSIGTERMを発行したときに、H13の洪水が発生したことです-48正確には、これは私たちが見たのと同じ数のWORKER TIMEOUTです（すぐにH13を見た最初の2つを除く）。 それが何を意味するのか正確にはわかりませんが、疑わしいようです。

H13またはH12とは何ですか？ これはherokuからのものですか？ gunicornがバインドされるポートはどのように与えられますか？ herokuプロキシがソケットが閉じていることを検出していないのではないかと思います。

また、どのワーカーを使用していますか？

はい、Herokuエラーコードです：
H12-リクエストのタイムアウト-通常は30秒（https://devcenter.heroku.com/articles/error-codes#h12-request-timeout）
H13-応答なしで接続が閉じられました-（https://devcenter.heroku.com/articles/error-codes#h13-connection-closed-without-response）

編集：gunicornが環境変数として存在する場合はPORTを使用することに気付いたので、このようにポートを構成します。

同期ワーカーを使用しています。

そして、私も言及するのを忘れました、私たちはgunicorn19.3.0を実行しています

久しぶりに活動がなかったので、発行を締め切りました。 タイムアウトを遅らせることは、アプリケーションを長時間起動する場合に適しているかもしれませんが、必要に応じて別のチケットで実行する必要があります。

new-relic adminprocfileを使用したherokuのgunicornuvicornでも同じ問題が発生しています。

newrelic-admin run-program gunicorn -w 4 -k uvicorn.workers.UvicornWorker app.main:fastapi_app -b 0.0.0.0:${PORT:-5000} --log-level info --access-logfile=- --logger-class=gunicorn_color.Logger --preload

これにより、システムが起動するとすぐにこのログが表示されます。

2021-03-19T13:18:19.187532+00:00 heroku[web.1]: State changed from starting to up
2021-03-19T13:18:51.964740+00:00 heroku[router]: at=error code=H12 desc="Request timeout" method=GET path="/" host=api-app-clienti-pr-49.herokuapp.com request_id=8742009a-3e56-4f83-a147-97ff84d4e30b fwd="5.89.111.249" dyno=web.1 connect=1ms service=30003ms status=503 bytes=0 protocol=https
2021-03-19T13:19:04.292784+00:00 heroku[router]: at=error code=H12 desc="Request timeout" method=GET path="/api" host=api-app-clienti-pr-49.herokuapp.com request_id=85b6320a-7728-4074-87eb-b0992e7c3f9d fwd="5.89.111.249" dyno=web.1 connect=3ms service=30001ms status=503 bytes=0 protocol=https