Gunicorn: 장기 실행 요청 후 즉각적인 작업자 시간 초과

@Jwpe 우수한 버그 보고서.

가장 먼저 살펴볼 것은 친환경 PostgreSQL 드라이버를 사용하는 경우입니다. 이 작업을 올바르게 수행하려면 원숭이 패치와 함께 사용해야 하는 특정 버전이 있었습니다. 지금 상황은 잘 모르겠습니다. 그러나 붙여 넣은 시간 초과는 작업자 시간 초과이며 기본적으로 "그린렛이 $timeout 초 이상 동안 양보하지 않았습니다"로 요약되는 비동기 작업자 중 하나입니다. 장기 실행 PostgreSQL 요청에 대해 설명하고 있다는 점을 감안할 때 가장 먼저 조사할 위치입니다.

@davisp 이에 대한 신속한 답변에 감사드립니다!

귀하의 포인터를 따라 Django 앱을 Postgres에 연결하는 데 사용하는 psycopg2 어댑터를 살펴보고 다음과 같은 문서 섹션을 발견

경고: Psycopg 연결은 녹색 스레드로부터 안전하지 않으며 다른 녹색 스레드에서 동시에 사용할 수 없습니다. 스레드당 하나의 커서를 사용하여 한 번에 둘 이상의 명령을 실행하려고 하면 오류가 발생합니다(또는 2.4.2 이전 버전에서는 교착 상태).
따라서 프로그래머는 코루틴 간의 연결 공유를 피하거나 라이브러리 친화적인 잠금을 사용하여 공유 연결(예: 풀링)을 동기화하는 것이 좋습니다.

즉, psycopg2는 녹색 스레드를 좋아하지 않습니다. 우리가 발생한 동작을 기반으로 이것이 오류의 원인이라고 추측할 수 있습니다. psycopg 문서에 따르면 이 문제를 처리하는 제안된 방법은 코루틴에 대한 psycopg 지원을 가능하게 하는 라이브러리를 사용하는 것입니다. 권장 라이브러리는 psycogreen 입니다.

psycogreen 라이브러리를 사용하여 테스트 서버에서 문제를 재현하고 문제가 해결되는지 확인하겠습니다. 비교적 빨리 결과를 보고할 수 있기를 바랍니다.

@Jwpe 기억하고 있던 훅 같네요.

@benoitc 아마도 Gunicorn 문서 어딘가에서 이것을 불러야 할까요? 가장 좋은 장소가 어디인지는 확실하지 않습니다.

@davisp FAQ 섹션에 있습니까?

hmppff는 이미 존재한다는 사실을 잊어버렸습니다(http://docs.gunicorn.org/en/latest/faq.html). 그래서 거기에서 "문제 해결" 섹션에 대한 링크를 가질 수 있습니다. 확실하지 않지만 이러한 섹션에서 virtualenv 및 기타 트릭에 대한 정보를 이동할 수도 있습니다.

경고 또는 "녹색 스레드에 대한 참고 사항" 페이지일 수 있습니다. 슈퍼 프레싱이 아닙니다.

나는 gevent 작업자와 다른 작업자와 함께 gunicorn을 실행하는 Heroku에서 거의 동일한 동작을 보고 있었기 때문에 이 스레드에서 권장하는 대로 동기 작업자로 전환했지만 여전히 기본적으로 동일한 심각한 문제를 보고 있었습니다. H12 30초 Heroku 컷오프를 얻은 다음 전체 dyno를 재설정할 때까지(때로는 한 시간 이상 또는 최대 요청에 도달할 때까지) H12 및 [CRITICAL] Worker Timeout 오류를 반복했습니다. 그래서 저는 gunicorn 시간 초과를 28초로 조정하여 Heroku가 그것을 끊기 전에 시간 초과되도록 했습니다. 동일한(또는 매우 유사한) 문제가 하루에 한 번 또는 두 번 발생하고 마스터 프로세스가 다시 시작될 때까지 지속됩니다. 이번에는 gunicorn이 끊기 때문에 H13(연결 닫힘)으로 시작합니다. 이 시간 동안 트래픽이 크게 급증하지 않습니다.

다음은 현재 procfile 항목입니다.

web: newrelic-admin run-program gunicorn publisher.wsgi -b 0.0.0.0:$PORT -w 4 --max-requests 1000 --timeout 28 --preload

일련의 이벤트 세부정보:

먼저, 정말 긴(5초 이상) 시간이 걸리는 몇 가지 요청을 받은 다음 H12 시간 초과(작업자 시간 초과로 인해 끊김)와 함께 요청이 실패하고 몇 가지 추가 요청이 완료되지만 예외적으로 긴 시간(20 초). 그때부터 다이노를 다시 시작할 때까지 순수한 H11 30초 heroku 컷오프입니다.

우리는 (python/django를 실행하는) 웹서버로 gunicorn(v 18.0)을 사용합니다.

다운타임과 엄청나게 늘어난 요청 대기열 시간을 보여주지만 다른 통찰력은 제공하지 않는 newrelic을 실행합니다. NR에서 볼 수 있는 처리량이나 기타 비정상적인 조건의 스파이크는 없었습니다. 우리는 로그 처리 및 오류 이메일 발송을 위해 페이퍼트레일을 사용합니다.

Oct 15 15:08:53 nutrislice-stockton heroku/router: at=info method=GET path=/marketingtools/api/slides/?format=json-p&callback=_jqjsp&_1381871332239= host=oldham.nutrislice.com fwd="74.138.24.95" dyno=web.2 connect=15ms service=216ms status=200 bytes=21 Oct 15 15:08:54 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/menutypes/?format=json-p&callback=_jqjsp&_1381871332232= host=oldham.nutrislice.com fwd="74.138.24.95" dyno=web.2 connect=2ms service=90ms status=200 bytes=231 Oct 15 15:08:56 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/schools/?format=json-p&callback=_jqjsp&_1381871323514= host=oldham.nutrislice.com fwd="74.138.24.95" dyno=web.2 connect=3ms service=94ms status=200 bytes=5986 Oct 15 15:09:03 nutrislice-stockton heroku/router: at=info method=HEAD path=/heartbeat/ host=stockton.nutrislice.com fwd="54.247.188.179" dyno=web.2 connect=3ms service=23ms status=200 bytes=0 Oct 15 15:09:13 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/settings/?format=json-p&callback=_jqjsp&_1381871237946= host=pcsb.nutrislice.com fwd="66.87.110.127" dyno=web.2 connect=5ms service=166ms status=200 bytes=468 Oct 15 15:09:20 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/settings/?format=json-p&callback=_jqjsp&_1381871323611= host=oldham.nutrislice.com fwd="74.138.24.95" dyno=web.2 connect=6ms service=183ms status=200 bytes=453 Oct 15 15:09:40 nutrislice-stockton heroku/router: at=info method=GET path=/ host=nps.nutrislice.com fwd="74.190.240.28" dyno=web.2 connect=1ms service=260ms status=200 bytes=35951 Oct 15 15:09:55 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/api/list/school-menu-profile/87/menu-type/43/?format=json-p&callback=jQuery18008709754704032093_1381871379465&_=1381871393589 host=nps.nutrislice.com fwd="74.190.240.28" dyno=web.2 connect=15ms service=129ms status=200 bytes=400 Oct 15 15:09:55 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/api/list/school-menu-profile/306/menu-type/187/?format=json-p&callback=jQuery180013075259909965098_1381873891397&_=1381873896600 host=sdhc.nutrislice.com fwd="72.186.96.121" dyno=web.2 connect=2ms service=33ms status=200 bytes=486 Oct 15 15:10:00 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/186/?smp=257 host=coppellisd.nutrislice.com fwd="76.199.114.157" dyno=web.2 connect=7ms service=103ms status=200 bytes=323 Oct 15 15:10:00 nutrislice-stockton app/web.2: INFO http://stockton.nutrislice.com/heartbeat/ Pinged from IP: 10.190.159.205 -- AGENT: NewRelicPinger/1.0 (269661) Oct 15 15:10:00 nutrislice-stockton heroku/router: at=info method=HEAD path=/heartbeat/ host=stockton.nutrislice.com fwd="50.112.95.211" dyno=web.2 connect=1ms service=10ms status=200 bytes=0 Oct 15 15:10:09 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/239/?smp=341 host=edenpr.nutrislice.com fwd="75.73.177.139" dyno=web.2 connect=8ms service=334ms status=200 bytes=277 Oct 15 15:10:16 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/395/?smp=306 host=sdhc.nutrislice.com fwd="72.186.96.121" dyno=web.2 connect=1ms service=96ms status=200 bytes=245 Oct 15 15:10:20 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/391/?smp=305 host=sdhc.nutrislice.com fwd="173.170.34.126" dyno=web.2 connect=32ms service=5207ms status=200 bytes=290 Oct 15 15:10:22 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/350/?smp=305 host=sdhc.nutrislice.com fwd="173.170.34.126" dyno=web.2 connect=60ms service=7676ms status=200 bytes=1147 Oct 15 15:10:31 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/258/?smp=341 host=edenpr.nutrislice.com fwd="75.73.177.139" dyno=web.2 connect=42ms service=517ms status=200 bytes=26974 Oct 15 15:10:43 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/schools/?format=json-p&callback=_jqjsp&_1381871432885= host=ocps.nutrislice.com fwd="71.47.21.97" dyno=web.2 connect=1490ms service=9883ms status=200 bytes=1565 Oct 15 15:10:52 nutrislice-stockton heroku/router: at=error code=H13 desc="Connection closed without response" method=GET path=/ host=jordandistrict.nutrislice.com fwd="71.199.48.37" dyno=web.2 connect=1959ms service=29230ms status=503 bytes=0 Oct 15 15:10:52 nutrislice-stockton app/web.2: 2013-10-15 21:10:50 [2] [CRITICAL] WORKER TIMEOUT (pid:12) Oct 15 15:10:52 nutrislice-stockton app/web.2: 2013-10-15 21:10:50 [2] [CRITICAL] WORKER TIMEOUT (pid:12) Oct 15 15:10:52 nutrislice-stockton app/web.2: 2013-10-15 21:10:50 [26] [INFO] Booting worker with pid: 26 Oct 15 15:10:52 nutrislice-stockton app/web.2: 2013-10-15 21:10:50,930 (26/MainThread) newrelic.core.agent INFO - New Relic Python Agent (2.0.0.1) Oct 15 15:10:54 nutrislice-stockton heroku/router: at=info method=GET path=/surveys/api/activesurveycount/?format=json-p&callback=_jqjsp&_1381871433429= host=henrico.nutrislice.com fwd="96.248.5.53" dyno=web.2 connect=1181ms service=20074ms status=200 bytes=32 Oct 15 15:10:55 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/schooltypes/?format=json-p&callback=_jqjsp&_1381871433374= host=henrico.nutrislice.com fwd="96.248.5.53" dyno=web.2 connect=1136ms service=20393ms status=200 bytes=142 Oct 15 15:11:01 nutrislice-stockton app/web.2: using heroku production settings Oct 15 15:11:01 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/utils/hashcompat.py:9: DeprecationWarning: django.utils.hashcompat is deprecated; use hashlib instead Oct 15 15:11:01 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:11:01 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/settings/?format=json-p&callback=_jqjsp&_1381871432922= host=ocps.nutrislice.com fwd="71.47.21.97" dyno=web.2 connect=1435ms service=23198ms status=200 bytes=486 Oct 15 15:11:03 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/conf/urls/defaults.py:3: DeprecationWarning: django.conf.urls.defaults is deprecated; use django.conf.urls instead Oct 15 15:11:03 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:11:05 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/schooltypes/?format=json-p&callback=_jqjsp&_1381871443300= host=martinschools.nutrislice.com fwd="99.114.229.202" dyno=web.2 connect=1089ms service=20040ms status=200 bytes=268 Oct 15 15:11:10 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/weeks/school-menu-profile/135/menu-type/63/2013/10/14/?format=json-p&callback=_jqjsp&_1381871439548= host=henrico.nutrislice.com fwd="96.248.5.53" dyno=web.2 connect=1018ms service=30001ms status=503 bytes=0 Oct 15 15:11:15 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/sales/?format=json-p&callback=_jqjsp&_1381871443267= host=martinschools.nutrislice.com fwd="99.114.229.202" dyno=web.2 connect=1096ms service=30001ms status=503 bytes=0 Oct 15 15:11:15 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/schools/?format=json-p&callback=_jqjsp&_1381871443296= host=martinschools.nutrislice.com fwd="99.114.229.202" dyno=web.2 connect=1108ms service=30000ms status=503 bytes=0 Oct 15 15:11:23 nutrislice-stockton heroku/router: at=info method=GET path=/menu/api/weeks/school-menu-profile/48/menu-type/21/2013/10/14/?format=json-p&callback=_jqjsp&_1381871449451= host=martinschools.nutrislice.com fwd="99.114.229.202" dyno=web.2 connect=1114ms service=31756ms status=200 bytes=48771 Oct 15 15:11:26 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/sales/?format=json-p&callback=_jqjsp&_1381871455129= host=pcsb.nutrislice.com fwd="66.87.110.127" dyno=web.2 connect=990ms service=30001ms status=503 bytes=0 Oct 15 15:11:26 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/schools/?format=json-p&callback=_jqjsp&_1381871455291= host=pcsb.nutrislice.com fwd="66.87.110.127" dyno=web.2 connect=1028ms service=30008ms status=503 bytes=0 Oct 15 15:11:31 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menuwidgets/179/?smp=6 host=cusdnutrition.nutrislice.com fwd="68.99.246.16" dyno=web.2 connect=2492ms service=30000ms status=503 bytes=0 Oct 15 15:11:32 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menuwidgets/192/?smp=6 host=cusdnutrition.nutrislice.com fwd="68.99.246.16" dyno=web.2 connect=2713ms service=30003ms status=503 bytes=0 Oct 15 15:11:39 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/ host=hebisd.nutrislice.com fwd="38.107.226.1" dyno=web.2 connect=2115ms service=30001ms status=503 bytes=0 Oct 15 15:11:45 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/weeks/school-menu-profile/44/menu-type/19/2013/10/14/?format=json-p&callback=_jqjsp&_1381871472583= host=pcsb.nutrislice.com fwd="66.87.110.127" dyno=web.2 connect=2168ms service=30000ms status=503 bytes=0 Oct 15 15:11:48 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/marketingtools/api/active-announcements/?format=json-p&callback=_jqjsp&_1381871476287= host=sdhc.nutrislice.com fwd="65.34.72.116" dyno=web.2 connect=1927ms service=30000ms status=503 bytes=0 Oct 15 15:11:48 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/surveys/api/activesurveycount/?format=json-p&callback=_jqjsp&_1381871476543= host=sdhc.nutrislice.com fwd="65.34.72.116" dyno=web.2 connect=2117ms service=30000ms status=503 bytes=0 Oct 15 15:11:48 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/schooltypes/?format=json-p&callback=_jqjsp&_1381871476481= host=sdhc.nutrislice.com fwd="65.34.72.116" dyno=web.2 connect=2111ms service=30009ms status=503 bytes=0 Oct 15 15:11:50 nutrislice-stockton app/web.2: 2013-10-15 15:11:32,597 (26/NR-Activate-Session/nutrislice-stockton) newrelic.core.data_collector INFO - Successfully registered New Relic Python agent where app_name='nutrislice-stockton', pid=26, redirect_host='collector-2.newrelic.com' and agent_run_id=474482914, in 40.26 seconds. Oct 15 15:11:50 nutrislice-stockton app/web.2: INFO Successfully registered New Relic Python agent where app_name='nutrislice-stockton', pid=26, redirect_host='collector-2.newrelic.com' and agent_run_id=474482914, in 40.26 seconds. Oct 15 15:11:52 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/marketingtools/api/active-announcements/?format=json-p&callback=_jqjsp&_1381871480294= host=sdhc.nutrislice.com fwd="65.34.72.116" dyno=web.2 connect=1689ms service=30006ms status=503 bytes=0 Oct 15 15:11:55 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/settings/?format=json-p&callback=_jqjsp&_1381871482566= host=henrico.nutrislice.com fwd="72.84.233.45" dyno=web.2 connect=2067ms service=30004ms status=503 bytes=0 Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:41 [2] [CRITICAL] WORKER TIMEOUT (pid:26) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:41 [2] [CRITICAL] WORKER TIMEOUT (pid:26) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:41 [29] [INFO] Booting worker with pid: 29 Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:41,067 (29/MainThread) newrelic.core.agent INFO - New Relic Python Agent (2.0.0.1) Oct 15 15:11:57 nutrislice-stockton app/web.2: using heroku production settings Oct 15 15:11:57 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/utils/hashcompat.py:9: DeprecationWarning: django.utils.hashcompat is deprecated; use hashlib instead Oct 15 15:11:57 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:44 [2] [CRITICAL] WORKER TIMEOUT (pid:23) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:44 [2] [CRITICAL] WORKER TIMEOUT (pid:23) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:44 [32] [INFO] Booting worker with pid: 32 Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:44,154 (32/MainThread) newrelic.core.agent INFO - New Relic Python Agent (2.0.0.1) Oct 15 15:11:57 nutrislice-stockton app/web.2: using heroku production settings Oct 15 15:11:57 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/utils/hashcompat.py:9: DeprecationWarning: django.utils.hashcompat is deprecated; use hashlib instead Oct 15 15:11:57 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:48 [2] [CRITICAL] WORKER TIMEOUT (pid:14) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:48 [2] [CRITICAL] WORKER TIMEOUT (pid:14) Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:48 [35] [INFO] Booting worker with pid: 35 Oct 15 15:11:57 nutrislice-stockton app/web.2: 2013-10-15 21:11:48,273 (35/MainThread) newrelic.core.agent INFO - New Relic Python Agent (2.0.0.1) Oct 15 15:11:57 nutrislice-stockton app/web.2: using heroku production settings Oct 15 15:11:57 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/utils/hashcompat.py:9: DeprecationWarning: django.utils.hashcompat is deprecated; use hashlib instead Oct 15 15:11:57 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:11:57 nutrislice-stockton heroku/router: at=info method=GET path=/menuwidgets/353/?smp=306 host=sdhc.nutrislice.com fwd="72.186.96.121" dyno=web.2 connect=21ms service=76ms status=200 bytes=255 Oct 15 15:12:00 nutrislice-stockton app/web.2: 2013-10-15 21:11:54 [2] [CRITICAL] WORKER TIMEOUT (pid:13) Oct 15 15:12:00 nutrislice-stockton app/web.2: 2013-10-15 21:11:54 [2] [CRITICAL] WORKER TIMEOUT (pid:13) Oct 15 15:12:00 nutrislice-stockton app/web.2: 2013-10-15 21:11:54 [38] [INFO] Booting worker with pid: 38 Oct 15 15:12:00 nutrislice-stockton app/web.2: 2013-10-15 21:11:54,388 (38/MainThread) newrelic.core.agent INFO - New Relic Python Agent (2.0.0.1) Oct 15 15:12:00 nutrislice-stockton app/web.2: using heroku production settings Oct 15 15:12:01 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/utils/hashcompat.py:9: DeprecationWarning: django.utils.hashcompat is deprecated; use hashlib instead Oct 15 15:12:01 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:12:02 nutrislice-stockton app/web.2: WARNING /app/.heroku/python/lib/python2.7/site-packages/django/conf/urls/defaults.py:3: DeprecationWarning: django.conf.urls.defaults is deprecated; use django.conf.urls instead Oct 15 15:12:02 nutrislice-stockton app/web.2: DeprecationWarning) Oct 15 15:12:03 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menuwidgets/353/?smp=306 host=sdhc.nutrislice.com fwd="108.9.154.78" dyno=web.2 connect=3650ms service=30006ms status=503 bytes=0 Oct 15 15:12:03 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menuwidgets/395/?smp=306 host=sdhc.nutrislice.com fwd="108.9.154.78" dyno=web.2 connect=3581ms service=30006ms status=503 bytes=0 Oct 15 15:12:06 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/settings/?format=json-p&callback=_jqjsp&_1381871492466= host=canyonsdistrict.nutrislice.com fwd="174.52.155.49" dyno=web.2 connect=3582ms service=30001ms status=503 bytes=0 Oct 15 15:12:09 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/mobile/api_version/?deviceType=iphone host=pasco.nutrislice.com fwd="173.65.148.9" dyno=web.2 connect=3837ms service=30004ms status=503 bytes=0 Oct 15 15:12:11 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/mobile/api_version/?deviceType=iphone host=canyonsdistrict.nutrislice.com fwd="174.52.155.49" dyno=web.2 connect=3987ms service=30001ms status=503 bytes=0 Oct 15 15:12:11 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/schools/?format=json-p&callback=_jqjsp&_1381871497105= host=canyonsdistrict.nutrislice.com fwd="174.52.155.49" dyno=web.2 connect=3962ms service=30001ms status=503 bytes=0 Oct 15 15:12:11 nutrislice-stockton heroku/router: at=error code=H12 desc="Request timeout" method=GET path=/menu/api/menutypes/?format=json-p&callback=_jqjsp&_1381871497128= host=canyonsdistrict.nutrislice.com fwd="174.52.155.49" dyno=web.2 connect=4020ms service=30007ms status=503 bytes=0
그리고 이 H12 타임아웃과 [CRITICAL] WORKER TIMEOUT의 "죽음의 나선형"은 마스터 프로세스가 다시 시작될 때까지 계속됩니다.

이것이 같은 문제이거나 다른 문제라면 어떤 아이디어가 있습니까? 수정할 제안이 있습니까? 나는 gunicorn이 시간 초과 후 작업자 프로세스를 종료하고 새로 시작하기 때문에 정상적으로 처리를 시작할 수 있다고 생각하지만 그 이후에는 요청이 도착하지 않는 것 같습니다. 아마도 Heroku 문제 일 것입니다.

:+1: 이 문제도 보고 있습니다.

Heroku에서도 이 문제를 보고 있습니다.

@sprynmr @richardkeen gunicorn 을 실행하는 방법과 가능한 모든 로그를 공유할 수 있습니까? 문제를 해결하는 데 많은 도움이 될 것입니다.

@nebstrebor 요청 수를 제한하지 않으면 어떻게 되나요?

우리는 다음과 같이 시작했습니다.
web: newrelic-admin run-program python manage.py run_gunicorn -b "0.0.0.0:$PORT" --log-level=DEBUG -w 3 -k gevent --max-requests 250

로그 수준 DEBUG를 사용하더라도 우리는 무슨 일이 일어나고 있는지에 대한 로그를 많이 얻지 못했습니다. 현재로서는 gevent 사용하지 않는 것이 문제를 해결했지만 이상적이지는 않습니다.

@sprynmr 최대 요청 수를 제거하면 어떻게 될까요? 또한 어떤 버전의 gevent?

우리는 1.0rc2 있었습니다. 최대 요청 수는 확실하지 않습니다. 지금 프로덕션 환경에서 다시 켜고 싶지 않습니다.

요청 제한 시간 에 대한 Heroku 페이지를 읽고 애플리케이션 제한 시간 well under 30 seconds, such as 10 or 15 을 설정하도록 제안합니다. gunicorn에서 timeout 매개변수를 사용하여 제안을 시도했습니까?

어쨌든 gevent에 나타나는 문제는 아마도 연결이 처리되는 방식 때문일 것입니다. 현재 버전의 작업자는 이 그린렛의 실제 감독 없이 그린렛/연결을 수락했습니다. 아마도 허용된 소켓 중 하나가 오랫동안 대기하고 다른 이벤트가 처리되지 않아 gunicorn 작업자가 다시 시작될 수 있습니다. 근데 확인해야지..

흥미로운. 아니요, 우리는 그것을 시도하지 않았습니다.

:+1: 내 응용 프로그램에서도 이것을 보고 있습니다. @Jwpe / @sprynmr 이 문제를 해결한 적이 있습니까? 이 문제에 대한 활동이 발생한 지 2개월이 넘은 것 같습니다. 문제를 해결할 수 있는 방법을 찾으셨다면 듣고 싶습니다.

감사 해요!

@dencold 시도해 보셨습니까 https://github.com/benoitc/gunicorn/issues/588#issuecomment -29267541

나는 heroku에 계정이 없으므로 그것이 무엇을 하는지 잘 모르겠습니다. 또한 동일한 로그가 있습니까?

안녕하세요 @benoitc님 , 빠른 답변에 감사드립니다. 로그는 @Jwpe 및 @nebstrebor가 보고한 것과 정확히 동일합니다. 문제를 파악하는 데 도움이 되는 경우 관련 정보를 가져와 여기에 추가하겠습니다. 알려주시면 감사하겠습니다.

이전 의견에서 조언을 받아 gunicorn 제한 시간을 heroku 라우터 제한 시간보다 낮게 구성하고 도움이 되는지 확인하겠습니다. 제안해 주셔서 감사합니다.

이 계단식 실패의 실제 원인을 찾는 것이 도움이 될 것입니다. 한 작업자가 실패하고 전체 gunicorn 서버가 완전히 응답하지 않는 것을 보는 것은 정말 이상합니다. 진단을 돕기 위해 내가 할 수 있는 일이 있으면 알려주십시오. 이 시간 초과를 로컬에서 재현할 수 없습니다. heroku 인프라에서만 발생하는 것으로 보입니다.

죄송합니다 @dencold 솔루션을 찾지 못했습니다. 매우 심오하고 신비한 버그처럼 보였고 나는 그것과 싸울 시간이 없었습니다. 타임아웃 비트가 도움이 되는지 궁금할 것입니다. 다시 보고합니다.

@dencold 너도 새 유물을 사용하고 있니?

@benoitc 네, 우리는 또한 새로운 유물을 사용하고 있습니다.

@dencold 도 마찬가지로 이 문제를 성공적으로 해결하지 못했습니다. 오류의 원인을 파악하는 데 투자할 시간이 없었고 원래 요청의 기간을 줄이는 데 집중해야 했습니다. 그러나 오류의 심각한 특성(사용자가 직면했기 때문에)으로 인해 일시적으로 문제를 피하기 위해 WSGI 서버를 전환했습니다. 따라서 문제를 추가로 분류하기 위해 더 이상 실험을 실행하지 않았습니다.

@Jwpe 최소한 제안된 솔루션을 시도했습니까? 또한 결과가 이상하고 나는 gunicorn 자체로 그것을 재현하지 않습니다.

차단 시간이 15초로 줄었지만 여전히 문제가 발생했습니다.

2014년 1월 26일 일요일, Benoit Chesneau [email protected]
썼다:

@Jwpe https://github.com/Jwpe 적어도 제안을 시도 했습니까?
해결책? 또한 결과가 이상하고 gunicorn으로 재현하지 않습니다.
그 자체로.

—
이 이메일에 직접 답장하거나 Gi tHubhttps://github.com/benoitc/gunicorn/issues/588#issuecomment -33316333에서 확인하세요.
.

벤 로버츠
CTO
주식회사 뉴트리슬라이스
866-524-3444 내선 702
[email protected]

@Jwpe / @nebstrebor 이 문제에 대해 다시

@benoitc 우리는 heroku 인스턴스에 제안된 시간 초과 솔루션을 구현했습니다. 나는 앞으로 며칠 동안 이것을 주의 깊게 관찰할 것입니다. 새로운 시간 초과가 적용된 후 동일한 문제 팝업이 표시되면 다시 게시합니다.

도움을 주신 모든 분들께 다시 한 번 감사드립니다. 이 문제를 겪고 있는 유일한 사람이 아니라는 사실을 알게 되어 기쁩니다. 우리가 원인의 바닥에 도달할 수 있기를 바랍니다.

@benoitc 는 더 낮은 시간 제한이 지났음 을 보고하고 싶었습니다. 몇 가지 작업자 시간 초과를 보았지만 전체 gunicorn 프로세스가 응답하지 않게 되는 원인은 없습니다. 이것은 문제를 해결하는 것처럼 보이지만 30초 시간 초과로 인해 처음에 계단식 오류가 발생한 이유를 아직 잘 모르겠습니다.

계속해서 소식을 전하고 싶었습니다. 모든 도움에 다시 한 번 감사드립니다!

Raspberry PI에서 gunicorn으로 Django를 실행할 때 동일한 [CRITICAL] WORKER TIMEOUT 오류가 발생합니다.

무소식.

동일한 [중요] 작업자 시간 초과가 발생합니다.
문제는 작업자의 실제 시간 초과(긴 요청) 후 gunicorn이 작업자를 죽이고 새 작업자를 생성하려고 시도하지만 새 작업자가 TIMEOUT 제한 내에서 시작할 수 없고 부모 프로세스에 알릴 위치에 도달하지 않는다는 것입니다. 라이브, 그래서 gunicorn은 그것을 계속해서 죽입니다 :(. 우리의 경우 문제는 Gevent 및 Sentry와 관련이 있었습니다(https://github.com/getsentry/raven-python/issues/305). Sentry는 시작에서 멈춥니다. .
BTW 작업자 시작 시간에 대해 별도의 시간 초과가 있고 "시간 초과" 시간 내에 시작할 수 없는 작업자 내 일부 추가 로그가 있으면 도움이 됩니다.

시간 초과는 동기화 작업자를 제외하고는 요청 시간 초과가 아닙니다. 긴 요청을 처리하는 경우에도 다른 작업자는 여전히 중재자에게 하트비트를 보냅니다. 이 경우 시간 초과 시간은 시작 시간 초과 시간입니다.

어떤 의미에서 gunicorn에는 "요청 시간 초과"가 없습니다.

예, 작업자 시간 초과는 비동기의 요청 시간 초과와 다릅니다. 그러나 비동기 "컨텍스트 전환"이 발생할 수 있는 함수 호출이 없는 장기 실행 요청(예: "소켓 - 읽기/쓰기")은 작업자 시간 초과의 원인입니다. 그리고 작업자 시작 시 시간 초과가 발생할 수 있습니다(요청이 전혀 없는 경우). 그러나 Gunicorn 로그에는 두 가지 다른 경우를 구분할 수 있는 방법이 없으며 "WORKER TIMEOUT"이라는 메시지만 있습니다.

요청 시간 초과 설정을 추가해야 합니까? 이렇게 하면 시작 시간이 긴 앱이 작업자 시간 초과를 범할 수 있습니다.

때문에 그렇게 생각하지 마십시오.
1) 요청 실행 시간 측정이 어렵습니다. 요청이 끝날 때와 구걸할 때 시차를 사용할 수 없습니다.
2) "실행 단위"(컨텍스트 전환 사이에서 실행되는 코드의 양)의 시간 초과를 잡는 것은 gevent에서 불가능하다는 것을 알고 있습니다.

어떤 제안이 있습니까?

이 문제가 합법적인 시간 초과 및 잠재적으로 계단식으로 인한 것일 경우
처음 실행할 때 존재하지 않는 서버 부하로 인한 시간 초과가 있습니까?
여기서 할 일이 있습니까? 아니면 이 문제를 닫을 수 있고 더 잘 처리할 수 있습니까?
다른 수준의 인프라에서 운영?
2014년 7월 30일 오후 1시 14분에 "Mkrtich" [email protected]이 작성했습니다.

때문에 그렇게 생각하지 마십시오.
1) 요청 런타임 측정이 어렵습니다. 시차를 사용할 수 없습니다.
구걸하고 요청이 끝날 때.
2) "실행 단위"(코드의 양)의 시간 초과를 잡는 것을 알고 있습니다.
컨텍스트 전환 사이에서 실행) gevent에서는 불가능합니다.

—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/benoitc/gunicorn/issues/588#issuecomment -50673040.

제안은 2개의 타임아웃 매개변수와 2개의 다른 로그를 갖는 것입니다.
1) 하나는 요청 처리 중에만 작동하는 현재 시간 초과 매개변수입니다.
2) 두 번째는 작업자 시작 시간 초과입니다.

이 문제도 보고

우리는 결국 Heroku용 uWSGI로 전환했고 더 나은 성공을 거뒀습니다... Gunicorn에 대한 수정 사항이 아닌 것으로 알고 있습니다. 하지만 이 제안이 프로덕션 서버에서 이 문제를 보고 나중에 해결이 필요한 사람에게 도움이 될 수 있다고 생각했습니다. .

@nebstrebor 시간 제한을 낮추는 제안을 시도 했습니까?

@CrazyPython 티켓이 마감되었습니다. 문제를 설명하고 문제를 재현할 수 있는 방법을 설명하는 새 티켓을 열 수 있습니까? 동일한 문제인지, 다른 문제인지 파악하는 데 확실히 도움이 될 것입니다. :)

예, 위에서 언급한 대로 차이가 없었습니다. 문제는 산발적이었다
충분히 (결코 번식할 수 없었음)
그렇게 하세요(1년 이상 지났습니다). 나는 Gunicorn을 정말 좋아하지만,
그리고 우리는 문제 없이 Heroku 외부에서 그것을 사용합니다.

벤 로버츠
CTO 및 공동 설립자
주식회사 뉴트리슬라이스
[email protected]
셀 - 801-735-7845

2015년 6월 30일 화요일 오전 8:08 Benoit Chesneau [email protected]
썼다:

@nebstrebor https://github.com/nebstrebor 잘 해보셨나요?
시간 초과를 낮추는 제안?

@CrazyPython https://github.com/CrazyPython 티켓이 마감되었습니다.
새 티켓을 열 수 있습니까? 문제를 설명하고 어떻게 할 수 있습니까?
재생산? 같은 문제인지 파악하는 데 확실히 도움이 될 것입니다.
다른 것과 공동 :)

—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/benoitc/gunicorn/issues/588#issuecomment -117199606.

우리도 이 문제를 보고 있다고 생각합니다. 두 작업자(--workers 2) 모두 장기 실행 요청에 전화를 끊고 결국 죽고(--timeout 20) 즉시 두 개의 H13이 표시되고 H12 및 WORKER TIMEOUT이 다시 시작되기 시작합니다. 다음 10분 동안 계속해서 작업자는 제한 시간에 도달하고 다시 시작되기 전에 요청을 성공적으로 처리하지 못했습니다. 그래서 우리는 dyno를 다시 시작했고 고쳤습니다.

한 가지 흥미로운 점은 다른 사람이 언급하지 않았다는 것입니다. 문제가 시작될 때 두 개의 H13(응답 없이 연결이 닫힘)을 보고 마침내 SIGTERM을 발행했을 때 H13 - 48의 홍수를 보았습니다. 정확히 말하면 우리가 본 것과 동일한 수의 WORKER TIMEOUT입니다(즉각적인 H13을 본 처음 두 개 제외). 정확히 무슨 뜻인지는 모르겠지만 의심스럽네요....

H13s 또는 H12s는 무엇입니까? 이거 헤로쿠에서 나온건가요? gunicorn이 묶일 포트는 어떻게 제공됩니까? heroku 프록시가 소켓이 닫힌 것을 감지하지 못하는 것 같습니다.

또한 어떤 작업자를 사용하고 있습니까?

예, Heroku 오류 코드입니다.
H12 - 요청 시간 초과 - 일반적으로 30초(https://devcenter.heroku.com/articles/error-codes#h12-request-timeout)
H13 - 응답 없이 연결 종료 - (https://devcenter.heroku.com/articles/error-codes#h13-connection-closed-without-response)

편집 : 나는 gunicorn이 환경 변수로 존재하는 경우 PORT를 사용한다는 것을 알았으므로 포트가 구성된 방식입니다.

동기 작업자를 사용하고 있습니다.

또한 언급하는 것을 잊었습니다. 우리는 gunicorn 19.3.0을 실행 중입니다.

오랫동안 활동이 없었기 때문에 문제를 닫습니다. 지연된 시간 초과가 있으면 애플리케이션을 오래 시작하는 것이 좋지만 필요한 경우 다른 티켓에서 수행해야 합니다.

헤이 나는 또한 새로운 유물 관리자 procfile을 사용하여 heroku의 gunicorn uvicorn과 동일한 문제에 직면하고 있습니다.

newrelic-admin run-program gunicorn -w 4 -k uvicorn.workers.UvicornWorker app.main:fastapi_app -b 0.0.0.0:${PORT:-5000} --log-level info --access-logfile=- --logger-class=gunicorn_color.Logger --preload

이렇게 하면 시스템이 부팅되자마자 이 로그가 표시됩니다.

2021-03-19T13:18:19.187532+00:00 heroku[web.1]: State changed from starting to up
2021-03-19T13:18:51.964740+00:00 heroku[router]: at=error code=H12 desc="Request timeout" method=GET path="/" host=api-app-clienti-pr-49.herokuapp.com request_id=8742009a-3e56-4f83-a147-97ff84d4e30b fwd="5.89.111.249" dyno=web.1 connect=1ms service=30003ms status=503 bytes=0 protocol=https
2021-03-19T13:19:04.292784+00:00 heroku[router]: at=error code=H12 desc="Request timeout" method=GET path="/api" host=api-app-clienti-pr-49.herokuapp.com request_id=85b6320a-7728-4074-87eb-b0992e7c3f9d fwd="5.89.111.249" dyno=web.1 connect=3ms service=30001ms status=503 bytes=0 protocol=https