Celery: 셀러리 문제 다시 시작 및 Supervisord 구성 파일 개선

KILL 신호를 수신할 때 생성되는 프로세스는 실제로 이상합니다. supervisord 외부에서 사용될 때 그 동작이 보이지 않으므로 아마도 이것으로 인해 발생한 것입니까?

setproctitle 모듈을 설치하면 셀러리는 ps 목록에 프로세스 종류를 보고해야 합니다. 어떤 종류의 프로세스가 생성되는지 조사하기 위해 그렇게 할 수 있습니까?

( easy_install setproctitle )

시간 제한을 600 로 설정하는 것이 좋습니다. 무한대에 대한 설정이 있습니까(너무 오래 걸리면 경고가 표시될 수 있음)? celeryd 가 TERM (선호되는 종료 신호)를 통해 종료되면 메시지 수신을 중지하고 현재 실행 중인 작업이 완료될 때까지 기다립니다. 그리고 대부분의 응용 프로그램에서 중간 실행 종료는 허용되지 않습니다.

프로세스 생성에 관해서: setproctitle 및 프로세스 ID를 관찰하는 것이 도움이 되었습니다. 프로세스 생성이 아닙니다. 상위 프로세스가 종료될 때 작업자 프로세스는 활성 상태로 유지됩니다.
이것은 수동 종료 및 제로 타임아웃을 사용한 감독자 재시작 시뮬레이션입니다.

 4976 ?        Ss     0:00 /usr/bin/python /usr/bin/supervisord --pidfile /var/run/supervisord.pid
 5422 ?        S      0:01  \_ [celerybeat] --schedule=/var/lib/celery/celerybeat-schedule-nadovmeste --loglevel=INFO                                                             
 6101 ?        Sl     0:00  \_ [celeryd.MainProcess] Running... (--loglevel=INFO)                                                           
 6108 ?        S      0:00      \_ [celeryd.PoolWorker-1]                                                                                       
 nadovmeste:~# kill 6101 & kill -9 6101 &

추신 -afx:

 4976 ?        Ss     0:00 /usr/bin/python /usr/bin/supervisord --pidfile /var/run/supervisord.pid
 5422 ?        S      0:01  \_ [celerybeat] --schedule=/var/lib/celery/celerybeat-schedule-nadovmeste --loglevel=INFO                                                             
 6867 ?        Sl     0:00  \_ [celeryd.MainProcess] Running... (--loglevel=INFO)                                                           
 6875 ?        S      0:00      \_ [celeryd.PoolWorker-1]                                                                                       
 6108 ?        S      0:00 [celeryd.PoolWorker-1]       

kill 와 kill -9 사이의 인공 레이스에서만 이것을 재현할 수 있었습니다. 때때로 작업자가 제대로 죽임을 당합니다. 콘솔에서 celeryd를 시작할 때 재생산할 수 없기 때문에 이 문제는 감독자별로 다른 것 같습니다.

몇 번의 시도 끝에 콘솔 시작 스크립트로 이것을 재현할 수 있었습니다.

/home/nadovmeste/envs/nadovmeste/bin/python /home/nadovmeste/src/nadovmeste/manage.py celeryd -B --loglevel=INFO&

그런 다음 다른 터미널 세션에서:

nadovmeste:~# ps -afx

 6450 ?        Ss     0:00  \_ sshd: root@pts/2 
 6452 pts/2    Ss+    0:00      \_ -bash
 9343 pts/2    Sl     0:00          \_ [celeryd.MainProcess] Running... (-B --loglevel=INFO)                                                           
 9350 pts/2    S      0:00              \_ [celeryd.PoolWorker-2]                                                                                          
 9355 pts/2    S      0:00              \_ [celerybeat]     

nadovmeste:~# kill 9343 & kill -9 9343

nadovmeste:~# ps -afx

 4526 ?        Ss     0:00  \_ sshd: root@pts/1 
 4529 pts/1    Ss     0:00  |   \_ -bash
 9366 pts/1    R+     0:00  |       \_ ps -afx
 6450 ?        Ss     0:00  \_ sshd: root@pts/2 
 6452 pts/2    Ss+    0:00      \_ -bash    
 ...
 9350 pts/2    S      0:00 [celeryd.PoolWorker-2]                                                                                          
 9355 pts/2    S      0:00 [celerybeat]

Supervisord 문서에서 경고와 함께 무한 시간 초과에 대한 특별한 옵션을 찾지 못했습니다. 우리가 원하는 것이라면 아마도 매우 큰 숫자로 충분할 것입니다.

-B 옵션을 사용한 후에만 콘솔 시작 celeryd에 대한 문제를 재현할 수 있었기 때문에 celerybeat와 관련된 것일 수 있습니다.

로컬에서 일부 셀러리 작업을 테스트하고 -B 옵션을 사용하는 경우 ctrl-c를 사용할 때 프로세스가 종료되지 않는 경우가 있습니다.

로컬에서 재현할 수 없습니다. Btw, 마스터 브랜치를 실행하고 있습니까? 종료를 멈출 수 있는 버그를 수정했습니다. 이것으로 테스트 할 수 있다면 좋을 것입니다.

예, 최신 마스터 브랜치를 실행하고 있습니다. 버그 수정 커밋을 보고 도움이 되기를 바랐지만 제 경우에는 도움이 되지 않는 것 같습니다. 최신 셀러리는 똑같이 작동하는 것 같습니다. 그러나 초기 문제가 해결되었을 가능성이 있습니다. 즉석 종료로만 확인합니다. 지금 내 손을 감쌀 수 없습니다 :) ctrl-c 문제는 내 설정으로 재현할 수 없습니다.

따라서 버그 보고서는 단순화되었습니다. http://gist.github.com/401028 . 결과는 항상 동일합니다(가끔은 아님). 정기적인 작업과 비정기적인 작업이 있습니다. 작업은 간단하고 완료하는 데 많은 시간이 걸리지 않습니다. 메인 프로세스를 죽인 후 자식 프로세스가 살아 남는 것이 버그입니까? 그렇다면 재현할 수 없다면 최소한의 프로젝트를 제공하도록 노력하겠습니다.

celerybeat 종료 동작은 흥미롭습니다. hang(?) celerybeat 프로세스를 종료하면 hang(?) 작업자 프로세스도 종료됩니다.

@kmike 여전히 위의 명령으로 재현할 수 없습니다. 내가 OS X를 사용하고 있기 때문일 수도 있고, 아니면 Python 2.5를 실행 중이기 때문일 수도 있습니다. (저는 2.6.1을 실행 중입니다)

--loglevel=DEBUG? 로 실행할 수 있습니다. 중지 위치에 대한 정보를 제공할 수 있습니다.

celerybeat 프로세스는 메인 프로세스에 의해 시작되므로 메인 프로세스가 대기 중이라고 가정합니다.
celerybeat가 나머지 풀 프로세스를 종료하기 전에 종료합니다.

메인 프로세스가 종료되었다고 생각했는데 프로세스 목록에 표시되지 않습니다. 하지만 프로세스 관리에 대한 경험이 많지 않습니다.

내 설정은 Debian Lenny + python 2.5입니다.

--loglevel=DEBUG로 celeryd를 실행하고 내 맥북에서 재현하려고 합니다.

흠, 당신 말이 맞아요. 비트 프로세스가 풀 프로세스의 소유권을 가져오는 것과 거의 같습니다.

방금 python 2.5를 사용하여 Debian Lenny에서 재현하려고 했고 바로 작동합니다.
TERM과 INT로 죽이려고 했습니다.

도움을 주셔서 감사합니다.

감독자 시간 초과와 버그 수정 커밋으로 초기 문제가 해결되었다고 생각합니다. kill -9 명령을 사용하고 TERM 대신 KILL 신호를 보내기 때문에 시뮬레이션이 잘못되었습니다. TERM 신호 프로세스를 사용하면 제대로 종료됩니다.

감독자는 TERM 신호를 사용하므로 모든 것이 정상이어야 합니다.

하지만 조금 두려운 것은 초기 버그가 조사되지 않았다는 것입니다. 재현해보고 알려드리겠습니다.

아! 정말 죄송합니다. 나는 문제를 충분히 주의 깊게 읽지 않았다. 네! SIGKILL로 죽일 때 일어나는 일입니다. 9 신호를 잡을 수 없으므로 이 AFAIK에 대해 우리가 할 수 있는 일은 없습니다.

Celery 작업자를 종료하는 데 여전히 문제가 있는 경우 stopwaitsecs $ 을 늘리기 전에 stopasgroup=true 설정을 시도해 볼 수 있습니다.