Gunicorn: gevent 작업자의 IO 바인딩 프로세스에 대한 질문

에 만든 2019년 04월 15일 · 3코멘트 · 출처: benoitc/gunicorn

여러분 안녕하세요,

여러 요청을 보내고 결과를 수집하고 결과를 일부 처리와 결합하고 어딘가에 응답을 반환하는 API를 작업 중입니다. 프로세스가 분명히 IO 바운드이기 때문에 Greenlet 작업자를 사용하고 있습니다.

내가 읽은 내용에서 gunicorn 요청을 처리하는 각 greenlet은 스레드처럼 작동하므로 IO 차단 호출이 IO를 기다려야 할 때 greenlet은 특정 gunicorn 요청을 차단합니다. 예를 들어 내 앱(플라스크 btw 사용) 핸들러에서 Greenlet이 다음 requests.get() 까지 차단할 requests.get(...) 가 여러 개 있습니다.

def fetch(pid):
    response0 = requests.get('http://some-micro-service-0.com/')
    response1 = requests.get('http://some-micro-service-1.com/')
    response2 = requests.get('http://some-micro-service-2.com/')
    return combine_response(response0, response1, response2)

grequests를 사용하여 처리기에 더 많은 동시성을 추가하여 대기 시간을 개선할 수 있습니다(제가 찾고 있는 것입니다). 그러나 이것을 수행하는 방법에 대한 제안이 있습니까?

여러 요청을 수집하는 방법에 대한 제안 사항이 있습니까?

출처

alep

가장 유용한 댓글

grequests를 사용하여 처리기에 더 많은 동시성을 추가하려고 할 수 있습니다.

grequests.map() 는 위에서 제공한 코드 조각의 축약형 버전입니다.

그 외에는 grequests 가 별로 도움이 되지 않습니다. 주로 수입될 때 프로세스를 원숭이 패치하기 위해 존재하지만 gunicorn은 이미 그렇게 합니다.

jamadden 에 2019년 04월 15일

👍2

모든 3 댓글

gevent 에는 여러 요청을 병렬로 발송하고 완료된 후에만 처리

(당신의 경우는 약간 다를 수 있습니다. 인쇄하는 대신 response 를 반환한 다음 결합합니다.)

그러나 실제로 Group.map API를 사용하여 더 간단하게 진행할 수 있습니다.

from gevent import pool

jobs = pool.Group()
responses = jobs.map(requests.get, 
                     ('http://one', 'http://two', 'http://three'))

jamadden 에 2019년 04월 15일

👍2

grequests를 사용하여 처리기에 더 많은 동시성을 추가하려고 할 수 있습니다.

grequests.map() 는 위에서 제공한 코드 조각의 축약형 버전입니다.

그 외에는 grequests 가 별로 도움이 되지 않습니다. 주로 수입될 때 프로세스를 원숭이 패치하기 위해 존재하지만 gunicorn은 이미 그렇게 합니다.

jamadden 에 2019년 04월 15일

👍2

한동안 활동이 없었기 때문에 티켓을 닫습니다.

benoitc 에 2019년 05월 23일

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Gunicorn: gevent 작업자의 IO 바인딩 프로세스에 대한 질문

가장 유용한 댓글

모든 3 댓글

관련 문제