Aiohttp: 시간이 지남에 따라 성능 저하 ...

에 만든 2017년 04월 17일 · 44코멘트 · 출처: aio-libs/aiohttp

아래에 빠른 AsyncScraper 클래스를 작성했습니다.

import logging, datetime, time
import aiohttp
import asyncio
import uvloop

# asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())

logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)
logging.basicConfig(format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
logger.addHandler(logging.StreamHandler())

class AsyncScraper(object):
    headers = {"User-Agent" : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36'}
    def __init__(self, max_connections=1000, timeout=10):
        self.max_connections = max_connections
        self.timeout = timeout

    async def get_response(self, url, session):
        with aiohttp.Timeout(timeout=self.timeout):
            async with session.get(url, allow_redirects=True, headers=AsyncScraper.headers, timeout=self.timeout) as response:
                try:
                    content = await response.text()
                    return {'error': "", 'status': response.status, 'url':url, 'content': content, 'timestamp': str(datetime.datetime.utcnow())}
                except Exception as err:
                    return {'error': err, 'status': "", 'url':url, 'content': "", 'timestamp': str(datetime.datetime.utcnow())}
                finally:
                    response.close()

    def get_all(self, urls):
        loop = asyncio.get_event_loop()
        with aiohttp.ClientSession(loop=loop, connector=aiohttp.TCPConnector(keepalive_timeout=10, limit=self.max_connections, verify_ssl=False)) as session:
            tasks = asyncio.gather(*[self.get_response(url, session) for url in urls], return_exceptions=True)
            results = loop.run_until_complete(tasks)
            return results

def chunks(l, n):
    for i in range(0, len(l), n):
        yield l[i:i + n]

def process_urls(urls, chunk_size=1000):
    scraper = AsyncScraper()

    results = []
    t0 = time.time()
    for i, urls_chunk in enumerate(chunks(sorted(set(urls)), chunk_size)):
        t1 = time.time()
        result = scraper.get_all(urls_chunk)
        success_size = len( [_ for _ in result if ((isinstance(_, Exception) is False) and (_['status']==200)) ] )
        results.extend(result)
        logger.debug("batch {} => success: {} => iteration time: {}s =>  total time: {}s => total processed {}".format(i+1, success_size, time.time()-t1, time.time()-t0, len(results)))
    return results

두 가지 주요 문제가 있습니다.

단순 URL 목록 (예 : get_all 메서드를 통해)을 100k로 전달하면 오류가 범람합니다.
2017-04-17 15 : 50 : 53,541-asyncio-ERROR-SSL 전송시 치명적인 오류
실험 계획안:
전송 : <_SelectorSocketTransport 닫기 fd = 612 read = idle write =>
역 추적 (가장 최근 호출 마지막) :
_process_write_backlog의 파일 "/Users/vgoklani/anaconda3/lib/python3.6/asyncio/sslproto.py", 639 행
ssldata = self._sslpipe.shutdown (self._finalize)
파일 "/Users/vgoklani/anaconda3/lib/python3.6/asyncio/sslproto.py", 줄 151, 종료 중
RuntimeError ( 'shutdown in progress') 발생
RuntimeError : 종료 진행 중
그런 다음 URL을 1,000 개 단위로 일괄 처리하고 일괄 처리 간의 응답 시간을 측정했습니다. 그리고 시간에 따른 성능 저하를 명확하게 측정 할 수있었습니다 (아래 참조). 게다가 시간이 지남에 따라 오류 수가 증가했습니다 ... 내가 뭘 잘못하고 있는가?
반복 0은 16.991 초에 완료되었습니다.
39.376 초에 반복 1 완료
반복 2는 35.656 초에 완료되었습니다.
19.716s에서 반복 3 수행
29.331s에서 반복 4 수행
19.708s에서 반복 5 수행
19.572 초에 6 번 반복
29.907s에서 반복 7 수행
23.379 초에 8 번 반복
21.762 초에 9 번 반복
22.091 초에 10 번 반복
22.940 초에 11 번 반복
31.285 초에 12 번 반복
반복 13은 24.549 초에 완료되었습니다.
반복 14는 26.297 초에 완료되었습니다.
23.816 초에 15 번 반복
29.094 초에 16 번 반복
24.885 초에 17 번 반복
26.456 초에 18 번 반복
27.412s에서 19 번 반복
29.969 초에 20 번 반복
28.503 초에 21 번 반복
28.699 초에 22 번 반복
31.570 초에 23 번 반복
31.898s에서 26 번 반복
33.553 초에 27 번 반복
34.022 초에 28 번 반복
33.866 초에 29 번 반복
36.351s에서 30 번 반복
40.060 초에 31 번 반복
35.523 초에 32 번 반복
36.607 초에 33 번 반복
36.325 초에 34 번 반복
38.425 초에 35 번 반복
39.106 초에 36 번 반복
38.972 초에 37 번 반복
39.845 초에 38 번 반복
40.393s에서 39 회 반복
40.734 초에 40 번 반복
47.799 초에 41 번 반복
43.070s에서 수행되는 반복 42
43.365 초에 43 번 반복
42.081 초에 44 번 반복
44.118 초에 45 번 반복
44.955 초에 46 번 반복
45.400 초에 47 번 반복
45.987s에서 48 번 반복
46.041s에서 수행 된 반복 49
45.899 초에 50 회 반복
49.008s에서 수행되는 반복 51
49.544 초에 52 회 반복
55.432 초에 53 번 반복
52.590 초에 54 번 반복
50.185 초에 55 번 반복
52.858 초에 56 번 반복
52.698s에서 57 회 반복
53.048 초에 58 회 반복
54.120 초에 59 번 반복
54.151 초에 60 번 반복
55.465 초에 61 번 반복
56.889 초에 62 번 반복
56.967 초에 63 번 반복
57.690 초에 64 번 반복
57.052 초에 65 번 반복
67.214s에서 수행되는 반복 66
58.457 초에 67 번 반복
60.882 초에 68 번 반복
58.440 초에 69 번 반복
60.755 초에 70 번 반복
58.043s에서 수행되는 반복 71
65.076 초에 72 번 반복
63.371 초에 73 번 반복
62.800 초에 74 번 반복
62.419 초에 75 번 반복
61.376 초에 76 번 반복
63.164s에서 77 번 반복
65.443 초에 78 번 반복
64.616 초에 79 번 반복
69.544 초에 80 번 반복
68.226s에서 수행되는 반복 81
78.050 초에 82 번 반복
67.871 초에 83 번 반복
69.780 초에 84 번 반복
67.812 초에 85 번 반복
68.895 초에 86 번 반복
71.086s에서 수행 된 반복 87
68.809 초에서 수행 된 반복 88
70.945 초에 89 번 반복
72.760 초에 90 번 반복
71.773s에서 수행되는 반복 91
72.522 초에 92 번 반복

여기서 시간은 1,000 개의 URL을 처리하는 반복 시간에 해당합니다. 조언하십시오. 감사

outdated

출처

vgoklani

👍1

가장 유용한 댓글

문제가 기대의 문제일까요? 이것의 핵심은 "이것이 버그입니까, 아니면이 사용 사례를 지원하는 데 사용되는 다른 방법입니까?"인 것 같습니다. 그리고 아무도 확실하지 않은 것 같습니다. 지금 당장은 사용자에게 버그처럼 보이는 예상치 못한 행동으로 인해 약간의 좌절감에서 단순히 라이브러리를 사용하지 않는 것에 이르기까지 다양한 응답이 발생한다고 주장합니다.

mal 에 2018년 04월 13일

👍3

모든 44 댓글

어떤 버전의 aiohttp를 사용하십니까? 열린 TCP 연결도 확인하십시오. 숫자가 증가합니까?

2017 년 4 월 17 일 오후 12:46에 Vishal Goklani [email protected]이 다음과 같이 썼습니다.
아래에 빠른 AsyncScraper 클래스를 작성했습니다.
가져 오기 로깅, 날짜 시간
수입 aiohttp
가져 오기 asyncio
uvloop 가져 오기
asyncio.set_event_loop_policy (uvloop.EventLoopPolicy ())
로거 = logging.getLogger (__ name__)
logger.setLevel (logging.INFO)
logging.basicConfig (형식 = '% (asctime) s-% (name) s-% (levelname) s-% (message) s')
logger.addHandler (logging.StreamHandler ())
클래스 AsyncScraper (객체) :
headers = { "User-Agent": 'Mozilla / 5.0 (Macintosh, Intel Mac OS X 10_9_2) AppleWebKit / 537.36 (Gecko와 같은 KHTML) Chrome / 34.0.1847.131 Safari / 537.36'}
def __init __ (self, number_workers = 100, max_connections = 1000, timeout = 10) :
self.number_workers = number_workers
self.max_connections = max_connections
self.timeout = 시간 초과
self.work_queue = asyncio.Queue ()
self.cookie_jar = aiohttp.CookieJar (unsafe = True)
self.session = aiohttp.ClientSession (connector = aiohttp.TCPConnector (limit = self.max_connections, verify_ssl = False), cookie_jar = self.cookie_jar)
def __del __ (self) :
self.session.close ()
async def get_response (self, url) :
시험:
aiohttp.Timeout (self.timeout) 사용 :
응답으로 self.session.get (url, allow_redirects = True, headers = AsyncScraper.headers)와 비 동기화 :
content = await response.text ()
return { 'error': "", 'status': response.status, 'url': url, 'content': content, 'timestamp': str (datetime.datetime.utcnow ())}
예외를 제외하고 오류 :
return { 'error': err, 'status': "", 'url': url, 'content': "", 'timestamp': str (datetime.datetime.utcnow ())}
async def consumer (self, worker_id) :
결과 = []
self.work_queue.empty ()는 아니지만 :
queue_url = self.work_queue.get () 대기
      logger.debug("processing {} from worker_{}".format(queue_url, worker_id))
      response = await self.get_response(queue_url)
      logger.debug("received {} from worker_{}".format(queue_url, worker_id))
      if response['error'] is "":
          results.append(response)
  logger.debug("finished processing {} urls via worker_{}".format(len(results), worker_id))
  return results
def get_all (self, urls) :
[url의 url에 대한 self.work_queue.put_nowait (url)]
tasks = asyncio.gather (* [self.consumer (worker_id) for worker_id in range (self.number_workers)], return_exceptions = True)
루프 = asyncio.get_event_loop ()
결과 = loop.run_until_complete (작업)
return [__ for _ in results for __ in _]
두 가지 주요 문제가 있습니다.
단순 URL 목록 (예 : 100k)을 전달하면 시간 초과 오류가 발생합니다.
그런 다음 URL을 1,000 개 단위로 일괄 처리하고 일괄 처리 간의 응답 시간을 측정했습니다. 그리고 시간이 지남에 따라 성능이 저하된다는 것을 명확하게 측정 할 수있었습니다.
반복 0은 16.991 초에 완료되었습니다.
39.376 초에 반복 1 완료
반복 2는 35.656 초에 완료되었습니다.
19.716s에서 반복 3 수행
29.331s에서 반복 4 수행
19.708s에서 반복 5 수행
19.572 초에 6 번 반복
29.907s에서 반복 7 수행
23.379 초에 8 번 반복
21.762 초에 9 번 반복
22.091 초에 10 번 반복
22.940 초에 11 번 반복
31.285 초에 12 번 반복
반복 13은 24.549 초에 완료되었습니다.
반복 14는 26.297 초에 완료되었습니다.
23.816 초에 15 번 반복
29.094 초에 16 번 반복
24.885 초에 17 번 반복
26.456 초에 18 번 반복
27.412s에서 19 번 반복
29.969 초에 20 번 반복
28.503 초에 21 번 반복
28.699 초에 22 번 반복
31.570 초에 23 번 반복
31.898s에서 26 번 반복
33.553 초에 27 번 반복
34.022 초에 28 번 반복
33.866 초에 29 번 반복
36.351s에서 30 번 반복
40.060 초에 31 번 반복
35.523 초에 32 번 반복
36.607 초에 33 번 반복
36.325 초에 34 번 반복
38.425 초에 35 번 반복
39.106 초에 36 번 반복
38.972 초에 37 번 반복
39.845 초에 38 번 반복
40.393s에서 39 회 반복
40.734 초에 40 번 반복
47.799 초에 41 번 반복
43.070s에서 수행되는 반복 42
43.365 초에 43 번 반복
42.081 초에 44 번 반복
44.118 초에 45 번 반복
44.955 초에 46 번 반복
45.400 초에 47 번 반복
45.987s에서 48 번 반복
46.041s에서 수행 된 반복 49
45.899 초에 50 회 반복
49.008s에서 수행되는 반복 51
49.544 초에 52 회 반복
55.432 초에 53 번 반복
52.590 초에 54 번 반복
50.185 초에 55 번 반복
52.858 초에 56 번 반복
52.698s에서 57 회 반복
53.048 초에 58 회 반복
54.120 초에 59 번 반복
54.151 초에 60 번 반복
55.465 초에 61 번 반복
56.889 초에 62 번 반복
56.967 초에 63 번 반복
57.690 초에 64 번 반복
57.052 초에 65 번 반복
67.214s에서 수행되는 반복 66
58.457 초에 67 번 반복
60.882 초에 68 번 반복
58.440 초에 69 번 반복
60.755 초에 70 번 반복
58.043s에서 수행되는 반복 71
65.076 초에 72 번 반복
63.371 초에 73 번 반복
62.800 초에 74 번 반복
62.419 초에 75 번 반복
61.376 초에 76 번 반복
63.164s에서 77 번 반복
65.443 초에 78 번 반복
64.616 초에 79 번 반복
69.544 초에 80 번 반복
68.226s에서 수행되는 반복 81
78.050 초에 82 번 반복
67.871 초에 83 번 반복
69.780 초에 84 번 반복
67.812 초에 85 번 반복
68.895 초에 86 번 반복
71.086s에서 수행 된 반복 87
68.809 초에서 수행 된 반복 88
70.945 초에 89 번 반복
72.760 초에 90 번 반복
71.773s에서 수행되는 반복 91
72.522 초에 92 번 반복
여기서 시간은 1,000 개의 URL을 처리하는 반복 시간에 해당합니다. 조언하십시오. 감사
—
이 스레드를 구독했기 때문에이 메시지가 전송되었습니다.
이 이메일에 직접 답장하거나 GitHub https://github.com/aio-libs/aiohttp/issues/1821 에서 보거나 https://github.com/notifications/unsubscribe-auth/AAkjzsPpQtk7SDgKmTUKUblSZ0Bfu1lVks5rw8GTgaJpZM4M_fXe 에서 스레드를 음소거

fafhrd91 에 2017년 04월 17일

저는 '2.0.5'를 사용하고 있습니다. 열린 TCP 연결을 어떻게 확인합니까?

vgoklani 에 2017년 04월 17일

어떤 버전의 파이썬을 사용하십니까?

연결을 확인하려면 "netstat"명령을 사용하여 몇 가지 측정을 수행하십시오.

2017 년 4 월 17 일 오후 12시 50 분에 Vishal Goklani [email protected] 은 다음과 같이 썼습니다.
저는 '2.0.5'를 사용하고 있습니다. 열린 TCP 연결을 어떻게 확인합니까?
—
댓글을 달았 기 때문에 수신 한 것입니다.
이 이메일에 직접 답장하거나 GitHub https://github.com/aio-libs/aiohttp/issues/1821#issuecomment-294571709 에서 보거나 https://github.com/notifications/unsubscribe-auth/ 스레드를 음소거합니다.

fafhrd91 에 2017년 04월 17일

파이썬 3.6.0을 사용하고 있습니다.

vgoklani 에 2017년 04월 17일

코드에서 명백한 실수를하고 있습니까?

vgoklani 에 2017년 04월 18일

나는 명백한 것을 보지 못한다. aiohttp의 어떤 부분이 문제의 원인인지 명확히하고 싶습니다.
또한 python3.6은 SSL 소켓을 누출합니다.

2017 년 4 월 17 일 오후 3:02에 Vishal Goklani [email protected] 은 다음과 같이 썼습니다.
코드에서 명백한 실수를하고 있습니까?
—
댓글을 달았 기 때문에 수신 한 것입니다.
이 이메일에 직접 답장하거나 GitHub https://github.com/aio-libs/aiohttp/issues/1821#issuecomment-294607188 에서 보거나 https://github.com/notifications/unsubscribe-auth/ 스레드를 음소거합니다.

fafhrd91 에 2017년 04월 18일

테스트를 돕기 위해 제가 특별히 할 수있는 일이 있습니까? netstat로 무엇을 원하는지 잘 모르겠습니다.

vgoklani 에 2017년 04월 18일

열린 연결 수가 증가합니까?

fafhrd91 에 2017년 04월 18일

Linux의 경우-첫 번째, 두 번째, 중간 및 마지막 URL 청크를 처리하는 동안 콘솔에서 실행

PID = pid_of_server
netstat -npt | grep $ PID / | 화장실 -l

alex-eri 에 2017년 05월 20일

나는 이것을 만났다. 제한이 100 인 TCPConnecter를 사용하는 10,000 개의 비동기 요청은 처음에는 잘 시작되지만 즉시 netstat 를 통해 표시되는 연결이 사라집니다. 긴 꼬리이지만 결국 0 에 도달하고 나머지 모든 요청이 발생합니다.

asyncio.Semaphore 를 사용하여 제한 속도를 지정하면이 문제를 해결할 수있는 것 같습니다 ( netstat 보고 기간 동안 제한에 가까움). 나는 비교적 aio python을 사용하지만, 그래서 비용이 얼마인지 확실하지 않습니다.

편집 : Python 3.5.2가있는 Ubuntu 16.04에서 다음을 사용하여 보았습니다.

aiohttp==2.0.7
appdirs==1.4.3
async-timeout==1.2.1
chardet==3.0.3
multidict==2.1.5
packaging==16.8
pyparsing==2.2.0
six==1.10.0
yarl==0.10.2

mal 에 2017년 05월 23일

@vgoklani @mal 시간 초과를 비활성화하는 동일한 테스트를 시도해 볼 수 있습니까? 이상적인 것은 아니지만 오류가 작업 취소 또는 다른 이유로 인한 것인지 확인하는 것입니다.

argaen 에 2017년 05월 23일

session.request 호출에서 timeout=None 를 사용하여 다시 실행했지만 동작이 변경되지 않은 것 같으며 연결이 여전히 끊어졌습니다. 테스트 케이스를 약간 정리하고 로컬에서 재현 할 수 있도록했습니다. 도움이되기를 바랍니다 : https://gist.github.com/mal/53506cd81fa27c39afc4f7fbef7b7b5a

FWIW는 로컬에서 asyncio.Semaphore를 사용하여 약 4 배 더 빠르게 요청을 실행합니다.

mal 에 2017년 05월 24일

3.5.2로 시도하여 SSL 누출과 관련이 있는지 확인하는 것이 좋습니다. 또한 여러 작업을 병렬로 수행하기 위해 https://gist.github.com/thehesiod/7081ab165b9a0d4de2e07d321cc2391d 와 같은 패턴을 사용합니다

thehesiod 에 2017년 05월 25일

@thehesiod 3.5.2를 실행하는 동일한 문제가 있습니다. 이 스 니펫을 밤새 실행했습니다.

async def page_get(url):
    while True:
        try:
            t = time.time()
            async with aiohttp.request("GET", url) as req:
                resp_content = await req.read()
            print(time.time() - t, "seconds taken")
        except Exception as e:
            print(str(datetime.datetime.now()) + " - Connection error: {0}".format(str(e)))
        await asyncio.sleep(2)

if __name__ == "__main__":
    loop = asyncio.get_event_loop()
    loop.run_until_complete(asyncio.wait([page_get('http://www.google.com')]))

0.05777549743652344 초 소요
0.05143165588378906 초 걸림
0.045487165451049805 초 걸림
0.0573725700378418 초 소요
0.049524545669555664 초 걸림

오늘 내가 그것을 확인했을 때 나는 다음을 얻었습니다.

1.3857007026672363 초 걸림
0.47487688064575195 초 걸림
0.23848772048950195 초 걸림
2.2507810592651367 초 소요
0.25020551681518555 초 걸림
0.12477540969848633 초 소요
2.4836790561676025 초 걸림
1.1492459774017334 초 걸림

dteh 에 2017년 05월 25일

@thehesiod 내가 3.5.2 , 3.5.3 에 대해 게시 한 테스트 케이스를 실행하고 3.6.1 좋은 측정 값에 대해 모두 7k 마크 주변에서 동일한 저하를 보여줍니다.

mal 에 2017년 05월 25일

👍1

pyvmmonitor로 빠르고 느릴 때 스냅 샷을 찍어도 될까요?

thehesiod 에 2017년 05월 25일

어떤 이유로 든 pyvmmonitor는 공을 치지 않습니다 (X11 문제, Python 모듈 누락, 언급되지 않은 공유 객체 파일 누락). 도움이된다면 cProfiles를 제공하게되어 기쁩니다.하지만 pyvmmonitor 출력이 필요한 경우 가장 좋은 방법은 테스트 케이스를 직접 실행하는 것 같습니다. 죄송합니다.

mal 에 2017년 05월 27일

물론 그렇게 말하자마자 무엇이 잘못되었는지 깨달았습니다. > _ <

이제 테스트 케이스 에는 빠르고 느린 변형 (fast = semaphore, slow = limit param)과 각각 실행되는 pstat 파일이 포함됩니다.

mal 에 2017년 05월 27일

좋습니다. 도움이 될 것입니다. 감사합니다!

thehesiod 에 2017년 05월 28일

느린 경우에는 어떤 이유로 든 시간의 60 %가 select.epoll 소비됩니다. 노트북 모니터에서는 아직 빠른 케이스에서도 찾을 수 없습니다. 또한 slow.py에서 연결을 풀로 반환하기 전에 연결을 비우지 않는 것으로 나타났습니다 (본문 읽기). 이제 ClientResponse.__aexit__ 의해 자동으로 수행되는지 잊어 버렸습니다. 빠른 속도와 느린 속도 사이에는 제한을 통과하지 못하므로 '느림'이 aiohttp가 풀에 대한 연결을 반환하기를 기다리고 있다고 생각합니다. @ fafhrd91 아이디어가 있습니까?

thehesiod 에 2017년 05월 28일

@mal SSL과 비 SSL을 확인 했습니까? 문제를 좁히는 데 도움이 될 것입니다

thehesiod 에 2017년 06월 13일

SSL 만 https://github.com/python/cpython/pull/2270 으로 시도하려는 경우

thehesiod 에 2017년 06월 20일

지연되어 죄송합니다. 지난주에 휴가 중이었습니다. SSL 대 비 SSL을 시도하지 않았지만 내가 사용했던 테스트 케이스는 HTTPS가 아닌 일반 HTTP입니다. HTTPS의 추가 오버 헤드로 성능이 더 좋아질 것이라고 의심 할 이유가 있습니까?

mal 에 2017년 06월 20일

그래. 그냥 https인지 확인한다고 생각하지 않았습니다. 기존 문제로만 설명 할 수 있습니다.

thehesiod 에 2017년 06월 20일

여러분은 새로운 aiohttp 2.2.0 릴리스에 대해 테스트 할 수 있습니까?

asvetlov 에 2017년 06월 20일

2.2.0 문제를 사용하여 테스트 케이스를 다시 실행하기 만하면됩니다. 😞

mal 에 2017년 06월 20일

그냥-실행을 다시 테스트 케이스 에 대한 2.3.6 내부 한계가 있었다 10,000의 총 시간의 결과를 사용하여 문제는이 최신 안목으로 🙁 여전히 존재 함을 확인할 수 있습니다 ~ 4 배 느린 ( 20.13s ) 수동으로 구현 된 세마포어 접근 방식 ( 5.83 )보다.

mal 에 2017년 12월 14일

@ aio-libs / aiohttp-committers의 아무도 먼저 문제를 해결하지 않으면 시간을 찾으려고 노력할 것입니다.

asvetlov 에 2017년 12월 14일

@dionhaefner 가 https://github.com/DHI-GRAS/itsybitsy/issues/1에서 수정 한 것 같습니다. 여기에 정보가있을 수 있습니까?

cecton 에 2018년 04월 11일

정확히 수정되지 않았습니다. limit 키워드 대신 속도 제한을 위해 Semaphore를 사용하기 위해 @mal 의 해결 방법을 사용했습니다.

sem = asyncio.Semaphore(max_connections)
connector = aiohttp.TCPConnector(limit=None)
session = aiohttp.ClientSession(connector=connector)

async def get_page(url):
    async with sem:
        async with session.get(url):
            ...

나를 위해 잘 수행합니다.

dionhaefner 에 2018년 04월 11일

@dteh 응답 시간이 크게 다를 수 있으므로 google.com에 대한 연결을 테스트 케이스로 사용하기가 어렵습니다. 로컬 서버로 다시 시도하는 것이 좋습니다.

thehesiod 에 2018년 04월 11일

@mal 저는 @asvetlov 가 비 세마포어 경우에 대해 언급하도록 할

thehesiod 에 2018년 04월 11일

asyncio.Semaphore , asyncio.Queue 및 aiohttp.BaseConnector.connect 구현은 동시 연결 수를 제한하는 역압을 허용하는 동일한 패턴을 공유하고 매우 동일한 구현을 갖습니다. 그래서:

1) aiohttp.BaseConnector.connect 에는 연결 제한을 구현하는 버그가 있습니다.
2) .get 와 .connect 함수 사이에 연결이 제한 될 때 나타나는 버그가 있으며 외부 세마포어를 사용하여 해결됩니다 (배압은 처음에 만들어집니다).
3) 기타.

pfreixes 에 2018년 04월 12일

@thehesiod 내가 이것을 본 지 limit 매개 변수가 무엇을 의미하는지 의문을 가질 것입니다. 왜냐하면 (메모리에서) 식별 된 사용 사례를 지원할 것이라는 설명이 있기 때문입니다. 그렇게 설계되지 않았다면 고려할 수있는 기능일까요?

mal 에 2018년 04월 12일

👍1

나에게는이 문제가 작동하지만 완벽하지 않을 수있는 솔루션 배포를 고려할만큼 충분히 차단 된 것 같습니다. 나는 그것이 1 년 동안 거기에 있고 많은 불만이 없었지만 ... aiohttp로 프로덕션을 실행하려는 사람들을 상상해보십시오. 그런 문제로 인해 할 수 없습니다.

@asvetlov 저는이 문제를 다시 확인하고 확인한 다음이 수동 세마포어 메커니즘을 유지 관리되는 모든 버전의 aiohttp에 직접 적용 할 것을 제안합니다 (해결하는 가장 좋은 방법 인 것 같습니다). 필요한 경우 나중에 개선 / 교체 할 수 있습니다. 어떻게 생각해?

cecton 에 2018년 04월 12일

👍1

aiohttp 버그가있는 경우 @pfreixes은 주석으로 - 그것은 고정되어야한다.
먼저 무슨 일이 일어나고 있는지 알아 내야합니다.

asvetlov 에 2018년 04월 12일

@mal 제한 매개 변수는 일반적으로 어떤 유형의 압력을 적용하는 것이 아니라 동시 연결 수를 제한하는 것입니다. 참고로 aiohttp를 사용하여 수년 동안 여러 서비스에 걸쳐 prod 환경에서 매일 수백만 건의 요청을 작성했으며 작업자 풀 및 세마포와 같은 것을 사용하여이 문제가 발생하지 않았습니다.

thehesiod 에 2018년 04월 12일

mal 에 2018년 04월 13일

👍3

@mal 코드를 더 읽은 후 두 코드 경로를 얼마나 비슷하게 만들 었는지 깨닫지 못했습니다. 두 경우 모두 동일한 수의 미해결 작업이 있고, 한 경우에는 세마포어에서 차단 해제를 기다리고 있습니다. TCPConnector 제한에 다른. 빠른 케이스가 LIMIT를 사용하도록 또 다른 변경을 수행하여 두 케이스가 유사하고 aiohttp의 문제를 가리키는 빠른 케이스의 성능에 영향을 미치지 않았습니다.

그래서 이것은 다소 흥미 롭습니다. 성능 추적에 따라 selectors.py:select 메서드로 인해 작업이 느리게 실행된다는 것을 알고 있으므로 (빠른 추적에 표시되지도 않음) aiohttp가 제안한대로 연결을 차선으로 제한하는 것처럼 들립니다. 나는 이제 이것이 확실히 aiohttp의 성능 문제라고 생각합니다. BaseConnector의 웨이터 메커니즘 때문이라고 생각합니다. 처음에 LIMIT 연결이 생성 된 다음 LIMIT * 99 가 "대기자"로 끝나는 것을 상상할 수 있습니다. 이것이 간단한 세마포어 또는 조건으로 대체 될 수 있는지 궁금합니다.

귀하의 예에 대해 가정을 한 것에 대해 사과드립니다. 이 문제를 알려 주셔서 다시 한 번 감사드립니다! 나는 오늘 이것을 약간 실험 할 시간이있을 것이라고 생각하지만 @asvetlov 가 이것을 별도로 추구 할 수 있기를 바랍니다. 나는 기고자는 아니지만 이해 관계자입니다. :)

thehesiod 에 2018년 04월 13일

그래서 두 사례의 속도를 크게 높이는 PR을 만들었습니다. 이것이하는 일은 예외가 아닌 경우에 웨이터 목록을 통해 리스팅을 피하는 것입니다.

thehesiod 에 2018년 04월 13일

내 컴퓨터에서는 느린 경우 ~ 13 초에서 3 초로 변경되었습니다.

thehesiod 에 2018년 04월 14일

누구든지 내 PR의 결과를 확인하고 싶습니까?

thehesiod 에 2018년 04월 19일

👍1

# 2937 및 # 2964로 수정해야합니다.

asvetlov 에 2018년 05월 04일

🎉1

이 스레드는 닫힌 후 최근 활동이 없었기 때문에 자동으로 잠겼습니다. 관련 버그에 대해 [새 문제]를여십시오.
이 토론에서 중요한 점이 있다고 생각되면 [새 호]에 해당 예외 사항을 포함하십시오.

lock[bot] 에 2019년 10월 28일

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Aiohttp: 시간이 지남에 따라 성능 저하 ...

가장 유용한 댓글

모든 44 댓글

asyncio.set_event_loop_policy (uvloop.EventLoopPolicy ())

관련 문제