Requests: 메모리 누수 요청

의 출력을 제공하십시오.

python -m requests.help

요청 버전에서 사용할 수 없는 경우 시스템에 대한 몇 가지 기본 정보(Python 버전, 운영 체제 등)를 제공하십시오.

@sigmavirus24 완료

@munroc , 스레딩 구현이 의사 코드에 포함되어 있지 않기 때문에 스레딩 구현에 대한 몇 가지 간단한 질문입니다.

• 모든 스레드에 대해 새 세션을 만들고 있으며 사용 중인 스레드 풀의 크기는 얼마입니까?

• 누출이 어디에서 오는지 확인하기 위해 어떤 도구를 사용하고 있습니까? 결과를 공유해 주시겠습니까?

잠시 동안 세션 주변에서 메모리 누수에 대한 힌트가 있었지만, 연기가 나는 총이나 실제로 확인된 영향을 찾았는지 확실하지 않습니다.

@nateprewitt 안녕하세요. 예, 모든 스레드에 대해 새 세션을 생성하고 있습니다. 스레드 풀은 30입니다. 어쨌든 2 - 200개의 스레드와 메모리 누수를 시도했습니다. 도구를 사용하지 않고 기능을 다음과 같이 변경했습니다.
로그인 = session.get 전에 return 0을 입력하고 메모리 누수가 없습니다. 로그인 후 return 0을 넣으면 session.get 메모리 누수가 시작됩니다. 당신이 원한다면 내가 당신에게 내 소스 코드를 보낼 수 있습니다 너무 크지 않습니다.

@Munroc 전체 코드가 있다면 실제 원인을 분리하는 것이 더 쉬울 것이라고 생각합니다. 하지만 제공된 코드 요점을 바탕으로 메모리 누수가 있다고 단정하기는 매우 어렵다고 생각합니다.

언급했듯이 session.get 를 호출하기 직전에 return 하면 proxies 및 session 개체만 메모리에 존재합니다(과도하게 단순화되었지만.. 당신이 아이디어를 얻기를 바랍니다 : 스마일 :). 그러나 session.get(url, proxies=proxies) 를 호출하면 url 의 HTML이 검색되어 login 변수에 로컬로 저장됩니다. 즉, 각 session.get 호출은 메모리 누수가 "처럼 보이지만" 실제로는 url 결과의 크기만큼 선형적으로 증가하여 (메모리) 정상적으로 작동합니다.

그러나 스레드를 사용하고 있고 그 직후에 .join() 한다고 가정해 보겠습니다. 이 경우 스레드가 어떻게 관리되었는지, 스레드가 제대로 닫혔는지/정리되었는지 확인해야 한다고 생각합니다.

@LeoSZN 귀하의 특정 예에서 urls 요소당 여러 Process 생성한 후 마지막 Process 개체만 닫는다 고 생각합니다.

p.daemon = True 사용하여 데몬화를 시도하고 실행할 수 있습니까(메인 스레드가 종료되면 생성된 모든 자식 프로세스도 죽도록)? 그렇지 않으면 생성된 프로세스를 별도의 배열에 저장하고 루프를 사용하여 모든 프로세스를 닫아야 합니다.

@initbar

p.join() 전에 루프에서 또는 루프 외부에서 p.daemon = True 를 실행해야 합니까? 그런데 나는 아직도 필요합니까 p.join() 적용한 후 p.daemon = True ?

_Ook, 나는 새로운 주제에서 이 주제로 쫓겨났으니, 당신의 주제에 동참하겠습니다.
이 문제가 더 많은 정보를 제공하고 문제 해결을 강화할 것입니다..._

텔레그램 봇을 실행하고 있는데 봇을 오랫동안 실행하면 여유 메모리가 저하되는 것을 발견했습니다. 첫째, 내 코드가 의심됩니다. 그런 다음 봇을 의심하고 마침내 요청을 받았습니다. :)
len(gc.get_objects()) 을 사용하여 문제가

예상 결과

len(gc.get_objects()) 는 모든 루프 반복에서 동일한 결과를 제공해야 합니다.

실제 결과

len(gc.get_objects()) 의 값은 루프가 반복될 때마다 증가합니다.

Test N2
GetObjects len: 27959
Test N3
GetObjects len: 27960
Test N4
GetObjects len: 27961
Test N5
GetObjects len: 27962
Test N6
GetObjects len: 27963
Test N7
GetObjects len: 27964

번식 단계

token = "XXX:XXX"
chat_id = '111'
proxy = {'https':'socks5h://ZZZ'} #You may need proxy to run this in Russia

from time import sleep
import gc, requests

def garbage_info():
    res = ""
    res += "\nGetObjects len: " + str(len(gc.get_objects()))
    return res

def tester():
    count = 0
    while(True):
        sleep(1)
        count += 1
        msg = "\nTest N{0}".format(count) + garbage_info()
        print(msg)

        method_url = r'sendMessage'
        payload = {'chat_id': str(chat_id), 'text': msg}

        request_url = "https://api.telegram.org/bot{0}/{1}".format(token, method_url)
        method_name = 'get'

        session = requests.session()
        req = requests.Request(
            method=method_name.upper(),
            url=request_url,
            params=payload
        )
        prep = session.prepare_request(req)

        settings = session.merge_environment_settings(
            prep.url, None, None, None, None)
#            prep.url, proxy, None, None, None)  #Change the line to enable proxy
        send_kwargs = {
            'timeout': None,
            'allow_redirects': None,
        }
        send_kwargs.update(settings)
        resp = session.send(prep, **send_kwargs)

        # For more clean output
        gc.collect()

tester()

시스템 정보

{
  "chardet": {
    "version": "3.0.4"
  },
  "cryptography": {
    "version": "2.3.1"
  },
  "idna": {
    "version": "2.7"
  },
  "implementation": {
    "name": "CPython",
    "version": "3.6.6"
  },
  "platform": {
    "release": "4.15.0-36-generic",
    "system": "Linux"
  },
  "pyOpenSSL": {
    "openssl_version": "1010009f",
    "version": "17.5.0"
  },
  "requests": {
    "version": "2.19.1"
  },
  "system_ssl": {
    "version": "1010007f"
  },
  "urllib3": {
    "version": "1.23"
  },
  "using_pyopenssl": true
}

_Windows10의 Python 3.5.3에서와 동일한 동작._

@LeoSZN

@initbar

p.join() 전에 루프에서 또는 루프 외부에서 p.daemon = True 를 실행해야 합니까? 그런데 나는 아직도 필요합니까 p.join() 적용한 후 p.daemon = True ?

# ..
     for i in urls:
        p = Process(target=main, args=(i,))
        p.daemon = True  # before `.start`
        p.start()
# ..

작은 노트로서, 당신은 아직 할 수 .join 프로세스 데몬 - 자신의 부모 프로세스의 종료가 (그들은 어떻게 든 될하지 않는 실수 고아 그러나 그들이 살해되는 거의 보장;!하는 경우 주시기 바랍니다 나 내가 알고 그것에 대해 더 많이 배우고 싶습니다).

그렇지 않으면 Process 개체를 배열로 별도로 저장하고 마지막에 조인할 수 있습니다.

# ..
processes = [ 
  Process(target=main, args=(i,))
  for i in urls
]
# start the process activity.

예상 결과

len(gc.get_objects()) 는 모든 루프 반복에서 동일한 결과를 제공해야 합니다.

이 동작의 원인은 "요청" 캐시 메커니즘에서 찾을 수 있습니다.

올바르지 않게 작동합니다(의심됨): Telegram API URL에 대한 모든 호출에 캐시 레코드를 추가합니다(한 번 캐싱하는 대신). 그러나 캐시 크기가 20으로 제한되고 이 제한에 도달한 후 캐시가 재설정되고 증가하는 개체 수가 초기 값으로 다시 감소하기 때문에 메모리 누수로 이어지지 않습니다.

비슷한 문제입니다. 요청은 스레드에서 실행될 때 메모리를 먹습니다. 여기에서 재현할 코드:

import gc
from concurrent.futures import ThreadPoolExecutor, as_completed
import requests
from memory_profiler import profile

def run_thread_request(sess, run):
    response = sess.get('https://www.google.com')
    return

<strong i="6">@profile</strong>
def main():
    sess = requests.session()
    with ThreadPoolExecutor(max_workers=1) as executor:
        print('Starting!')
        tasks = {executor.submit(run_thread_request, sess, run):
                    run for run in range(50)}
        for _ in as_completed(tasks):
            pass
    print('Done!')
    return

<strong i="7">@profile</strong>
def calling():
    main()
    gc.collect()
    return

if __name__ == '__main__':
    calling()

위에 주어진 코드에서 세션 개체를 전달하지만 requests.get 실행하는 것으로 교체하면 아무 것도 변경되지 않습니다.

출력은 다음과 같습니다.

➜  thread-test pipenv run python run.py
Starting!
Done!
Filename: run.py

Line #    Mem usage    Increment   Line Contents
================================================
    10     23.2 MiB     23.2 MiB   <strong i="13">@profile</strong>
    11                             def main():
    12     23.2 MiB      0.0 MiB       sess = requests.session()
    13     23.2 MiB      0.0 MiB       with ThreadPoolExecutor(max_workers=1) as executor:
    14     23.2 MiB      0.0 MiB           print('Starting!')
    15     23.4 MiB      0.0 MiB           tasks = {executor.submit(run_thread_request, sess, run):
    16     23.4 MiB      0.0 MiB                       run for run in range(50)}
    17     25.8 MiB      2.4 MiB           for _ in as_completed(tasks):
    18     25.8 MiB      0.0 MiB               pass
    19     25.8 MiB      0.0 MiB       print('Done!')
    20     25.8 MiB      0.0 MiB       return


Filename: run.py

Line #    Mem usage    Increment   Line Contents
================================================
    22     23.2 MiB     23.2 MiB   <strong i="14">@profile</strong>
    23                             def calling():
    24     25.8 MiB      2.6 MiB       main()
    25     25.8 MiB      0.0 MiB       gc.collect()
    26     25.8 MiB      0.0 MiB       return

그리고 Pipfile은 다음과 같습니다.

[[source]]
url = "https://pypi.python.org/simple"
verify_ssl = true

[requires]
python_version = "3.6"

[packages]
requests = "==2.21.0"
memory-profiler = "==0.55.0"

FWIW 또한 @jotunskij 와 유사한 메모리 누수가 발생하고

https://github.com/nicolargo/glances/issues/1447

또한 스레딩과 함께 requests.get을 사용하면 실제로 요청당 약 0.1 - 0.9 메모리를 소모하고 요청 후에 자체적으로 "지우기"가 아니라 저장하는 것과 동일한 문제가 있습니다.

여기도 마찬가지입니다. 해결 방법이 있나요?

편집하다
내 문제는 요청에서 verify=False 를 사용하기 때문에 발생한 것 같습니다. #5215에서 버그를 제기했습니다.

같은 문제가 있습니다. 스레드를 생성하는 간단한 스크립트가 있습니다. 이 스레드는 while 루프를 실행하는 함수를 호출하고, 이 루프는 API를 쿼리하여 상태 값을 확인한 다음 10초 동안 휴면한 다음 스크립트가 중지될 때까지 루프가 다시 실행됩니다.

requests.get 함수를 사용할 때 생성된 프로세스를 보면서 작업 관리자를 통해 메모리 사용량이 천천히 증가하는 것을 볼 수 있습니다.

그러나 루프에서 requests.get 호출을 제거하거나 urllib3 직접 사용하여 get 요청을 하면 메모리 사용량이 거의 없습니다.

나는 두 경우 모두 2시간 동안 이것을 보았고 requests.get 때 메모리 사용량은 urllib3 사용할 때와 같이 메모리 사용량이 약 2시간 후에 1GB+입니다. 2시간 후 20MB.

Python 3.7.4 및 요청 2.22.0

Requests는 여전히 그러한 메모리 누수가 있는 베타 단계에 있는 것 같습니다. 어서, 얘들아, 이것을 패치! 😉👍

이에 대한 업데이트가 있습니까? 파일 업로드가 포함된 간단한 POST 요청도 유사한 메모리 누수 문제를 생성합니다.

나에게도 마찬가지입니다 ... 스레드 풀 실행 중 누출은 Windows python38에서도 발생합니다.
요청 2.22.0

나에게도 마찬가지

여기 내 메모리 누수 문제가 있습니다. 누구든지 도울 수 있습니까? https://stackoverflow.com/questions/59746125/memory-keep-growing-when-using-mutil-thread-download-file

Session.close() 호출하고 Response.close() 호출하면 메모리 누수를 피할 수 있습니다.
그리고 ssl은 더 많은 메모리를 소비하므로 https URL을 요청할 때 메모리 누수가 더 두드러집니다.

먼저 4개의 테스트 케이스를 만듭니다.

1. 요청 + SSL(https://)
2. 요청 + 비 SSL(http://)
3. 아이오http + ssl (https://)
4. aiohttp + 비 SSL(http://)

의사 코드:

def run(url):
    session = requests.session()
    response = session.get(url)

while True:
    for url in urls:  # about 5k urls of public websites
        # execute in thread pool, size=10
        thread_pool.submit(run, url)

# in another thread, record memory usage every seconds

메모리 사용량 그래프(y축: MB, x축: 시간), 요청은 많은 메모리를 사용하고 메모리는 매우 빠르게 증가하지만 iohttp 메모리 사용량은 안정적입니다.

그런 다음 Session.close() 하고 다시 테스트합니다.

def run(url):
    session = requests.session()
    response = session.get(url)
    session.close()  # close session !!

메모리 사용량이 크게 감소했지만 시간이 지남에 따라 메모리 사용량은 계속 증가합니다.

마지막으로 Response.close() 하고 다시 테스트합니다.

def run(url):
    session = requests.session()
    response = session.get(url)
    session.close()  # close session !!
    response.close()  # close response !!

메모리 사용량이 다시 감소하고 시간이 지나도 증가하지 않습니다.

aiohttp 및 요청을 비교하면 메모리 누수가 ssl로 인한 것이 아니라 연결 리소스가 닫히지 않았기 때문임을 보여줍니다.

유용한 스크립트:

class MemoryReporter:
    def __init__(self, name):
        self.name = name
        self.file = open(f'memoryleak/memory_{name}.txt', 'w')
        self.thread = None

    def _get_memory(self):
        return psutil.Process().memory_info().rss

    def main(self):
        while True:
            t = time.time()
            v = self._get_memory()
            self.file.write(f'{t},{v}\n')
            self.file.flush()
            time.sleep(1)

    def start(self):
        self.thread = Thread(target=self.main, name=self.name, daemon=True)
        self.thread.start()


def plot_memory(name):
    filepath = 'memoryleak/memory_{}.txt'.format(name)
    df_mem = pd.read_csv(filepath, index_col=0, names=['t', 'v'])
    df_mem.index = pd.to_datetime(df_mem.index, unit='s')
    df_mem.v = df_mem.v / 1024 / 1024
    df_mem.plot(figsize=(16, 8))

시스템 정보:

$ python -m requests.help
{
  "chardet": {
    "version": "3.0.4"
  },
  "cryptography": {
    "version": ""
  },
  "idna": {
    "version": "2.8"
  },
  "implementation": {
    "name": "CPython",
    "version": "3.7.4"
  },
  "platform": {
    "release": "18.0.0",
    "system": "Darwin"
  },
  "pyOpenSSL": {
    "openssl_version": "",
    "version": null
  },
  "requests": {
    "version": "2.22.0"
  },
  "system_ssl": {
    "version": "1010104f"
  },
  "urllib3": {
    "version": "1.25.6"
  },
  "using_pyopenssl": false
}

SSL 누수 문제는 Windows 및 OSX에서 OpenSSL <= 3.7.4 패키지로 제공되며 컨텍스트에서 메모리를 제대로 해제하지 않습니다.

https://github.com/VeNoMouS/cloudscraper/issues/143#issuecomment -613092377