Pandas: 순환 GC 문제

좋아, 이것은 한마디로 망할거야. for 루프에 gc.collect를 추가하면 메모리 누수가 중지됩니다.

import pandas as pd
import numpy as np
import gc

arr = np.random.randn(100000, 5)

def leak():
    pd.util.testing.set_trace()
    for i in xrange(10000):
        df = pd.DataFrame(arr.copy())
        result = df.xs(1000)
        gc.collect()
        # result = df.ix[5000]

if __name__ == '__main__':
    leak()

여기에는 순환 GC가 실행될 때만 가비지 수집되는 객체가 있습니다. 어떤 솔루션이 휴식주기가 명시 적으로, 여기에 __del__ 파이썬 메모리 할당, 그래서 우리를 속이고 중지?

이것을 시도해 볼 수 있습니까?

from ctypes import cdll, CDLL

import pandas as pd
import numpy as np

arr = np.random.randn(100000, 5)

cdll.LoadLibrary("libc.so.6")
libc = CDLL("libc.so.6")

def leak():
    for i in xrange(10000):
        libc.malloc_trim(0)
        df = pd.DataFrame(arr.copy())
        result = df.xs(1000)
        # result = df.ix[5000]

if __name__ == '__main__':
    leak()

나는 이것이 파이썬과 아무런 관련이 없다고 생각하지만 그것은 그것을 확인할 것입니다.

그래, 그게 속임수를 쓰는 것 같았 어. 메모리 사용량은 IPython에서 실행 한 후 450MB이고 malloc_trim은 400MB를 해제했습니다. 매우 악성

malloc_trim 리드 업스트림에 이어 glibc 최적화가 잘못 된 것처럼 보입니다.
외부 참조 :
http://sourceware.org/bugzilla/show_bug.cgi?id=14827

"fastbins"주석을 참조하십시오.

In [1]: from ctypes import Structure,c_int,cdll,CDLL
   ...: class MallInfo(Structure):   
   ...:     _fields_ =[
   ...:               ( 'arena',c_int ),  #  /* Non-mmapped space allocated (bytes) */
   ...:            ('ordblks',c_int  ),# /* Number of free chunks */
   ...:            (    'smblks',c_int ),  # /* Number of free fastbin blocks */
   ...:            (    'hblks',c_int  ),  #/* Number of mmapped regions */
   ...:            (    'hblkhd' ,c_int ), #/* Space allocated in mmapped regions (bytes) */
   ...:            (    'usmblks' ,c_int), # /* Maximum total allocated space (bytes) */
   ...:            (    'fsmblks' ,c_int) ,#/* Space in freed fastbin blocks (bytes) */
   ...:            (    'uordblks' ,c_int),# /* Total allocated space (bytes) */
   ...:            (    'fordblks',c_int ),# /* Total free space (bytes) */
   ...:            (    'keepcost',c_int )# /* Top-most, releasable space (bytes) */
   ...:          ]
   ...:     def __repr__(self):
   ...:         return "\n".join(["%s:%d" % (k,getattr(self,k)) for k,v in self._fields_])
   ...: 
   ...: cdll.LoadLibrary("libc.so.6")
   ...: libc = CDLL("libc.so.6")
   ...: mallinfo=libc.mallinfo
   ...: mallinfo.restype=MallInfo
   ...: libc.malloc_trim(0)
   ...: mallinfo().fsmblks
Out[1]: 0

In [2]: import numpy as np
   ...: import pandas as pd
   ...: arr = np.random.randn(100000, 5)
   ...: def leak():
   ...:     for i in xrange(10000):
   ...:         df = pd.DataFrame(arr.copy())
   ...:         result = df.xs(1000)
   ...: leak()
   ...: mallinfo().fsmblks
Out[2]: 128

In [3]: libc.malloc_trim(0)
   ...: mallinfo().fsmblks
Out[3]: 0

그때 고치지 않을 것입니다. 아마도 우리는 malloc 트리밍을 수행하기 위해 언젠가 팬더에 몇 가지 도우미 함수를 추가해야 할 것입니다.

FAQ 항목일까요?

기록을 위해, 우리 (+ @ sbneto)는 이것을 약간의 시간 동안 예감으로 사용하고 있으며 매우 잘하고 있습니다.

# monkeypatches.py

# Solving memory leak problem in pandas
# https://github.com/pandas-dev/pandas/issues/2659#issuecomment-12021083
import pandas as pd
from ctypes import cdll, CDLL
try:
    cdll.LoadLibrary("libc.so.6")
    libc = CDLL("libc.so.6")
    libc.malloc_trim(0)
except (OSError, AttributeError):
    libc = None

__old_del = getattr(pd.DataFrame, '__del__', None)

def __new_del(self):
    if __old_del:
        __old_del(self)
    libc.malloc_trim(0)

if libc:
    print('Applying monkeypatch for pd.DataFrame.__del__', file=sys.stderr)
    pd.DataFrame.__del__ = __new_del
else:
    print('Skipping monkeypatch for pd.DataFrame.__del__: libc or malloc_trim() not found', file=sys.stderr)

@alanjds 대단히 감사합니다!

그러나 다른 영향을받는 작업이 있습니다.

위의 문제 (glibc 문제)에 아무런 반응이 없다는 것은 매우 이상합니다. Linux PC 및 서버의 모든 환경에 영향을 미칩니다. 그리고 아무것도!!!

알아요, 당신은 저에게 말할 것입니다 : 좋아요, 패치를 작성하세요! 나는 그것을 할 것입니다 (UPD : glibc 코드에 대해 아무것도 모르기 때문에 이상 할 것입니다). 그러나 아무도 그것을 모릅니다.

모두가 말합니다 : KDE가 누출됩니다. 누가 알아-왜?! 아무도!

오픈 소스? 부끄러워! 죄송하지만이 상황은 사실입니다.

PS http://sourceware.org/bugzilla/show_bug.cgi?id=14827

나는 당신을 믿습니다. 2 년이고 그쪽으로 움직이지 않는다 : /

나는 이쪽을 고치고 거기에서 포크하는 것은 실현 불가능 해 보이기 때문에 큰 비난을하겠다고 말한다.

@alanjds 귀하의 코드는 심각한 두통을 일으키는 문제를 해결했습니다. 기본 pandas 동작이 무엇이며 코드에서이를 수정하는 방법을 설명해 주시겠습니까?

기본 할당 자로 jemalloc 로 전환하여이 문제를 해결할 수도 있습니다. 대신 python script.py , 실행 LD_PRELOAD=/usr/lib/libjemalloc.so python script.py . libjemalloc.so 의 경로는 시스템에 따라 다를 수 있으며 먼저 패키지 관리자를 사용하여 설치해야합니다.

@tchristensenowlet 문제는 glibc 의 malloc 코드에있는 것 같습니다. 분명히 free 구현은 @ghost 의 링크에서 볼 수 있듯이 특정 임계 값 이후에 malloc_trim 발행해야하는 플래그를 존중하지 않습니다. 따라서 malloc_trim 는 호출되지 않고 메모리 누수가 발생합니다. 시스템에서 lib를 사용할 수있는 경우 수동으로 malloc_trim 호출했습니다. 객체가 가비지 수집 될 때 실행되는 __del__() 메서드에서 호출합니다.

glibc.malloc.mxfast 튜너 블이 Glibc (https://www.gnu.org/software/libc/manual/html_node/Memory-Allocation-Tunables.html)에 도입되었습니다.

이것이 우리 프로젝트 중 하나의 범인이라고 생각하지만 사용자는 기본 Python 3.8 (공식 웹 사이트에서 제공)과 pip를 통해 설치된 모든 종속성으로 Windows를 실행하고 있습니다. 이 문제가 Windows에서도 발생합니까? 그렇다면 cdll.LoadLibrary("libc.so.6") 해당하는 것은 무엇입니까?

편집 : 여기에 설명 된 테스트를 실행했고 가비지 수집은 매번 제대로 작동했습니다.
https://github.com/pandas-dev/pandas/issues/21353
시스템 : Windows 10
파이썬 : 3.8.5
판다 : 1.1.0