Ipython: % matplotlib 인라인으로 메모리 누수

이 버그도 발생했습니다. 메모리 누수없이 인라인 플롯을 얻을 수있는 방법이 있습니까? 배열이 상당히 크기 때문에 각 플롯에 대해 별도의 프로세스를 시작하고 싶지 않습니다.

메모리 사용량이 증가하면이를 확인할 수 있습니다.

len(IPython.kernel.zmq.pylab.backend_inline.show._to_draw)

그것은 수치가 저장되는 목록입니다. 일시적으로 만 있어야하지만 정리되지 않고 쌓이고있을 수도 있습니다.

len (IPython.kernel.zmq.pylab.backend_inline.show._to_draw) = 0

BTW, pandas 데이터 프레임에서 .plot() 메서드를 사용하여 플로팅하고 있습니다.

좋아, 그 이론에 너무 많이.

팬더가 내부적으로도 플롯 주변에 일부 데이터를 보관할 수 있습니다. 하지만 원래 보고서에는 판다가 포함되어 있지 않습니다.

각 추가 플롯이 추가되는 것처럼 보이는 메모리 양은 얼마입니까?

좋아, 이것은 내 경우 인 것 같고 pandas 0.16.0을 사용했지만 문제는 마스터에서 수정되었습니다.

https://github.com/pydata/pandas/pull/9814

감사합니다. 원래 보고서에는 판다가 포함되지 않았기 때문에 열려 있습니다.

이것은 더 간단하게 재현 할 수 있습니다.

import matplotlib
import matplotlib.pyplot as plt
import matplotlib.ticker

%matplotlib inline

import os
import sys
import StringIO
import urllib, base64

from matplotlib import rcParams

rcParams['figure.figsize'] = (24, 6)
rcParams['figure.dpi'] = 150



def friendlyPlot():
    fig, ax = plt.subplots()
    ax.plot(range(1000))
    fig.savefig('tmp.png')
    plt.close('all')


for i in range(500):
    friendlyPlot()

이것은 메모리 누출이 없으므로 pyplot 측이 아닌 IPython 측에 있습니다 (제 생각에).

import matplotlib
matplotlib.use('agg')
import matplotlib.pyplot as plt
import matplotlib.ticker



import os
import sys
import StringIO
import urllib, base64

from matplotlib import rcParams

rcParams['figure.figsize'] = (24, 6)
rcParams['figure.dpi'] = 150



def friendlyPlot():
    fig, ax = plt.subplots()
    ax.plot(range(1000))
    fig.savefig('tmp.png')
    plt.close('all')


for i in range(500):
    friendlyPlot()

@tacaswell 테스트 코드를 사용하면 Windows 7의 IPython은 여기서 약 1.7GB를 소비하며 나중에 해제되지 않습니다. 약간 더 많은 반복 횟수로 실행하면 메모리 오류가 발생합니다. 그래서 이것은 여전히 ​​문제입니다.

@asteppke 첫 번째 또는 두 번째 블록?

@tacaswell 첫 번째 테스트 코드 ( %matplotlib inline )를 사용하면 메모리 사용량이 1.7GB까지 늘어납니다. 대조적으로 두 번째 조각 ( matplotlib.use('agg') )을 사용할 때 메모리 사용량은 50MB에서 100MB 사이에서만 변동합니다.

두 테스트 모두 Python 3.4 및 IPython 노트북 버전 4.0.5로 실행됩니다.

나는 이것을 조금 더 가지고 놀았습니다. @tacaswell 의 예제에서 for 루프를 몇 번 다시 실행하면 메모리 사용량이 증가하지 않는 것으로 나타났습니다. 중요한 단일 셀에서 만드는 숫자 인 것 같습니다. IPython은 확실히 인라인 백엔드를 위해 셀에서 생성 된 모든 수치의 목록을 유지하지만 해당 목록은 셀이 실행 된 후 확실히 지워져서 gc.collect() 을 수행 한 후에도 메모리 사용량이 떨어지지 않습니다.

우리 코드가 matplotlib의 무언가와 나쁘게 상호 작용할 수 있습니까? _pylab_helpers.Gcf 가능성이있는 것 같았지만 아무 것도 붙 잡지 않는 것 같습니다.

나는 그림 중 하나에 대한 참조를 잡고 그것에 대해 gc.get_referrers() 라고 부르려고했습니다. user_ns에있는 참조를 제외하고 다른 모든 것들은 mpl 객체처럼 보였습니다. 아마도 그들 중 많은 것들이 참조 루프에 있습니다. 다른 무언가가 부적절하게 참조를 유지하고있을 가능성이 가장 높은 개체는 무엇입니까?

나는 이것을 마일스톤 '위시리스트'에 떨어 뜨리고있다. 우리는 그것을 고치고 싶지만 현재로서는 버그를 식별하는 과정에서 어떻게 더 진전을 이루어야할지 확신이 서지 않으며 릴리스를 보류 할 가치가 없다고 생각합니다.

발전 할 수있는 사람은 누구나 브라우니 포인트를받습니다. 또한 케이크.

실제로 진행되지는 않지만 커널 내부 어딘가에서 메모리가 손실 된 것 같습니다. 루프 도움말 이후 또는 내부에서 gc.collect() 호출하지도 않으며 summary.print_(summary.summarize(muppy.get_objects())) 는 누수 된 메모리를 찾지 못합니다. 모든 _N 및 _iN 를 None 도움말로 설정하는 것도 아닙니다. 정말 신비 스럽습니다.

또한 수집 할 수없는 개체를 생성하는지 궁금했지만 다른 참조가없는 경우 gc.garbage 끝나야하며 RAM을 많이 사용하는 것을 보면 여전히 비어 있습니다.

나는 이러한 것들에 대해 아는 사람이 C 레벨 도구를 사용하여 해제되지 않은 메모리를 추적해야한다고 생각합니다. 우리가 찾을 수있는 곳에서는 여분의 파이썬 객체가 살아 있다는 증거가 없습니다.

두 번째로이 문제에 대한 수정을 주시면 감사하겠습니다.

우리는 알고 있지만 현재 아무도 버그의 원인을 파악하지 못했습니다.

+1

+1

BTW, 나는 최신 matplotlib, pandas, jupyter, ipython에서 때때로이 문제를 해결하고 있습니다. 이 다중 프로세스 통신 문제를 해결하는 데 도움이 될 수있는 디버거를 아는 사람이 있으면 알려주십시오.

브라우저 캐시 메커니즘과 관련이있을 수 있습니까?

좋은 생각이지만 그렇게 생각하지 않습니다. 브라우저가 아닌 추가 메모리를 차지하는 IPython의 프로세스입니다.
@tacaswell 의 재생산은 플롯을 브라우저로 보내는 것을 포함하지 않습니다.

안녕하세요, 저는 범인의 일부와이 문제를 완전히는 아니지만 크게 줄일 수있는 방법을 찾았다 고 생각합니다!

ipykernel/pylab/backend_inline.py 코드를 스크롤 한 후 대화 형 모드가 "플롯-물건"을 많이 저장한다는 직감을 얻었습니다. 완전히 이해하지는 못했지만 정확한 이유를 찾아 낼 수 없습니다. 확실하게.

다음은이를 확인하는 코드입니다 (위의 @tacaswell 스 니펫 기반). 수정을 구현하려는 모든 사람에게 유용합니다.

초기화 :

import matplotlib
import matplotlib.pyplot as plt
import matplotlib.ticker

%matplotlib inline

matplotlib.rcParams['figure.figsize'] = (24, 6)
matplotlib.rcParams['figure.dpi'] = 150

from resource import getrusage
from resource import RUSAGE_SELF

def friendlyPlot():
    fig, ax = plt.subplots()
    ax.plot(range(1000))
    fig.savefig('tmp.png')
    plt.close('all')

실제 테스트 :

print("before any:  {:7d} kB".format(getrusage(RUSAGE_SELF).ru_maxrss))
friendlyPlot()
print("before loop: {:7d} kB".format(getrusage(RUSAGE_SELF).ru_maxrss))
for i in range(50):
    friendlyPlot()
print("after loop:  {:7d} kB".format(getrusage(RUSAGE_SELF).ru_maxrss))
import gc ; gc.collect(2)
print("after gc:    {:7d} kB".format(getrusage(RUSAGE_SELF).ru_maxrss))

루프를 50 회 반복하면 다음과 같은 결과가 나타납니다.

before any:    87708 kB
before loop:  106772 kB
after loop:   786668 kB
after gc:     786668 kB

루프를 200 번 반복하면 다음과 같은 결과가 나타납니다.

before any:    87708 kB
before loop:  100492 kB
after loop:  2824316 kB
after gc:    2824540 kB

반복에 따른 메모리의 거의 선형적인 증가를 보여줍니다.

이제 수정 / 해결 방법 : 테스트 스 니펫 전에 matplotlib.interactive(False) 를 호출 한 다음 실행합니다.

50 회 반복 :

before any:    87048 kB
before loop:  104992 kB
after loop:   241604 kB
after gc:     241604 kB

200 회 반복 :

before any:    87536 kB
before loop:  103104 kB
after loop:   239276 kB
after gc:     239276 kB

이는 반복과 무관하게 일정한 증가 만 남았음을 확인합니다.

이 숫자를 사용하여 반복 당 누출 크기를 대략적으로 추정합니다.

(786668-(241604 - 104992))/50   = 13001.12
(2824316-(241604 - 104992))/200 = 13438.52

그리고 루프의 단일 반복에 대해 13560 얻습니다. 따라서 반복 당 누수 양은 원시 (> 3MB) 또는 png 압축 (54KB) 이미지 크기보다 훨씬 작습니다.

또한 이상하게도 커널을 다시 시작하지 않고 동일한 셀에서 소규모 테스트 (몇 번만 반복)를 반복적으로 실행하는 것은 훨씬 일관성이 없어서이를 이해하거나 패턴을 결정할 수 없었습니다.

내부에 대한 더 많은 지식을 가진 사람이 여기에서 가져갈 수 있기를 바랍니다. 지금 당장 더 깊이 파고들 수있는 시간과 지식이 부족하기 때문입니다.

효과가있다