Ipython: % Matplotlib इनलाइन के साथ मेमोरी लीक

को निर्मित 19 दिस॰ 2014 · 23टिप्पणियाँ · स्रोत: ipython/ipython

ज़रा सुनिए सभी

मुझे एक समस्या मिली है। बस कोड लॉन्च करें और मेमोरी देखें। फिर "% matplotlib इनलाइन" हटाएं और फिर से लॉन्च करें।

import matplotlib
import matplotlib.pyplot as plt
import matplotlib.ticker

%matplotlib inline

import os
import sys
import StringIO
import urllib, base64

from matplotlib import rcParams

rcParams['figure.figsize'] = (24, 6)
rcParams['figure.dpi'] = 150

OUTPUT_FILENAME = "Asd"

def printHTML(html):
    with open(OUTPUT_FILENAME, "a") as outputFile: outputFile.write(html if type(html) == str else html.encode('utf8') )

def friendlyPlot():

    figure = plt.Figure()
    ax = plt.subplot2grid((1,2), (0,0))

    ax.plot( range(1000), range(1000) )


    #plt.show() 
    fig = plt.gcf()

    imgdata = StringIO.StringIO()
    fig.savefig(imgdata, format='png')
    imgdata.seek(0)  # rewind the data
    image = imgdata.buf.encode('base64').replace('\n', '')
    printHTML('<img src="data:image/png;base64,{0}" /><br />'.format(image))
    plt.close('all')
    imgdata.close()

open(OUTPUT_FILENAME, 'w').close()

for i in range(500):
    friendlyPlot()

bug matplotlib

स्रोत

evyasonov

👍3

सबसे उपयोगी टिप्पणी

मैं दूसरा हूँ कि इस मुद्दे पर एक निर्णय की सराहना की जाएगी।

thenomemac 5 अग॰ 2016

👍4

सभी 23 टिप्पणियाँ

मैं इस बग को हिट करता हूं, क्या मेमोरी लीक के बिना इनलाइन प्लॉट पाने का कोई तरीका है? मैं प्रत्येक प्लॉट के लिए अलग-अलग प्रक्रियाएं शुरू नहीं करना चाहता, क्योंकि सरणियां काफी बड़ी हैं।

denfromufa 30 जुल॰ 2015

मेमोरी का उपयोग बढ़ने पर क्या आप इसकी जांच कर सकते हैं:

len(IPython.kernel.zmq.pylab.backend_inline.show._to_draw)

यह एक सूची है जहां आंकड़े संग्रहीत किए जा रहे हैं। उन्हें केवल अस्थायी रूप से होना चाहिए, लेकिन शायद वे बिना मंजूरी के निर्माण कर रहे हैं।

takluyver 30 जुल॰ 2015

len (IPython.kernel.zmq.pylab.backend_inline.show._to_draw) = 0

BTW, मैं पांडा डेटाफ्रेम पर .plot() पद्धति का उपयोग करके साजिश रच रहा हूं।

denfromufa 30 जुल॰ 2015

ठीक है, उस सिद्धांत के लिए बहुत कुछ।

यह संभव है कि पांडा आंतरिक रूप से भी भूखंडों के आसपास कुछ डेटा रखते हैं। हालांकि मूल रिपोर्ट में पांडा शामिल नहीं हैं।

प्रत्येक अतिरिक्त प्लॉट को जोड़ने के लिए कितनी मेमोरी लगती है?

takluyver 30 जुल॰ 2015

ठीक है, यह मेरा मामला लगता है, मैं 0.16.0 पांडा का उपयोग कर रहा था, लेकिन यह मुद्दा मास्टर में तय किया गया है:

https://github.com/pydata/pandas/pull/9814

denfromufa 30 जुल॰ 2015

बहुत बहुत शुक्रिया। मूल रिपोर्ट में पांडा शामिल नहीं होने के कारण खुला छोड़ दिया गया।

takluyver 30 जुल॰ 2015

इसे और अधिक सरलता से पुन: प्रस्तुत किया जा सकता है:

import matplotlib
import matplotlib.pyplot as plt
import matplotlib.ticker

%matplotlib inline

import os
import sys
import StringIO
import urllib, base64

from matplotlib import rcParams

rcParams['figure.figsize'] = (24, 6)
rcParams['figure.dpi'] = 150



def friendlyPlot():
    fig, ax = plt.subplots()
    ax.plot(range(1000))
    fig.savefig('tmp.png')
    plt.close('all')


for i in range(500):
    friendlyPlot()

यह मेमोरी को लीक नहीं करता है इसलिए यह IPython की तरफ है जो कि pyplot साइड नहीं है (मुझे लगता है)।

import matplotlib
matplotlib.use('agg')
import matplotlib.pyplot as plt
import matplotlib.ticker



import os
import sys
import StringIO
import urllib, base64

from matplotlib import rcParams

rcParams['figure.figsize'] = (24, 6)
rcParams['figure.dpi'] = 150



def friendlyPlot():
    fig, ax = plt.subplots()
    ax.plot(range(1000))
    fig.savefig('tmp.png')
    plt.close('all')


for i in range(500):
    friendlyPlot()

tacaswell 12 सित॰ 2015

@tacaswell विंडोज 7 पर आपके टेस्ट कोड IPython के साथ यहां लगभग

asteppke 16 अक्तू॰ 2015

@asteppke पहला या दूसरा ब्लॉक?

tacaswell 16 अक्तू॰ 2015

@tacaswell आपके पहले परीक्षण कोड ( %matplotlib inline ) के साथ मेमोरी खपत 1.7GB तक बढ़ जाती है। इसके विपरीत जब दूसरा टुकड़ा ( matplotlib.use('agg') ) का उपयोग किया जाता है, तो मेमोरी का उपयोग केवल 50 एमबी और 100 एमबी के बीच होता है।

दोनों परीक्षणों को पायथन 3.4 और आईपीथॉन नोटबुक संस्करण 4.0.5 के साथ निष्पादित किया जाता है।

asteppke 16 अक्तू॰ 2015

मैंने इसके साथ थोड़ा और खेला है। मुझे लगता है कि अगर मैं @tacaswell के उदाहरण में लूप के लिए कुछ बार फिर से gc.collect() करने के बाद भी मेमोरी उपयोग ड्रॉप नहीं बनाती है।

क्या हमारा कोड matplotlib में किसी चीज़ के साथ बुरी तरह से बातचीत कर सकता है? मैंने सोचा था कि _pylab_helpers.Gcf की संभावना दिख रही है, लेकिन यह किसी भी चीज़ पर पकड़ नहीं लगता है।

मैंने आंकड़ों में से एक के संदर्भ को हथियाने की कोशिश की और उस पर gc.get_referrers() कॉल किया; संदर्भ के अलावा मैं user_ns में था, अन्य सभी mpl ऑब्जेक्ट की तरह दिखते थे - संभवतः उनमें से कई संदर्भ छोरों में हैं। क्या वस्तु यह सबसे अधिक संभावना है कि कुछ और अनुचित रूप से एक संदर्भ रखते हुए होगा?

takluyver 21 जन॰ 2016

मैं इसे 'इच्छा सूची' के लिए छोड़ रहा हूं। हम इसे ठीक करना चाहते हैं, लेकिन फिलहाल हमें यकीन नहीं है कि बग को पहचानने में और प्रगति कैसे हो सकती है, और मुझे नहीं लगता कि इसके लिए रिलीज को रोकना उचित है।

जो भी प्रगति कर सकता है उसे ब्राउनी पॉइंट्स मिलते हैं। साथ ही केक भी।

takluyver 25 जन॰ 2016

वास्तव में प्रगति नहीं है, लेकिन स्मृति कर्नेल के अंदर कहीं खो गई लगती है। लूप की मदद के बाद या अंदर gc.collect() कॉल नहीं करता है, और summary.print_(summary.summarize(muppy.get_objects())) लीक मेमोरी में से कोई भी नहीं पाता है। न तो सभी _N और _iN से None मदद सेट नहीं करता है। यह वास्तव में रहस्यमय है।

lucasb-eyer 7 मार्च 2016

मुझे यह भी आश्चर्य हुआ कि क्या यह अकल्पनीय वस्तुओं का निर्माण कर रहा था, लेकिन उन पर gc.garbage अंत होना चाहिए, जब उनके लिए कोई अन्य संदर्भ नहीं हैं, और यह तब भी खाली है जब मैं रैम के भार का उपयोग करके इसे देखता हूं।

मुझे लगता है कि कोई व्यक्ति जो इन चीजों के बारे में जानता है, को यह पता लगाने के लिए सी-लेवल टूल्स का उपयोग करना होगा कि मेमोरी किस चीज से मुक्त नहीं हो रही है। अतिरिक्त पायथन वस्तुओं का कोई सबूत नहीं है जिसे हम कहीं भी जीवित पा सकते हैं।

takluyver 7 मार्च 2016

मैं दूसरा हूँ कि इस मुद्दे पर एक निर्णय की सराहना की जाएगी।

thenomemac 5 अग॰ 2016

👍4

हम जानते हैं, लेकिन वर्तमान में बग के कारण किसी ने भी काम नहीं किया है।

takluyver 5 अग॰ 2016

daidoji 24 अक्तू॰ 2016

akapocsi 15 नव॰ 2016

BTW, मैं अभी भी इस मुद्दे को समय-समय पर नवीनतम matplotlib, पांडा, ज्यूपिटर, इपियटन पर मार रहा हूं। अगर किसी को कोई भी डिबगर पता है जो इस बहु-प्रक्रिया संचार का निवारण करने में मदद कर सकता है, तो कृपया मुझे बताएं।

denfromufa 15 नव॰ 2016

👍1

यह शायद ब्राउज़र कैश तंत्र के साथ कुछ भी कर सकता है?

akapocsi 15 नव॰ 2016

अच्छा सोचा, लेकिन मुझे ऐसा नहीं लगता। यह आईपीथॉन की प्रक्रिया है अतिरिक्त मेमोरी, ब्राउज़र नहीं और
@tacaswell के पुनरुत्पादन में ब्राउज़र को भूखंड भेजना शामिल नहीं है।

takluyver 15 नव॰ 2016

नमस्ते, मेरा मानना है कि मुझे अपराधी का हिस्सा और महत्वपूर्ण रूप से एक रास्ता मिल गया है, लेकिन पूरी तरह से नहीं, इस समस्या को कम करें!

ipykernel/pylab/backend_inline.py कोड के माध्यम से स्क्रॉल करने के बाद, मुझे यह पता चला कि इंटरैक्टिव मोड "प्लॉट-चीजों" का बहुत भंडारण करता है, हालांकि मुझे यह पूरी तरह से समझ में नहीं आता है, इसलिए मैं सटीक कारण बताने में सक्षम नहीं हूं निश्चित रूप से।

यहाँ यह सत्यापित करने के लिए कोड है (ऊपर दिए गए @tacaswell के स्निपेट के आधार पर), जो किसी को ठीक करने की कोशिश कर रहा है के लिए उपयोगी है।

आरंभ:

import matplotlib
import matplotlib.pyplot as plt
import matplotlib.ticker

%matplotlib inline

matplotlib.rcParams['figure.figsize'] = (24, 6)
matplotlib.rcParams['figure.dpi'] = 150

from resource import getrusage
from resource import RUSAGE_SELF

def friendlyPlot():
    fig, ax = plt.subplots()
    ax.plot(range(1000))
    fig.savefig('tmp.png')
    plt.close('all')

वास्तविक परीक्षण:

print("before any:  {:7d} kB".format(getrusage(RUSAGE_SELF).ru_maxrss))
friendlyPlot()
print("before loop: {:7d} kB".format(getrusage(RUSAGE_SELF).ru_maxrss))
for i in range(50):
    friendlyPlot()
print("after loop:  {:7d} kB".format(getrusage(RUSAGE_SELF).ru_maxrss))
import gc ; gc.collect(2)
print("after gc:    {:7d} kB".format(getrusage(RUSAGE_SELF).ru_maxrss))

लूप के 50 पुनरावृत्तियों के लिए इसे चलाना, मुझे मिलता है:

before any:    87708 kB
before loop:  106772 kB
after loop:   786668 kB
after gc:     786668 kB

लूप के 200 पुनरावृत्तियों के लिए इसे चलाना, मुझे मिलता है:

before any:    87708 kB
before loop:  100492 kB
after loop:  2824316 kB
after gc:    2824540 kB

जो पुनरावृत्तियों के साथ स्मृति में लगभग रैखिक वृद्धि को दर्शाता है।

अब फिक्स / वर्कअराउंड: टेस्ट-स्निपेट से पहले matplotlib.interactive(False) कॉल करें, और फिर इसे चलाएं।

50 पुनरावृत्तियों के साथ:

before any:    87048 kB
before loop:  104992 kB
after loop:   241604 kB
after gc:     241604 kB

और 200 पुनरावृत्तियों के साथ:

before any:    87536 kB
before loop:  103104 kB
after loop:   239276 kB
after gc:     239276 kB

जो इस बात की पुष्टि करता है कि केवल एक निरंतर वृद्धि (पुनरावृत्तियों से स्वतंत्र) बची हुई है।

इन नंबरों का उपयोग करते हुए, मैं प्रति रिसाव रिसाव आकार का एक मोटा अनुमान लगाता हूं:

(786668-(241604 - 104992))/50   = 13001.12
(2824316-(241604 - 104992))/200 = 13438.52

और पाश के एक एकल पुनरावृत्ति के लिए, मुझे 13560 । तो प्रति रिसाव रिसाव की मात्रा छवि के आकार की तुलना में काफी कम है, यह कच्चा (> 3 एमबी) या पीएनजी-संपीड़ित (54KB) हो।

इसके अलावा, अजीब तरह से, कर्नेल को पुनरारंभ किए बिना एक ही सेल में बार-बार एक छोटे पैमाने पर परीक्षण (केवल कुछ पुनरावृत्तियों) को चलाना बहुत कम सुसंगत है, मैं इसे समझने या एक पैटर्न निर्धारित करने में सक्षम नहीं हूं।

मुझे आशा है कि इंटर्नल के अधिक ज्ञान वाला कोई व्यक्ति इसे यहां से ले जा सकता है, क्योंकि मेरे पास अभी समय और ज्ञान की कमी है ताकि मैं इसमें गहराई तक जा सकूं।

lucasb-eyer 4 जन॰ 2018

👍2 🚀1

यह काम करता है

fedral 18 अग॰ 2018

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Ipython: % Matplotlib इनलाइन के साथ मेमोरी लीक

सबसे उपयोगी टिप्पणी

सभी 23 टिप्पणियाँ

संबंधित मुद्दों