Astropy: संभावित मेममैप बग फिट बैठता है: मेममैप बस काम नहीं करता है।

को निर्मित 26 अग॰ 2013 · 12टिप्पणियाँ · स्रोत: astropy/astropy

मैं memmap=True का उपयोग करके कुछ विशाल FITS रिकॉर्ड टेबल लोड करने का प्रयास कर रहा हूं, और मुझे error: [Errno 12] Cannot allocate memory ।

एक उदाहरण सत्र:

filename = '/home/sdfits/AGBT12B_221_01/AGBT12B_221_01.raw.acs.fits'
import astropy.io.fits as fits
filefits = fits.open(filename,memmap=True)
data = filefits[2].data[:50]

त्रुटि इस लाइन पर है:

/users/aginsbur/anaconda/lib/python2.7/site-packages/numpy/core/memmap.py(253)__new__()
--> 253             mm = mmap.mmap(fid.fileno(), bytes, access=acc, offset=start)

ipdb> bytes
23718381056L
ipdb> bytes/1024**2
22619L
ipdb> start
413921280
ipdb> acc
3

मैं वास्तव में नहीं जानता कि क्या हो रहा है, लेकिन मुझे संदेह है कि मेममैप अनुचित रूप से यह तय कर रहा है कि कितना डेटा पढ़ना है। कैसे आगे डिबग करने के बारे में कोई सुझाव? क्या यह वास्तव में एक FITS मुद्दा है, या एक सुन्न मुद्दा है?

विवरण:

In [15]: numpy.__version__
Out[15]: '1.7.1'

In [16]: astropy.__version__
Out[16]: '0.2.4'

In [18]: sys.maxint
Out[18]: 9223372036854775807

Bug Effort-medium Package-intermediate io.fits

स्रोत

keflavich

सभी 12 टिप्पणियाँ

क्या ओएस?

ulimit -v लौटाता है?

embray 28 अग॰ 2013

ओएस लिनक्स का कुछ स्वाद है; मेरे सिर के ऊपर से पता नहीं है या
पता लगाने के लिए सबसे आसान आदेश।

इसके अलावा, अजगर/एस्ट्रोपी/सुन्न लेकिन उन्नत के एनाकोंडा इंस्टॉल का उपयोग कर रहा था
पिप के माध्यम से खगोल विज्ञान।

$ ulimit -v
असीमित

मंगलवार, 27 अगस्त, 2013 को शाम 4:02 बजे, एरिक ब्रे नोटिफिकेशन @github.com ने लिखा:

क्या ओएस?
ulimit -v क्या लौटाता है?
-
इस ईमेल का सीधे उत्तर दें या इसे Gi tHub पर देखेंhttps://github.com/astropy/astropy/issues/1380#issuecomment -23374814
.

एडम

keflavich 28 अग॰ 2013

cat /proc/meminfo दिखाता है?

embray 28 अग॰ 2013

$ cat /proc/meminfo
MemTotal:        1903396 kB
MemFree:          203864 kB
Buffers:          215320 kB
Cached:           884708 kB
SwapCached:         2268 kB
Active:           492052 kB
Inactive:         954324 kB
Active(anon):     165684 kB
Inactive(anon):   181096 kB
Active(file):     326368 kB
Inactive(file):   773228 kB
Unevictable:           0 kB
Mlocked:               0 kB
SwapTotal:       1048568 kB
SwapFree:        1031460 kB
Dirty:                24 kB
Writeback:             0 kB
AnonPages:        344352 kB
Mapped:            65676 kB
Shmem:               432 kB
Slab:             191348 kB
SReclaimable:     151148 kB
SUnreclaim:        40200 kB
KernelStack:        2312 kB
PageTables:        22940 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:     2000264 kB
Committed_AS:     847268 kB
VmallocTotal:   34359738367 kB
VmallocUsed:      286128 kB
VmallocChunk:   34359439336 kB
HardwareCorrupted:     0 kB
AnonHugePages:     12288 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
DirectMap4k:        8188 kB
DirectMap2M:     2070528 kB

keflavich 28 अग॰ 2013

...यह स्मृति की एक छोटी मात्रा की तरह लगता है; 2 जीबी? एचआरएमएफ।

keflavich 28 अग॰ 2013

@keflavich - क्या आप अभी भी इस मुद्दे को देख रहे हैं?

astrofrog 30 नव॰ 2013

इसके बारे में पूरी तरह से भूल गया। MemTotal केवल कुल उपलब्ध भौतिक स्मृति है। ये 2GB बहुत कुछ नहीं है, निश्चित है, लेकिन यह मुद्दा नहीं होना चाहिए। आपके पास VmallocTotal लिए लगभग ३२ टीबी है जो कि यहां मायने रखता है--सिद्धांत रूप में एमएमएपी उसमें से अधिकांश का उपयोग करने में सक्षम होना चाहिए। तो यहाँ कुछ गड़बड़ चल रहा है।

embray 2 दिस॰ 2013

आह! मुझे लगता है कि मैं यहां इस मुद्दे को देखता हूं। डिफ़ॉल्ट रूप से PyFITS फ़ाइल को केवल पढ़ने के लिए खोलते समय MAP_PRIVATE का उपयोग करता है ताकि उपयोगकर्ता अभी भी डेटा सरणी को उस स्थान पर संशोधित कर सकें जैसे वे पूरी फ़ाइल को मुख्य मेमोरी में मैप करते हैं।

समस्या यह है, इसका मतलब है कि सिद्धांत रूप में पूरी फ़ाइल को अधिलेखित किया जा सकता है, इसलिए एमएमएपी को समय से पहले पर्याप्त मेमोरी आवंटित करने में सक्षम होना चाहिए। इसलिए यहां ऐसा हो रहा है। PyFITS/Astropy को निश्चित रूप से उस परिदृश्य को पकड़ना चाहिए और अधिक उपयोगी त्रुटि प्रदान करनी चाहिए।

वर्तमान में इसके दो तरीके हैं: आप फ़ाइल को mode='denywrite खोल सकते हैं। मैंने इसे कुछ समय पहले विशेष रूप से इस मामले के लिए जोड़ा था, लेकिन इसका उपयोग शायद ही कभी किया जाता है। यह MAP_SHARED | PROT_READ साथ एमएमएपी खोलता है - इसका मतलब है कि पृष्ठ केवल पढ़ने के लिए हैं (सरणी को संशोधित करने के किसी भी प्रयास के परिणामस्वरूप अपवाद होगा)। लेकिन अगर आपको केवल डेटा को पढ़ना है तो यह ठीक काम करता है, और मुझे नहीं लगता कि किसी भी स्वैप स्पेस को आवंटित करने की आवश्यकता नहीं है।

एक और संभावना mode='update' साथ खुलने की है। फिर सरणी में कोई भी परिवर्तन सीधे फ़ाइल में वापस समन्वयित किया जा सकता है जो कि यदि आप चाहते हैं तो ठीक है, लेकिन जाहिर है कि यदि आप नहीं करते हैं तो इतना अधिक नहीं।

मैन पेज को देखते हुए, ऐसा लगता है कि कम से कम लिनक्स पर एक झंडा भी है, जिसे MAP_NORESERVE कहा जाता है, जो इसे कॉपी-ऑन-राइट के लिए पूर्व-आवंटन स्थान से रोकेगा। इसलिए यदि आपको संपूर्ण सरणी में कोई भी परिवर्तन लिखने की _need_ नहीं है जो काम भी कर सकता है। लेकिन हमें SIGSEGV को पकड़ने में सक्षम होना होगा जिसके परिणामस्वरूप यदि आप अंत में स्वैप स्थान से बाहर निकलते हैं।

embray 2 दिस॰ 2013

इसे सीधे पुन: पेश करने में कामयाब - वास्तव में, मेरे द्वारा पेश किए गए दोनों कामकाज ( mode='denywrite' और mode='update' काम। अभी भी यह देखने की कोशिश करेंगे कि मैं MAP_NORESERVE बारे में क्या कर सकता हूं, और अन्यथा इस त्रुटि को पकड़ना और एक बेहतर त्रुटि संदेश प्रदान करना।

embray 4 दिस॰ 2013

👍1

झुंझलाहट: numpy.memmap mmap कॉल में भेजे गए झंडे को बदलने की अनुमति नहीं देता है। हालांकि इसे देखते हुए, यह ndarray एक हल्के उपवर्ग से कहीं अधिक नहीं है जो सही झंडे के साथ एक एमएमएपी बनाने का काम संभालता है और फिर एमएमएपी के साथ बफर के रूप में ndarray.__new__ को कॉल करता है। यह एक flush विधि भी जोड़ता है।

numpy.memmap उपयोग को बिल्कुल भी छोड़ देना और mmap को स्वयं संभालना काफी आसान होना चाहिए। लेकिन मैं अभी इस पर जितना करना चाहता हूं, उससे कहीं अधिक है। तो इसके बजाय मैं त्रुटि को पकड़कर और मौजूदा कामकाज में से एक का सुझाव देकर इस मुद्दे को हल करूंगा।

embray 4 दिस॰ 2013

ध्यान दें कि #7597 के साथ हम अब np.memmap उपयोग नहीं करते हैं, इसलिए यदि यह उपयोगी है तो अन्य झंडे का उपयोग करना आसान होना चाहिए।

saimn 28 अग॰ 2018

👍1

इसे अब बंद किया जा सकता है, क्योंकि https://github.com/astropy/astropy/pull/7926 में वर्कअराउंड को मर्ज कर दिया गया है MAP_NORESERVE पायथन से उपलब्ध नहीं है, इसलिए दुर्भाग्य से यह कोई समाधान नहीं है।

astrofrog 24 अक्तू॰ 2018

👍1

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Astropy: संभावित मेममैप बग फिट बैठता है: मेममैप बस काम नहीं करता है।

सभी 12 टिप्पणियाँ

एडम

संबंधित मुद्दों