Numpy: ndarray डंप फ़ंक्शन (और सीधे cPickle) बड़े सरणियों के लिए विफल रहता है (Trac # 1803)

मैं भी इस समस्या का सामना कर रहा हूं।

@zhlsk ने आगे या जांच करने की कोशिश नहीं की, अगर अजगर में कुछ ठीक है, लेकिन मुझे लगता है कि यह एक गंभीर, लेकिन अजगर की समस्या नहीं है, क्योंकि: cPickle.dump(a.tostring(), f) भी मेरे लिए विफल रहता है बस वही और thats बस एक बड़ा तब स्ट्रिंग और सुन्न के साथ कुछ नहीं करना है। सुन्न बचाने के कार्यों का उपयोग करते हुए हालांकि इस तरह की समस्याएं नहीं होनी चाहिए।

@seberg आपके उत्तर के लिए धन्यवाद। आप सही हे। यह एक अजगर समस्या है: http://bugs.python.org/issue11564

सिद्धांत रूप में हम शायद बग के आसपास बड़े पैमाने पर काम कर सकते हैं
वस्तुओं की एक श्रृंखला के रूप में पिकर के लिए सरणियाँ, जिनमें से प्रत्येक में फिट होती है
सीमा, और अनपिकल समय पर सरणी को फिर से संगठित करें। ऐसा लगता है
सीमा एकल बाइट सरणी के आकार पर है।
14 दिसंबर 2012 22:11 को, "zhlsk" नोटिफिकेशन @github.com ने लिखा:

@seberg https://github.com/seberg आपके उत्तर के लिए धन्यवाद। आप सही हे।
यह एक अजगर समस्या है: http://bugs.python.org/issue11564

-
इस ईमेल का उत्तर सीधे दें या Gi tHubhttps: //github.com/numpy/numpy/issues/2396#issuecomment -11394338 पर देखें।

इस पर कोई प्रगति? ऐसा लगता है कि numpy.save और numpy.savetxt दोनों इस मुद्दे से प्रभावित हैं। किसी भी काम?

यह पायथन में एक बग है, ठीक एक नए संस्करण में नवीनीकृत करना है (यह पायथन 3.3 में तय किया गया है), और वर्कअराउंड अपने सरणी को छोटे भागों में अचार करना है, या पायथन अचार की तुलना में कुछ अन्य फ़ाइल प्रारूप का उपयोग करना है।

np.savetxt इससे प्रभावित नहीं होता है, और np.save केवल ऑब्जेक्ट सरणियों के लिए प्रभावित होता है।

समापन।

जब मैं एक 11,314 x 8,463,980,778 विरल मैट्रिक्स को cipickle करने की कोशिश कर रहा हूँ, तो 352,451,719 स्क्रीपी। Sparse.csr_matrix प्रारूप में संग्रहीत तत्व। पायथन संस्करण: पायथन 2.7.10 | एनाकोंडा 2.3.0 (x86_64) | (डिफ़ॉल्ट, 28 मई 2015, 17:04:42)