Numpy: ndarray 덤프 함수 (및 직선 cPickle)가 대형 어레이에 대해 실패 함 (Trac # 1803)

나는 또한이 문제에 직면하고 있습니다.

: 파이썬에서 수정이있을 경우 @zhlsk 추가하거나 조사하지 않았다,하지만 난이 이후 NumPy와하지만 파이썬의 문제가 아니라고 생각 cPickle.dump(a.tostring(), f) 도 그냥 똑같이 나와 그게 전부에 대한 큰 실패 문자열은 numpy와 관련이 없습니다. numpy 저장 기능을 사용하면 이러한 종류의 문제가 발생하지 않아야합니다.

@seberg 답장을 보내 주셔서 감사합니다. 네가 옳아. 파이썬 문제입니다 : http://bugs.python.org/issue11564

원칙적으로 우리는 어쨌든 큰 값을 전달하여 버그를 해결할 수 있습니다.
일련의 객체로 피클 러에 배열하며, 각 객체는
제한하고 언 피클 시간에 배열을 재구성합니다. 마치
제한은 단일 바이트 배열의 크기입니다.
2012 년 12 월 14 일 22:11에 "zhlsk" [email protected]이 작성했습니다.

@seberg https://github.com/seberg 답장 해 주셔서 감사합니다. 네가 옳아.
파이썬 문제입니다 : http://bugs.python.org/issue11564

—
이 이메일에 직접 답장하거나 Gi tHubhttps : //github.com/numpy/numpy/issues/2396#issuecomment -11394338에서 확인하세요.

이것에 대한 진전이 있습니까? numpy.save 및 numpy.savetxt 모두이 문제의 영향을받는 것 같습니다. 해결 방법이 있습니까?

Python의 버그이고 수정은 최신 버전으로 업그레이드하는 것이며 (Python 3.3에서 수정 됨) 해결 방법은 어레이를 더 작은 부분으로 직접 피클하거나 Python 피클이 아닌 다른 파일 형식을 사용하는 것입니다.

np.savetxt는 이것의 영향을받지 않으며 np.save는 객체 배열에 대해서만 영향을받습니다.

폐쇄.

scipy.sparse.csr_matrix 형식의 352,451,719 개의 저장된 요소가있는 11,314 x 8,463,980,778 희소 행렬을 cPickle하려고 할 때이 문제가 발생합니다. Python 버전 : Python 2.7.10 | Anaconda 2.3.0 (x86_64) | (기본값, 2015 년 5 월 28 일, 17:04:42)