Numpy: Функция дампа ndarray (и прямой cPickle) не работает для больших массивов (Trac # 1803)

Я тоже столкнулся с этой проблемой.

@zhlsk не пробовал дальше и не исследовал, есть ли исправление в python, но я думаю, что это не проблема numpy, а проблема python, поскольку: cPickle.dump(a.tostring(), f) также не работает для меня точно так же, и это просто большой string тогда и не имеет ничего общего с numpy. Однако использование функций сохранения numpy не должно иметь таких проблем.

@seberg Спасибо за ответ. Вы правы. Это проблема Python: http://bugs.python.org/issue11564

В принципе, мы могли бы в любом случае обойти ошибку, передав большие
массивов в средство выбора в виде серии объектов, каждый из которых помещается в
ограничивает и реконструирует массив в нерабочее время. Похоже, что
ограничение на размер однобайтового массива.
14 декабря 2012 г. в 22:11 "zhlsk" [email protected] написал:

@seberg https://github.com/seberg Спасибо за ответ. Вы правы.
Это проблема Python: http://bugs.python.org/issue11564

-
Ответьте на это письмо напрямую или просмотрите его на Gi tHubhttps: //github.com/numpy/numpy/issues/2396#issuecomment -11394338.

Есть ли в этом прогресс? Похоже, что эта проблема касается и numpy.save и numpy.savetxt . Есть обходные пути?

Это ошибка в Python, исправление заключается в обновлении до более новой версии (она исправлена ​​в Python 3.3), а обходной путь заключается в том, чтобы самостоятельно разбить массив на более мелкие части или использовать какой-либо другой формат файла, кроме солений Python.

На np.savetxt это не влияет, а на np.save влияет только на массивы объектов.

Закрытие.

Я получаю это при попытке cPickle разреженной матрицы размером 11 314 x 8 463 980 778 с сохраненными элементами 352 451 719 в формате scipy.sparse.csr_matrix. Версия Python: Python 2.7.10 | Anaconda 2.3.0 (x86_64) | (по умолчанию, 28 мая 2015 г., 17:04:42)