Numpy: 오류 : OS X + Python 3.3의 test_big_arrays (test_io.TestSavezLoad)

이것을 재현 할 수 있습니다. Python 3.x 버그처럼 보입니다.

import os
import sys
import time


if sys.maxsize > 2**32:
    print('64-bit')
else:
    print('32-bit, exiting')
    sys.exit(0)

fname = 'write_large_bytestring.txt'
tmp = open(fname, 'wb')
try:
    L = (1 << 31) + 100000
    tmp.write(b'abc' * 2**32)
finally:
    tmp.close()
    os.remove(fname)
    print('Elapsed time: %s s' % time.clock())

위의 내용은 Python 2.7에서는 작동하지만 3.3에서는 작동하지 않습니다.

$ python tmp3.py 
64-bit
Elapsed time: 7.896957 s

$ python3.3 tmp3.py 
64-bit
Elapsed time: 50.149956 s
Traceback (most recent call last):
  File "tmp3.py", line 16, in <module>
    tmp.write(b'abc' * 2**32)
OSError: [Errno 22] Invalid argument

$ ulimit
unlimited

두 Python 모두 python.org의 dmgs에서 설치됩니다. bugs.python.org에서 이에 대한 문제를 찾을 수 없지만 IIRC io 모듈이 완전히 다시 작성되었습니다.

gh-2942에 도입 된 테스트.

아니면 이것이 또 다른 OSX I / O 버그일까요? 기억하세요, OSX libc는 버그가 있고 2 ** 32에 가까운 데이터 블록을 다룰 때 fwrite / fread에 문제가 있습니다.

어쨌든 우리는 분명히 쓰기를 분할하여 해결해야합니다.
더 작은 덩어리로, 그렇죠?

(궁극적으로 libc의 잘못이더라도 파이썬은 아마도
그것 자체-아마도 2.7은
전이.)
2013 년 10 월 3 일 10:03에 "Pauli Virtanen" [email protected]이 작성했습니다.

아니면 이것이 또 다른 OSX I / O 버그일까요? 기억하세요, OSX libc는 버그가 있고
2 ** 32에 가까운 데이터 블록을 다룰 때 fwrite / fread의 문제 ...

—
이 이메일에 직접 답장하거나 Gi tHub에서 확인 하세요.
.

Re : gh-574 및 gh-2806 및 gh-3473 문제의 OSX 버전이 관련이있을 수 있습니다. 이전과 같이 쓰레기를 작성하는 대신 실패 할 수 있습니까?

예, 청킹을 통해 문제를 해결할 수 있습니다. 아마도이 문제는 파이썬 개발자에게도 전달되어야해서 청킹을 스스로 구현할 수도 있습니다.

아, 그 문제는 잊어 버렸습니다. 내 10.6 컴퓨터에서 테스트를 시도했지만 동일한 스크립트가 중단됩니다. 하드웨어 때문일 수 있지만 고대 기계입니다.

1.8.0 차단기입니까? 잊혀지지 않고 항상 제거 할 수 있도록 거기에 넣을 것입니다. Python 3.2에서 작동하는지 아는 사람이 있습니까?

또한 IIRC, 우리는 청크 된 읽기만했습니다. 대용량 파일을 쓰는 테스트가 손상되었을 수 있습니다.

나는 이것에 대한 릴리스를 보류하지 않을 것입니다. 회귀가 아닙니다. 릴리스 전에 실패하지 않은 경우 1.8.x 브랜치에서 알려진 실패로 표시하십시오.

@rgommers OSX 및 3.3에서만 실패하면 작동합니까? 파이썬 2.7에서 작동한다고 말했는데 맞습니까?

2.7에서는 실패하지 않지만 테스트는 파일에 기록 된 내용이 올바른지 확인하지 않습니다. 정확하지 않을 수 있습니다. Pauli가 연결 한 다른 문제를 참조하십시오.

@rgommers 일반적으로 OSX입니다. 수정에 동기를 부여하고 문제를 열기 위해 1.9-devel에서 열어 두겠습니다.

이것은 OS X Mavericks에서 수정 된 것으로보고되었습니다. 적절한 수정은 OS를 업그레이드하는 것이므로 아마도 수정되지 않을 것입니다.

# 2931도 참조하십시오.

폐쇄, Mavericks에 의해 수정되어야합니다. 문제가 지속되면 다시여십시오.

이것은 Anaconda의 numpy 1.8.1 및 python 3.4 (또한 3.3)를 사용하는 Mavericks에서 여전히 발생합니다. skipif 데코레이터를 주석 처리하면 https://github.com/numpy/numpy/blob/v1.8.1/numpy/lib/tests/test_io.py#L154 가 실패합니다.

테스트를 통과하고 Anaconda의 python 2.7을 사용하여 데이터가 올바르게로드 된 것으로 보입니다.

이것은 반드시 numpy의 결함은 아니지만 다른 사람들이이 문제 또는 유사한 문제를 해결하는 것으로 보입니다. 예 : https://github.com/torch/torch7-distro/commit/40e65934e071e452f194a9d8c0fd740131babefa 또한 파이썬 3)에서 큰 파일을 읽을 수 없습니다.

Mac OS X 10.9.4 (Mavericks)에서 numpy 1.8.1과 함께 Python 3.4를 사용하여 테스트 케이스를 실행하면 알려진 OSError: [Errno 22] Invalid argument 오류가 발생합니다. @certik 문제를 다시여십시오!

또 다른 데이터 포인트-OSX 10.9.5 (Mavericks)를 사용하면 동일한 문제가 발생합니다. 방금 파이썬 추적기에서이 버그를 보았습니다 : https://bugs.python.org/issue24658

이것을 다시 열 수도 있습니다. 파이썬이 부분을 해결할 때 고쳐질 지 모르겠지만 우리는 알아낼 것입니다.

여기에서 최신 macOS, python (3.6) 및 numpy가 발생합니다.

참고로 최신 macOS (10.12.6) 및 Python 3.5.2 (Anaconda 4.2.0)에서이 버그가 계속 표시됩니다.
청크 크기의 상한을 알아 낸 사람이 있습니까?

이 오류가 발생하면 macOS Sierra, python 3.6, numpy

파이썬 문제에 대한 움직임이있는 것 같지만 아마도 우리는 계속해서 쓰기를 청크해야합니다.

조만간 업스트림에서 수정되지 않을 것 같습니다. 누구나 최신 상태를 알고 있습니까?

안녕하세요,

이 PR (https://github.com/python/cpython/pull/1705)로 OSX에서 문제를 해결했다고 생각하기 때문에 Python 3.6, 3.7 및 3.8a의 마지막 버전 에서이 문제를 시도해 볼 수 있습니까?

2.7에 대한 다른 PR이 있지만 아직 준비되지 않았습니다.

의견을 보내 주셔서 감사합니다.

@rgommers 이것을 테스트 할 수있는 기회가 있습니까? 현재 상태에 대한 다른 피드백은 환영합니다.

test_big_arrays 테스트는 통과했지만 https://github.com/numpy/numpy/issues/3858#issuecomment -25607105는 Anaconda에서 제공하는 최신 Python 3.6에서 여전히 실패합니다. 그것은 아마도 CPython 수정이 없을 것입니다. 지금은 Python을 직접 빌드 할 시간이 없습니다. 죄송합니다.

@rgommers 이것을 다시 방문 할 수 있습니까?

이것은 적어도 Anaconda의 Python 3.7에서 내가 말할 수있는 한 실제로 수정되었습니다. 다른 보고서도 없으므로 닫습니다. 모두에게 감사 드리며 특히이 문제를 해결해 주신 @matrixise 에 감사드립니다.