Numpy: numpy 1.19.0의 Azure CI (Windows 인스턴스) 오류

지속적으로 실패합니까 아니면 가끔씩 만 실패합니까? 로컬 컴퓨터에서 프로젝트를 빌드 할 수있는 Windows 개발자가 있습니까?

안녕하세요,
감사!

일관되게 여러 번 실패했습니다. 그 시점에서 저는 Azure 개발자에게 물어볼 생각을했습니다 (초기 추측은 VM 설정에서 무언가 변경되었을 가능성이 있음).

이 링크에는 문제를 발견 한 Microsoft 개발자와 논의한 내용이 너무 많을 수 있습니다. https://developercommunity.visualstudio.com/content/problem/1102472/azure-pipeline-error-with-windows-vm.html? childToView = 1119179 # comment -1119179

불행히도 로컬 Windows 시스템에서 프로젝트를 빌드 할 수있는 사람이 없습니다.

그런 다음 재현을위한 명확한 단계가 필요합니다.

azure-pipelines.yml이 작동합니까?

여기에 우리가 사용하는 것 (https://github.com/equinor/pylops/blob/master/azure-pipelines.yml)이 현재 주석 처리되어 있습니다 .Python 3.7을 사용하여 꽤 표준적인 설정임을 알 수 있습니다. , requirements-dev.txt 파일 (https://github.com/equinor/pylops/blob/master/requirements-dev.txt)에 종속성을 설치 한 다음 테스트를 실행합니다.

이미 언급했듯이 이것을 주석 처리하고 1.18.5 모든 것이 실행되도록 강제하면 새로운 1.19가 중단되는 것처럼 보입니다.

Azure에서 실행되는 이미지의 Windows 버전 주 버전과 부 버전은 무엇인가요? 즉, systeminfo 는 OS Version 무엇을 인쇄합니까?

Azure Pipelines에서 사용되는 Azure VM의 세부 정보는 https://docs.microsoft.com/en-us/azure/devops/pipelines/agents/hosted?view=azure-devops&tabs=yaml 및 다음 링크에서 찾을 수 있습니다. 설치된 소프트웨어 https://github.com/actions/virtual-environments/blob/master/images/win/Windows2019-Readme.md

Azure 파이프 라인에서 systeminfo 를 실행하는 방법을 잘 모르겠습니다. 제안 사항이 있나요?

명령 줄에서 실행되고 출력을 터미널에 덤프하므로 실행에 명령으로 추가 할 수 있습니다.

CI에서 실행되는 PR에서이를 수행하여 내용을 확인할 수 있습니다. 19041 빌드의 Windows 및 pip NumPy에 문제가 있었기 때문에 묻습니다.

대답은 두 번째 링크에 있습니다.

OS 버전 : 10.0.17763 Build 1282

그래서 내 생각은 결실이 없습니다.

Windows 용 최신 핍 휠에 몇 가지 문제가 있다는 것을 알고 있다고 말씀 하셨는데, 아마도 그와 관련이 있습니까?

실제로는 (아마도) 19041 년에 도입 된 Windows 버그입니다.하지만 훨씬 이전 버전을 사용하고 있으므로 문제가되지 않습니다.

Conda NumPy에는 영향을 미치지 않으며 Windows 및 OpenBlas에 문제가있는 것처럼 보이므로 pip NumPy에만 영향을줍니다.

:) 1.9.1이 출시되었다는 이메일을 받았습니다. 이제 최신 버전을 설치하고 작동하는지 확인하는 Azure 파이프 라인을 다시 트리거하려고합니다.

슬프게도 여전히 1.19.1 https://dev.azure.com/matteoravasi/PyLops/_build/results?buildId=45&view=logs&j=50448a2f-9550-51a0-b6c4-5ec64224dd81&t=a6a6804f-7af1-5f53-b76b-b46f500d6778 :(

OpenBlas의 버그.

다음은 재현 예입니다.

import numpy as np
nr = 12000
v = np.random.randn(nr) + 1j * np.random.randn(nr)
np.vdot(v, v)
# also access violations
v @ v
# also access violations

기호가없는 디버깅 정보는 다음과 같습니다.

Exception thrown at 0x0000000068DBB8F0 (libopenblas.NOIJJG62EMASZI6NYURL6JBKM4EVBGM7.gfortran-win_amd64.dll)
in python.exe: 0xC0000005: Access violation reading location 0x0000000000000000.

버그를 트리거하려면 어레이가 꽤 커야합니다 (10k 패스, 12k는 그렇지 않음).

빠른 확인:

$env:OPENBLAS_VERBOSE=2
$env:OPENBLAS_CORETYPE=Prescott

통과하지만 기본 커널 ( Zen )과 Haswell 및 Sandybridge 모두 액세스 위반이 있습니다.

최신 OpenBLAS 0.3.10을 사용하는 numpy HEAD도 실패하는지 확인할 가치가 있습니다. 아니면 이미 했습니까?

@mattip no 아직 시도하지 않았습니다. pip install git+https://github.com/numpy/numpy 를 사용하여 마스터에서 직접 bumpy를 설치하는 것을 의미합니까? 나는 그것을 시도 할 수 있습니다 :)

그리고 귀하의 질문에 @bashtage (실패한 테스트에서 numba를 사용합니까? 이메일이지만이 스레드에서 볼 수없는 것 같습니다 ... 충돌하는 테스트는 numpy 및 pyfftw 작업을 모두 사용합니다. 이 갑작스런 메시지와 함께 충돌하므로 어떤 라인에서 실제로 충돌하는지 알기가 어렵습니다. 하지만 pyfftw 는 numba를 전혀 사용하지 않는다고 생각합니다. 적어도 종속성 중 하나는 아닙니다.

난 그냥 GitHub의 저장소에서 직접 NumPy와의 HEAD 설치와 시도하지하고 창을 완료까지 실행을 구축 - 갑작스런 충돌 : https://dev.azure.com/matteoravasi/PyLops/_build/results?buildId=54&view=logs&j= 011e1ec8-6569-5e69-4f06-baf193d1351e & t = bf6cf4cf-6432-59cf-d384-6b3bcf32ede2

흥미롭게도 NumPy를 종속성으로 사용하는 일부 라이브러리는 제대로 설치되지 않는 것 같고 (이유는 확실하지 않음) 일부 테스트는 모든 OS에 대해 실패하지만 적어도 이전과 같이 완전한 충돌은 아닙니다.

야간 사용 오류 없음 :

pip install -i https://pypi.anaconda.org/scipy-wheels-nightly/simple numpy

방금 GitHub 저장소에서 직접 NumPy의 HEAD 설치를 시도했습니다.

명시 적으로 빌드하지 않는 한 여기에는 OpenBLAS가 없습니다. 기본적으로 pip install git+https://github.com/numpy/numpy.git 와 함께 느리고 일반적인 BLAS가 제공됩니다.

1.19.2 용 OpenBLAS를 업그레이드하려는 것 같습니다.

Azure의 최신 --pre 빌드 (numpy-1.20.0.dev0 + a0028bc) 에서 동일한 문제가 발생할 수 있다고 생각합니다.

Current thread 0x000003d0 (most recent call first):
  File "<__array_function__ internals>", line 5 in dot
  File "D:\a\1\s\mne\minimum_norm\inverse.py", line 732 in _assemble_kernel

문제의 줄은 다음과 같습니다.

K = np.dot(eigen_leads, trans)

도움이된다면 배열을 디스크에 저장하고 Azure 아티팩트를 통해 가져올 수 있습니다.

그런 것 같습니다. 내가 올바르게 작동했던 것과 동일한 사전을 사용하고 있습니다.

추가하고 싶을 수도 있습니다.

$env:OPENBLAS_VERBOSE=2

또는

set OPENBLAS_VERBOSE=2

어떤 커널이 사용되고 있는지 알기 위해 템플릿에 추가합니다.

도움이된다면 배열을 디스크에 저장하고 Azure 아티팩트를 통해 가져올 수 있습니다.

dtypes와 차원을 아는 것으로 충분할 것입니다.

좋아요, 곱하는 행렬을 작성한 다음 아티팩트를 업로드하는 numpy + scipy + matplotlib + pytest (및 deps)만으로 실패한 테스트의 단일 실행에서 재현되었습니다. 여기 아티팩트 탭이 있습니다.

https://dev.azure.com/mne-tools/mne-python/_build/results?buildId=8330&view=artifacts&type=publishedArtifacts

마지막 .npz 가 실패한 것이어야합니다 (27MB). Linux에서는 로컬로 괜찮습니다.

>>> import numpy as np
>>> data = np.load('1595525222.9485037.npz')
>>> np.dot(data['a'], data['b']).shape
(23784, 305)
>>> data['a'].shape, data['a'].dtype, data['b'].shape, data['b'].dtype
((23784, 305), dtype('>f4'), (305, 305), dtype('float64'))
>>> data['a'].flags, data['b'].flags
(  C_CONTIGUOUS : False
  F_CONTIGUOUS : True
  OWNDATA : False
  WRITEABLE : True
  ALIGNED : True
  WRITEBACKIFCOPY : False
  UPDATEIFCOPY : False
,   C_CONTIGUOUS : True
  F_CONTIGUOUS : False
  OWNDATA : True
  WRITEABLE : True
  ALIGNED : True
  WRITEBACKIFCOPY : False
  UPDATEIFCOPY : False
)

OPENBLAS_VERBOSE 작업을 수행하고 있지만 pytest -s 를 사용할 때마다 실제로 전달되는 출력을 캡처하지 않는 것처럼 보입니다. 이것은 단지 우연일지도 모르지만, 우리는 보게 될 것입니다 ...

웃기지 만 지금 위의 재생기로도 봅니다.

OPENBLAS_CORETYPE 을 Prescott 또는 Nehalem으로 설정하면 표시되지 않습니다. Zen, Sandybridge 및 Haswell과 함께 봅니다.

Windows에서 npz의 데이터를 사용하여 로컬로 재현 할 수 없습니다.

Windows에서 npz의 데이터를 사용하여 로컬로 재현 할 수 없습니다.

Azure의 FWIW 이제 여기에서 실행 된 코드의 마지막에서 두 번째 줄에서 실패하므로 저장-로드-라운드 트립 데이터로 재현 할 수 있습니다.

    import mne, os.path as op, time
    fname = op.join(op.dirname(mne.__file__), '..', 'bad', f'{time.time()}.npz')
    np.savez_compressed(fname, a=eigen_leads, b=trans)
    print(eigen_leads.flags)
    print(trans.flags)
    data = np.load(fname)
    np.dot(data['a'], data['b'])  # <-- fails here
    K = np.dot(eigen_leads, trans)   # <-- used to fail here before I added the above lines

따라서 np.savez / np.load 단계로 인해 Azure 끝에서 손실되는 것은 없습니다.

그래도 도움이되는지 확인하기 위해 OPENBLAS_CORETYPE: 'nehalem' 로 실행하려고합니다.

여기에 실제로 두 가지 다른 버그가있을 수 있습니까?

또한 OPENBLAS_VERBOSE: 2 이 효과가없는 것 같습니다. 이유를 알 수 없습니다.

상세 설정 후 명령 추가

python -c "numpy 가져 오기"

Pytest는 아마도 이것을 먹고있을 것입니다.

Thu, Jul 23, 2020, 19:04 Eric Larson [email protected] 작성 :

또한 OPENBLAS_VERBOSE : 2 설정은 효과가없는 것 같습니다.
확실히 왜

—
당신이 언급 되었기 때문에 이것을 받고 있습니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/numpy/numpy/issues/16913#issuecomment-663151960 또는
구독 취소
https://github.com/notifications/unsubscribe-auth/ABKTSRNS5QRT6CC3ZQ6DQYDR5B3TTANCNFSM4PCRVE6A
.

이 명령은 로컬로도 자세한 출력을 제공하지 않습니다.

OPENBLAS_VERBOSE=2 python -c "import numpy as np, glob; data = np.load(glob.glob('bad/*.npz')[0]); a, b = data['a'], data['b']; print(np.dot(a, b).shape)"

하지만 내 시스템 OpenBLAS가 너무 오래되었을 수 있습니다. 실패한 후 자체적으로 실행되도록 Azure에 커밋을 푸시합니다.

Azure의 OPENBLAS_VERBOSE는 "Core : Haswell"이라고 말합니다. 그래도 그게 맞는지 아닌지는 모르겠습니다.

https://github.com/xianyi/OpenBLAS/issues/2732 에서 오류를보고했으며 마스터에서 수정 될 수 있다고 제안했습니다. https://github.com/xianyi/OpenBLAS/issues/2728을 참조

@mattip 이것이 MacPython / openblas-libs # 35에 의해 닫혔다는 것을 알고 있습니까? 다음 주간이 끝날 때까지 기다릴 필요가 없나요?

@charris 이 문제는 아직 열려 있고 백 포트가 필요할 것 같습니다.

재현자를 가진 누군가 가이 커밋 으로 numpy를 빌드하여 최신 OpenBLAS 바이너리를 얻을 수 있습니까? 그래서 (오타가있는 mabe)

git add remote mattip https://github.com/mattip/numpy.git
git fetch mattip  issue-16913
git checkout issue-16913
python tools/openblas_support.py
# copy the output openblas.a to a local directory and make sure numpy uses it
mkdir openblas
copy /path/to/openblas.a openblas
set OPENBLAS=openblas
python -c "from tools import openblas_support; openblas_support.make_init('numpy')"
pip install --no-build-isolation --no-use-pep517 .

아직 설치하지 않았다면 choco install -y mingw 사용하여 gfortran을 설치해야합니다.

... 이것은 Windows 용입니다.

아직 설치하지 않았다면 choco install -y mingw로 gfortran을 설치해야합니다.

32 비트에만 필요합니까?

https://github.com/numpy/numpy/blob/master/azure-steps-windows.yml#L29 -L31

난 당신이 위에서 제안 무엇을하려고합니다 choco install -y mingw I가 무엇인지 파악하면 /path/to/openblas.a 입니다 - 아마도 실행 tools/openblas_support.py (?).

예, python tools/openblas_support.py 는 openblas.a 을 찾을 위치를 인쇄합니다.

gfortran이 필요합니다. Azure 머신에는 mingw 64 비트가 설치되어 있습니다. 32 비트 인 경우 호출이 약간 다릅니다. -m32 도 설정해야합니다 (32 비트에만 해당).

나는 방금 NumPy의 master 분기를 사용하여 https://github.com/numpy/numpy/blob/master/azure-steps-windows.yml의 대부분을 그대로 복사하여 오류를 처음으로 재현했으며 성공적으로 그것은 segfault .

그런 다음 mattip/issue-16913 로 전환했는데 다음 URL 다운로드 오류와 함께 실패 합니다.

https://anaconda.org/multibuild-wheels-staging/openblas-libs/v0.3.9-452-g349b722d/download/openblas-v0.3.9-452-g349b722d-win_amd64-gcc_7_1_0.zip

... 64 비트 Windows 용 32 비트 OpenBLAS가없는 것 같습니다.

https://anaconda.org/multibuild-wheels-staging/openblas-libs/files

64 비트 OpenBLAS를 사용하도록 태그를 추가 할 수 있을까요?

2 개가 있고 1 개는 아직 건설 중입니다. 한 시간 내에 작동해야합니다.

그 동안 나는 다음을 추가했습니다.

        NPY_USE_BLAS_ILP64: '1'
        OPENBLAS_SUFFIX: '64_'

그리고 그것은 잘 만들어졌습니다. 더 이상 segfaults가 아닙니다 ! 확인하기 위해 몇 번 다시 실행하겠습니다. 32 비트 OpenBLAS Win64 라이브러리가 실행되면 언제든지 저에게 핑을 보내주세요.이 줄을 쉽게 제거하고 다시 테스트 할 수 있습니다.

전체 테스트 스위트를 실행하는 모든 변경 사항 :-)

python -c "import numpy; numpy.test('full')"

32 비트가 올라간 것처럼 보이며 작동합니다 .

이제 전체 테스트 스위트를 실행하겠습니다.

f2py 관련 이상한 테스트 수집 오류가 발생합니다.

https://dev.azure.com/mne-tools/mne-python/_build/results?buildId=8372&view=logs&j=a846d25a-e32c-5640-1b53-e815fab94407&t=14a4ea33-5055-5caa-db84-413553e060fb

이 다른 문제에 더 이상 시간을 낭비해서는 안됩니다. 다음 주까지 기다렸다가 BLAS가있는 주간을 테스트 할 수 있습니다.

마스터 브랜치에 커밋을 푸시하여 언제든지 야간 빌드를 실행할 수 있습니다.

좋습니다. Windows 10 2004의 문제가 해결되었는지 확인하기 위해 새 항목이 표시 될 때까지 기다립니다.

@bashtage 이것에 대한 업데이트가 있습니까?

OpenBLAS는 Windows의 최신 릴리스에서 여전히 손상되었습니다. 적어도 나에게는 도구 체인과 혼합되어 있기 때문에 좋은 디버깅 정보를 얻는 것도 매우 비표준입니다.