Numpy: numpy 1.19를 사용할 때 Buggy Accelerate Backend

이것은 의도적으로 설계된 것입니다. 오류 메시지를 읽었습니까? 불명확하다?

그러면 Accelerate 백엔드를 업데이트하여 이 오류를 어떻게 고칠 수 있습니까? 검색했는데 내 MacOS용으로 업데이트할 수 없다고 생각합니다.

@billlyzhaoyh 대신 MacOS에서 빌드하는 동안 OpenBLAS를 사용하도록 요청합니다. 루트 repo 디렉토리에서 site.cfg를 사용하여 동일한 것을 사용하여 빌드하십시오.

폐쇄. Accelerate를 사용하지 않는 것이 좋습니다.

폐쇄. Accelerate를 사용하지 않는 것이 좋습니다.

물론, 우리는 어떻게 사용하지? 내 macOS에서 간단한 import numpy 를 실행할 때도 동일한 오류가 발생했습니다.

자신만의 NumPy를 구축하고 있다면 OpenBlas를 받으십시오. python3 tools/openblas_support.py 를 사용하여 공식 휠을 만드는 데 사용되는 것을 다운로드할 수 있습니다. 공급자의 NumPy를 사용하는 경우 Accelerate를 사용하는 이유를 물어보십시오.

자신만의 NumPy를 구축하고 있다면 OpenBlas를 받으십시오. python3 tools/openblas_support.py 를 사용하여 공식 휠을 만드는 데 사용되는 것을 다운로드할 수 있습니다. 공급자의 NumPy를 사용하는 경우 Accelerate를 사용하는 이유를 물어보십시오.

나는 확실히 나 혼자 짓는 것이 아니다. 저는 macOS를 사용하고 있고 pip3 install -U numpy 하고 있으므로 "제공자"가 무엇을 의미하는지 잘 모르겠습니다.

Pip은 등 뒤에서 소스를 빌드할 수 있습니다. 설치하는 데 몇 초 이상 걸리면 컴파일 중일 수 있습니다. pip가 바이너리 휠만 사용하고 컴파일하지 않도록 하려면 다음을 사용하십시오.

pip3 install --upgrade --only-binary :all: <package>

numpy를 제거하고 --only-binary :all: 인수로 설치할 수 있습니까?

이것은 나를 위해 문제를 해결했습니다. ( pip 를 pip3 바꿨습니다 ... 그리고 오늘 현재 numpy 버전은 1.19.1이 될 것입니다)
https://gist.github.com/yatsu/47bdde35e8abbe7d14bbe730342aa9e0#file -numpy-openblas-macos-pip-sh

편집: 요점이 삭제되는 경우를 대비하여 완전한 솔루션 붙여넣기 :)

# Setup HomeBrew if not already installed: https://brew.sh/
brew install openblas
mkdir /tmp/numpy_local
cd /tmp/numpy_local
pip3 download --no-binary :all: --no-deps numpy
unzip numpy-*.zip  # (assuming there's only one version in this folder)
cd numpy-1.19.1 # the version may be a later version than this

cat > site.cfg <<EOF
[openblas]
libraries = openblas
library_dirs = $(brew --prefix openblas)/lib
include_dirs = $(brew --prefix openblas)/include
runtime_library_dirs = $(brew --prefix openblas)/lib
EOF

pip3 install .
# cleanup
cd /tmp
rm -rf numpy_local

약간 더 간단한 솔루션:

$ rm -v ~/Library/Caches/pip/wheels/<em i="7">/</em>/<em i="8">/</em>/<em i="9">numpy</em> # clear the pip wheel cache of any built numpy wheels

https://twitter.com/pradyunsg/status/1317081239526936576?s=20에 따라 이제 내장 pip 명령으로 이 작업을 수행할 수 있습니다.

$ pip cache remove numpy
$ brew install openblas # make sure OpenBLAS is installed
$ # activate your pypy3 virtualenv
$ OPENBLAS="$(brew --prefix openblas)" pip install numpy # let numpy's setup.py know where OpenBLAS is installed

이것은 휠을 다시 만들 필요가 없고 pypy3의 모든 향후 pip install numpy 가 작동한다는 추가 이점이 있습니다.

해결 방법을 제쳐두고 기본 빌드 동작이 import 도 할 수 없는 깨진 휠을 생성하는 이유는 무엇입니까? 그런 깨진 아티팩트를 만드는 것이 "설계상"인 것처럼 보이는 것은 어느 쪽이든 버그입니다. 빌드가 끝날 때 자체 테스트가 이 상태에 있는 경우 중단되는 자체 테스트는 환영할 만한 추가 사항입니다. (특히 "try brew install openblas "와 같은 유용한 오류 메시지를 제공할 수 있는 경우)

빌드 후 가져오기를 시도하는 것은 좋은 생각인 것 같습니다.

openblas를 찾을 수 없는 경우 단순히 macOS에서 빌드를 거부하지 않는 이유는 무엇입니까?

OpenBLAS 외에도 다양한 유효한 blas 백엔드가 있습니다. 유일한 유효하지 않은 것은 가속입니다. 불행히도 macOS는 Accelerate를 제공하고 있다는 것을 알려주는 방법을 제공하지 않으며, 알려진 잘못된 계산을 트리거하여 런타임 시에만 이를 감지할 수 있습니다. Accelerate를 더 일찍 감지하는 방법을 알아낼 수 있다면 좋을 것입니다. 지금까지 우리가 가진 최선은 심볼릭 링크를 감지하는 것이지만 이는 매우 취약합니다.

python-poetry 사용자가 이 스레드를 보게 되면 마지막 줄을 OPENBLAS="$(brew --prefix openblas)" poetry add numpy 로 바꾸면 @glyph 의 솔루션도 작동한다고

나는 이전 버전의 numpy를 시도했고 그것은 나를 위해 일했습니다.
pip3 설치 numpy==1.18.0

이 도움을 바랍니다

1.18.0 제거 및 설치 - 저에게 효과적이었습니다! 위의 내용을 참고하세요^^

나는 openblas를 사용하라는 제안이 작동하지 않는다는 것을 보고하기 위해 왔습니다. 충돌:

OPENBLAS="$(brew --prefix openblas)" pip install numpy
python -c 'import numpy'

# =>  RuntimeError: Polyfit sanity test emitted a warning, most likely due to using a buggy Accelerate backend. If you compiled yourself, see site.cfg.example for information. Otherwise report this to the vendor that provided NumPy.

문제 없이 작동하는 동안:

pip install numpy==1.18.0
python -c 'import numpy'

@fny 출력을 확인하여 pip가 캐시된 휠을 사용하고 있는지 확인합니다. 이 경우 캐시를 지워야 할 수도 있습니다.

@fny 업데이트된 지침은 https://github.com/numpy/numpy/issues/15947#issuecomment -686159427을 참조

Accelerate가 사용되어서는 안 되는 나쁜 BLAS 구현인 이유에 대해 읽을 수 있는 링크를 제공할 수 있는 사람이 있습니까? "사과 가속이 나쁜 이유"라고 인터넷 검색을 시도했지만 아무 것도 찾지 못했습니다.

종합적인 고장이 어디에 있는지 모르지만 Accelerate에는 스레딩 문제, 잘못된 결과가 있고 LAPACK의 오래된 버전이 노출됩니다.

참고로 이 솔루션은 실패합니다. 작동하지 않는 이유는 무엇입니까? 그리고 이 중 하나라도 필요한 이유는 무엇입니까?

@orome "왜"는 Apple에 문의하십시오. 그들은 시스템을 구입한 사람들이며 NumPy의 대부분 자원 봉사 팀이 해결해야 하는 버그가 있는 소프트웨어를 배송하고 있습니다. 분노는 우리가 아니라 그들에게 향해야 합니다.

@orome에 관해서 는 "왜" Apple에게 물어보십시오... 모든 분노는 우리가 아니라 그들에게

그것은 확실히 그것이 지시되는 곳입니다 (다시)!

이것은 나를 위해 문제를 해결했습니다. ( pip 를 pip3 바꿨습니다 ... 그리고 오늘 현재 numpy 버전은 1.19.1이 될 것입니다)
https://gist.github.com/yatsu/47bdde35e8abbe7d14bbe730342aa9e0#file -numpy-openblas-macos-pip-sh

편집: 요점이 삭제되는 경우를 대비하여 완전한 솔루션 붙여넣기 :)

# Setup HomeBrew if not already installed: https://brew.sh/
brew install openblas
mkdir /tmp/numpy_local
cd /tmp/numpy_local
pip3 download --no-binary :all: --no-deps numpy
unzip numpy-*.zip  # (assuming there's only one version in this folder)
cd numpy-1.19.1 # the version may be a later version than this

cat > site.cfg <<EOF
[openblas]
libraries = openblas
library_dirs = $(brew --prefix openblas)/lib
include_dirs = $(brew --prefix openblas)/include
runtime_library_dirs = $(brew --prefix openblas)/lib
EOF

pip3 install .
# cleanup
cd /tmp
rm -rf numpy_local

이것은 어떻게 든 나를 위해 작동하지 않았습니다. I는 소스 OpenBLAS를 컴파일에 설치 /opt/OpenBLAS 및 발생할 때마다 교체 $(brew --prefix openblas) 와 /opt/OpenBLAS . 내 Python 3 설치는 Xcode 명령줄 도구에서 이루어졌으므로 pip3 install --user . 대신 pip3 install . . 그 외에는 대본을 정확히 따랐습니다. 그러나 python3 -c "import numpy" 실행한 후 오류 메시지는 이전과 정확히 같습니다.

RuntimeError: Polyfit 온전성 테스트에서 경고가 발생했습니다. 버그가 있는 Accelerate 백엔드를 사용했기 때문일 가능성이 큽니다. 직접 컴파일한 경우 자세한 내용은 site.cfg.example을 참조하십시오. 그렇지 않으면 NumPy를 제공한 공급업체에 이를 보고하십시오.
RankWarning: Polyfit의 상태가 좋지 않을 수 있습니다.

왜 이런 일이 발생했는지 어떤 아이디어가 있습니까?

pip install pandas
pip3 install pandas
pip3 install pandas --no-build-isolation --no-cache-dir
sudo pip3 install pandas --no-cache-dir

문제 설명

macOS Big Sur를 새로 설치하고 Homebrew를 통해 Python3.9를 새로 설치했습니다( brew install python3 ). 그 후 brew install pip 명령으로 pip3을 설치했고 Pandas를 설치하고 싶었지만 항상 다음 오류가 발생합니다. 위에 나열된 모든 명령을 사용하여 macOS Big Sur 및 Python3에 Pandas를 설치하려고 시도했습니다...

누구든지 도울 수 있습니까? 다음은 실제로 설치된 유일한 패키지입니다.

패키지 버전

핍 20.2.4
설정 도구 50.3.2
휠 0.35.1

예상 출력

pip install pandas 출력

동일한 오류와 동일한 문제

이것은 MacOS 11.0.1 Big Sur, Python 3.8.2 에서 저에게 효과적이었습니다.

pip3 install --force-reinstall numpy\<1.19
pip3 install --upgrade wheel

brew install libjpeg # optional
pip3 install pillow # optional
pip3 install matplotlib

....

Successfully installed matplotlib-3.3.3 

이 문제는 종료되었습니다. HomeBrew에서 설치한 Python과 함께 MacOS 11을 사용하는 경우 2020년 11월 현재 brew install NumPy 아닌 pip install numpy brew install NumPy 를 사용해야 합니다. gh-17784를 주의 깊게 읽어도 무슨 일이 일어나고 있는지 파악하는 데 도움이 되지 않으면 여기에 댓글을 달지 말고 새 문제를 여십시오.

다음 단계는 문제를 해결하는 데 도움이 되었습니다.
https://gist.github.com/mohammadnassiri/31ca8f4f2298d8694a8327814631455c