Xgboost: Mac OSX에서 더 나은 XGBoost 설치?

Apple의 clang은 기본적으로 OpenMP를 지원하지 않으므로 Homebrew GCC가 필요합니다. 따라서 XGBoost는 Apple의 clang과 호환되지 않습니다.

Mac OSX용 바이너리 휠을 배포하여 프로세스를 단순화할 수 있다고 생각합니다. 바이너리 휠에는 미리 빌드된 libxgboost.dylib가 포함되어 있으므로 사용자는 컴파일러가 필요하지 않습니다. (이것은 Windows 사용자가 XGBoost를 사용하기 위해 Visual Studio를 설치할 필요가 없는 방법입니다.)

그러나 유지 관리자(저를 포함하여)는 현재 Mac OSX의 바이너리 패키징, 즉 여러 버전의 OSX에서 광범위하게 호환되는 바이너리를 만드는 방법에 익숙하지 않습니다. 여기에 제안 사항이 있습니까?

지금은 conda-forge를 사용하여 Mac OSX에서 XGBoost 설치를 자동화하는 것을 고려해야 합니다.

@hcho3 빠른 답변 감사합니다! Conda는 확실히 옵션이지만 pip를 사용하는 것이 훨씬 간단합니다. macos에서 바이너리 패키징이 어떻게 생겼는지 살펴보겠습니다. 또한 바이너리 패키징에 익숙하지 않기 때문에 해당 분야에 경험이 있는 다른 사람의 의견을 주시면 감사하겠습니다.

표준 컴파일 프로세스에 의해 생성된 dylib가 homebrew gcc의 라이브러리에 크게 의존하기 때문에 이 문제에 약간의 어려움을 겪었습니다. 누군가가 컴파일 후 해당 종속성을 변경하는 방법(또는 gcc 버전에서 일반으로 만드는 방법)이 있다면 훌륭할 것입니다. 글쎄요, 그것은 삶을 어렵게 만듭니다.

@Craigacp @hcho3 cmakelists의 해결 방법을 찾을 때까지 이것이 우리가 고려할 수 있는 것입니까? https://github.com/netket/netket/issues/225#issuecomment -502714445. 저는 xgboost의 내부에 익숙하지 않습니다. OpenMP가 라이브러리 성능에 얼마나 중요한지 모릅니다.

이것도 유망한 것 같았지만 작동하지 못했습니다: https://stackoverflow.com/questions/46414660/macos-cmake-and-openmp.

@adithyabsk @Craigacp OpenMP는 XGBoost의 성능에 매우 중요합니다. 사용자 시스템에서 일반적으로 사용 가능한 멀티 코어 CPU의 모든 사용 가능한 코어를 사용하기를 원하기 때문입니다. OpenMP가 없으면 CPU 코어를 하나만 사용할 수 있습니다.

IMHO, pip는 libomp와 같은 외부 종속성을 처리하도록 설계되지 않았습니다. 반면에 conda는 Python이 아닌 종속성을 쉽게 처리할 수 있습니다. 이 게시물 참조: https://jakevdp.github.io/blog/2016/08/25/conda-myths-and-misconceptions/

Microsoft/LightGBM 이 문제를 해결하는 방법: 사용자에게 brew install libomp 를 실행하도록 요청합니다. 먼저 Homebrew를 설치해야 하기 때문에 이것이 GCC나 Conda를 설치하는 것보다 쉬운지 잘 모르겠습니다.

@hcho3 brew install libomp 솔루션은 사전 설치 설정 스크립트에서 제공될 수 있으므로 더 나을 수 있지만 현재 적절한 gcc 및 g++ 버전을 지정하기 위해 CI 파이프라인에서 xgboost를 분리해야 합니다. 확실히, conda가 진행되는 한 동의하고 그것이 유일한 해결책이 될 수도 있지만 다른 옵션이 가능한지 알아보기 위해 다른 옵션을 탐색하고 싶었습니다.

어리석은 질문에 죄송하지만 런타임에 OpenMP가 필요합니까? 예를 들어, OpenMP가 설치된 dmlc-core 및 xgboost를 컴파일한 다음 해당 파일을 휠로 번들링하여 audit_wheel 과 같은 도구를 사용하여 설치 시 컴파일이 필요하지 않도록 할 수 있습니까?

https://stackoverflow.com/a/42106034

@adithyabsk 방금 brew install libomp 를 사용해 보았고 이제 기본 컴파일러인 Apple Clang으로 XGBoost를 컴파일할 수 있습니다.

brew install libomp
mkdir build
cd build
cmake ..
make -j10

게다가 결과 바이너리 libxgboost.dylib 는 /usr/local/opt/libomp/lib/libomp.dylib 및 OSX 시스템 라이브러리에만 의존합니다. (GCC의 특정 버전에 더 이상 종속되지 않습니다! 만세!) 따라서 brew install libomp 가 Conda 없이 Mac OSX에 XGBoost를 설치하는 가장 고통스러운 방법이라고 생각합니다.

그러나 미리 컴파일된 바이너리를 배포하는 것은 여전히 ​​까다롭습니다. 휠 내부에 libomp.dylib 를 포함하더라도 공유 라이브러리 종속성이 전체 경로 로 지정되기 때문에 Mac OSX는 파일을 사용하지 않습니다.

hcho3<strong i="17">@localhost</strong>: xgboost$ otool -l libxgboost.dylib    # show list of library dependencies

libxgboost.dylib:
Mach header
      magic cputype cpusubtype  caps    filetype ncmds sizeofcmds      flags
 0xfeedfacf 16777223          3  0x00           6    15       2112 0x00918085
....
Load command 10
          cmd LC_LOAD_DYLIB
      cmdsize 64
         name /usr/local/opt/libomp/lib/libomp.dylib (offset 24)
   time stamp 2 Wed Dec 31 16:00:02 1969
      current version 5.0.0
compatibility version 5.0.0
Load command 11
          cmd LC_LOAD_DYLIB
      cmdsize 48
         name /usr/lib/libc++.1.dylib (offset 24)
   time stamp 2 Wed Dec 31 16:00:02 1969
      current version 400.9.0
compatibility version 1.0.0
Load command 12
          cmd LC_LOAD_DYLIB
      cmdsize 56
         name /usr/lib/libSystem.B.dylib (offset 24)
   time stamp 2 Wed Dec 31 16:00:02 1969
      current version 1252.50.4
compatibility version 1.0.0

반면에 Windows는 공유 라이브러리를 찾을 때 더 유연합니다. 휠 내부에 vcomp140.dll (OpenMP 런타임)을 포함하는 것으로 충분하다는 것을 알았습니다.

@hetong007 관련 참고: brew install libomp 는 Mac OSX에서 CRAN XGBoost에 대한 다중 스레딩도 활성화해야 합니다.

@hcho3 그런 것 같아요. XGBoost R 패키지는 동일한 백엔드 API를 호출하므로 동일하게 작동해야 합니다.

@hcho3 멋진 발전이네요! 많은 R&D 연구실에서 xgboost를 설치하는 것이 내부 요구 사항에 익숙하지 않은 사람들에게는 골칫거리라는 것을 증명할 수 있으므로 이미 올바른 방향으로 움직이고 있습니다.

이 메모에 대한 후속 조치:

공유 라이브러리 종속성이 전체 경로로 지정되어 있으므로 Mac OSX는 파일을 사용하지 않습니다.

libomp.dylib를 바이너리 휠로 가져오는 해결 방법이 있는지 확인하기 위해 이 특정 문제를 더 자세히 조사할 수 있습니다.

@ hcho3 확장 자체 때문일 수도 있습니까? macOS에서도 .so를 사용해야 합니다. 이 문제 스레드와 stackoverflow 게시물은 그렇게 표시하는 것 같습니다.
https://stackoverflow.com/questions/2488016/how-to-make-python-load-dylib-on-osx
https://github.com/MoDeNa-EUProject/MoDeNa/issues/1

@adithyabsk 런타임 라이브러리를 휠에 포함하고 로드하는 작업의 복잡성을 감안할 때 brew install libomp 로 해결해 보겠습니다.

• Homebrew는 이미 고급 사용자들 사이에서 상당히 널리 사용되고 있습니다(제 생각에).
• libomp 를 사용하면 Apple Clang을 사용하여 XGBoost를 컴파일할 수 있으므로 특정 버전의 Homebrew GCC에 대한 종속성을 제거할 수 있습니다.
• 이 방법은 LightGBM과 같은 다른 프로젝트에서 검증되었습니다.

추신. Apple Clang에서 OpenMP 사용을 이해하기 위해 https://iscinumpy.gitlab.io/post/omp-on-high-sierra/ 를 보고 있습니다.

@hcho3

추신. Apple Clang에서 OpenMP 사용을 이해하기 위해 https://iscinumpy.gitlab.io/post/omp-on-high-sierra/ 를 보고 있습니다.

다음 PR이 도움이 될 수 있습니다.
https://github.com/microsoft/LightGBM/pull/1501 , https://github.com/microsoft/LightGBM/pull/1923.

@adhyabsk 이것은 나의 우선 순위 중 하나입니다. 1.0.0 릴리스 전에 수정하고 싶습니다.

@hcho3 반갑 습니다! 이 문제도 해결할 수 있는지 알아보겠습니다.

@adithyabsk brew install libomp 에 직면한 한 가지 미묘한 문제는 CMakeLists.txt가 올바르게 구성되지 않았기 때문에 XGBoost가 OpenMP 없이 컴파일된다는 것입니다. (내 Macbook에서 적당히 무거운 작업을 실행하여 알 수 있습니다. OpenMP가 없으면 작업이 2-3배 더 오래 걸립니다.) OpenMP를 적절하게 활성화하기 위해 CMakeLists.txt를 수정하려고 합니다.

@StrikerRUS 링크 주셔서 감사합니다. 빌드 시스템을 작동시키는 것은 상당히 어렵고 참조점(LightGBM)을 갖는 것이 많은 도움이 됩니다.

@adithyabsk brew install libomp 에 직면한 한 가지 미묘한 문제는 CMakeLists.txt가 올바르게 구성되지 않았기 때문에 XGBoost가 OpenMP 없이 컴파일된다는 것입니다. (내 Macbook에서 적당히 무거운 작업을 실행하여 알 수 있습니다. OpenMP가 없으면 작업이 2-3배 더 오래 걸립니다.) OpenMP를 적절하게 활성화하기 위해 CMakeLists.txt를 수정하려고 합니다.

행운이 있나요? 내가 묻는 이유는 "brew install libomp"를 통해 libomp를 설치한 후에도 "pip install xgboost -U"가 실패하기 때문입니다.

@wel51x 새 솔루션이 작동하도록 CMakeLists.txt를 아직 수정하지 않았습니다. 지금은 https://xgboost.readthedocs.io/en/latest/build.html의 지침을 따라야 합니다.

@adhyabsk @Craigacp https://github.com/matthew-brett/delocate를 찾았습니다. 이것은 하드 코딩된 라이브러리 종속성을 제거하는 유용한 솔루션일 수 있습니다.

누군가가 도움이 되는 경우를 대비하여... 나는 이것이 주류 접근 방식이 아니라는 것을 이해하지만 OpenMP를 지원하는 최신 xgboost는 다음과 같이 간단하게 Nix(https://nixos.org/nix/)를 사용하여 MacOS에 설치할 수 있습니다.

$ nix-shell -p python3Packages.xgboost

@hcho3님 , Mac에서 설치를 단순화하여 사용자가 향후 brew install xgboost 를 실행할 수 있도록 XGBoost용 Homebrew 수식을 만들었습니다. 잘 작동하지만 불행히도 이전 버전의 GCC를 사용하면 허용되지 않습니다.

토론: https://github.com/Homebrew/homebrew-core/pull/43246

한 가지 옵션은 OpenMP를 비활성화하는 것이지만 언급했듯이 성능에는 좋지 않습니다. libomp 와 함께 작동하도록 변경 사항을 커밋할 수 있다면 공식을 업데이트할 수 있으며 이를 앞으로 진행할 수 있습니다.

업데이트해주셔서 감사합니다.

fwiw, 더 이상 GCC에 의존하지 않지만 OpenMP에 대한 지원이 부족하도록 공식을 업데이트했습니다. libomp 에 대한 지원이 출시되면 업데이트할 수 있습니다.

공식은 Homebrew에서 허용되었으므로 이제 Mac 사용자는 다음을 수행할 수 있습니다.

brew install xgboost

brew install xgboost 를 사용했지만 여전히 XGBoost를 가져올 수 없습니다. 실제로 새로 설치된 XGBoost 디렉토리 안에는 __init__.py 파일이나 아무것도 없기 때문에 XGBoost 기능을 사용할 수 없습니다. brew를 사용하여 XGBoost를 설치한 후 다른 단계가 있습니까?

@bnicholl 임시 솔루션은 https://github.com/dmlc/xgboost/issues/4949#issuecomment -542333666을 참조하세요.

@hcho3

링크 주셔서 감사합니다. 빌드 시스템을 작동시키는 것은 상당히 어렵고 참조점(LightGBM)을 갖는 것이 많은 도움이 됩니다.

들어오는 CMake 3.16 릴리스(현재 RC 단계)를 사용하면 >=Mojave 사용자에 대해 추가 인수를 전달할 필요가 없어 훨씬 쉬워집니다. https://gitlab.kitware.com/cmake/cmake/merge_requests/3916을 참조하세요.

@adithyabsk @Craigacp #5146 이제 Homebrew GCC를 설치하지 않고도 OpenMP를 사용할 수 있습니다. 이제 XGBoost는 libomp Homebrew 패키지에만 의존합니다.

@ankane 결과적으로 OpenMP가 활성화된 XGBoost(1.0)의 다음 릴리스를 제출할 수 있어야 합니다.