Xgboost: Mac OSX पर बेहतर XGBoost इंस्टालेशन?

ऐप्पल का क्लैंग बॉक्स के बाहर ओपनएमपी का समर्थन नहीं करता है, इसलिए होमब्रू जीसीसी की जरूरत है। तो, नहीं, XGBoost Apple के क्लैंग के अनुकूल नहीं होगा।

मुझे लगता है कि हम मैक ओएसएक्स के लिए बाइनरी व्हील वितरित करके प्रक्रिया को सरल बना सकते हैं। बाइनरी व्हील्स में पूर्व-निर्मित libxgboost.dylib शामिल होगा ताकि उपयोगकर्ता को किसी कंपाइलर की आवश्यकता न पड़े। (इस प्रकार विंडोज़ उपयोगकर्ताओं को एक्सजीबीओस्ट का उपयोग करने के लिए विजुअल स्टूडियो स्थापित करने की आवश्यकता नहीं है।)

हालांकि, मुझे डर है कि रखरखाव (स्वयं सहित) वर्तमान में मैक ओएसएक्स के साथ बाइनरी पैकेजिंग से परिचित नहीं हैं, यानी बाइनरी कैसे बनाएं जो ओएसएक्स के कई संस्करणों में व्यापक रूप से संगत हो। क्या आपके पास यहां कोई सुझाव है?

अभी के लिए, आपको Mac OSX पर XGBoost संस्थापन को स्वचालित करने के लिए conda-forge का उपयोग करने पर विचार करना चाहिए।

@ hcho3 आपकी त्वरित प्रतिक्रिया के लिए धन्यवाद! कोंडा निश्चित रूप से एक विकल्प है लेकिन पीआईपी का उपयोग करना बहुत आसान होगा। मैं देखूंगा कि मैकोज़ पर बाइनरी पैकेजिंग कैसी दिखेगी। मैं बाइनरी पैकेजिंग से भी परिचित नहीं हूं, इसलिए उस क्षेत्र में अनुभव रखने वाले किसी और के इनपुट की बहुत सराहना की जाएगी।

मुझे इस मुद्दे के साथ कुछ कठिनाई हुई है क्योंकि मानक संकलन प्रक्रिया द्वारा उत्पादित डाइलिब होमब्रू जीसीसी के पुस्तकालयों पर एक कठिन निर्भरता है। अगर किसी के पास संकलन के बाद उस निर्भरता को बदलने का कोई तरीका है (या इसे जीसीसी संस्करणों में सामान्य बनाना) जो बहुत अच्छा होगा, लेकिन मुझे नहीं लगता कि मैकोज़ जहाजों को libgomp (जो ओपनएमपी समर्थन प्रदान करता है) के साथ जहाजों को हमें पैकेज करने की आवश्यकता हो सकती है ठीक है, जो जीवन को कठिन बना देता है।

@Craigacp @ hcho3 क्या यह कुछ ऐसा है जिस पर हम तब तक विचार कर सकते हैं जब तक कि cmakelists वर्कअराउंड नहीं मिल जाता। https://github.com/netket/netket/issues/225#issuecomment -502714445। मैं xgboost के इंटर्नल से सुपर परिचित नहीं हूं, लाइब्रेरी के प्रदर्शन के लिए OpenMP कितना महत्वपूर्ण है।

यह भी आशाजनक लग रहा था लेकिन मैं इसे काम करने में सक्षम नहीं था: https://stackoverflow.com/questions/46414660/macos-cmake-and-openmp।

@adithyabsk @Craigacp OpenMP XGBoost के प्रदर्शन के लिए बहुत महत्वपूर्ण है, क्योंकि हम बहु-कोर CPU के सभी उपलब्ध कोर का उपयोग करना चाहते हैं जो आमतौर पर उपयोगकर्ताओं के सिस्टम पर उपलब्ध होते हैं। ओपनएमपी के बिना, आप केवल एक सीपीयू कोर का उपयोग करने में सक्षम होंगे।

आईएमएचओ, पीआईपी को ऐसी बाहरी निर्भरताओं को लिबोमप के रूप में संभालने के लिए डिज़ाइन नहीं किया गया है। दूसरी ओर, कोंडा गैर-पायथन निर्भरता को आसानी से संभालने में सक्षम है। इस पोस्ट को देखें: https://jakevdp.github.io/blog/2016/08/25/conda-myths-and-misconceptions/

Microsoft/LightGBM कैसे समस्या का समाधान करता है: वे उपयोगकर्ताओं को brew install libomp चलाने के लिए कहते हैं। मुझे यकीन नहीं है कि यह जीसीसी या कोंडा स्थापित करने से आसान है, क्योंकि आपको पहले होमब्रू स्थापित करने की आवश्यकता होगी।

@ hcho3 brew install libomp समाधान बेहतर हो सकता है क्योंकि इसे प्री-इंस्टॉल सेटअप स्क्रिप्ट में प्रदान किया जा सकता है, जबकि वर्तमान में, उपयुक्त gcc और g++ संस्करणों को निर्दिष्ट करने के लिए CI पाइपलाइनों में xgboost को अलग करना होगा। निश्चित रूप से, जहां तक ​​​​कोंडा जाता है, आपके साथ सहमत हैं और यह एकमात्र समाधान हो सकता है, लेकिन मैं यह देखने के लिए अन्य विकल्पों का पता लगाना चाहता था कि कुछ और संभव था या नहीं।

मूर्खतापूर्ण प्रश्न के लिए खेद है, लेकिन क्या ओपनएमपी रनटाइम पर आवश्यक है? उदाहरण के लिए, क्या हम dmlc-core और xgboost को OpenMP के साथ संकलित कर सकते हैं और फिर उस फ़ाइल को एक पहिया में बंडल कर सकते हैं ताकि ऑडिट_व्हील जैसे टूल का उपयोग करके इंस्टॉल समय पर संकलन आवश्यक न हो?

https://stackoverflow.com/a/42106034

@adithyabsk मैंने अभी brew install libomp का उपयोग करने का प्रयास किया है और अब मैं डिफ़ॉल्ट कंपाइलर, ऐप्पल क्लैंग के साथ XGBoost संकलित करने में सक्षम हूं:

brew install libomp
mkdir build
cd build
cmake ..
make -j10

इसके अलावा, परिणामी बाइनरी libxgboost.dylib केवल /usr/local/opt/libomp/lib/libomp.dylib और OSX सिस्टम libs पर निर्भर करता है। (जीसीसी के विशिष्ट संस्करण पर अधिक निर्भरता नहीं! हुर्रे!) तो मुझे लगता है कि brew install libomp बिना Conda के Mac OSX पर XGBoost को स्थापित करने का सबसे कम दर्दनाक तरीका है।

हालाँकि, पूर्व-संकलित बायनेरिज़ को वितरित करना अभी भी मुश्किल है। भले ही हम पहिया के अंदर libomp.dylib शामिल करें, मैक ओएसएक्स फ़ाइल का उपयोग नहीं करेगा, क्योंकि साझा पुस्तकालय निर्भरता पूर्ण पथ के साथ निर्दिष्ट है:

hcho3<strong i="17">@localhost</strong>: xgboost$ otool -l libxgboost.dylib    # show list of library dependencies

libxgboost.dylib:
Mach header
      magic cputype cpusubtype  caps    filetype ncmds sizeofcmds      flags
 0xfeedfacf 16777223          3  0x00           6    15       2112 0x00918085
....
Load command 10
          cmd LC_LOAD_DYLIB
      cmdsize 64
         name /usr/local/opt/libomp/lib/libomp.dylib (offset 24)
   time stamp 2 Wed Dec 31 16:00:02 1969
      current version 5.0.0
compatibility version 5.0.0
Load command 11
          cmd LC_LOAD_DYLIB
      cmdsize 48
         name /usr/lib/libc++.1.dylib (offset 24)
   time stamp 2 Wed Dec 31 16:00:02 1969
      current version 400.9.0
compatibility version 1.0.0
Load command 12
          cmd LC_LOAD_DYLIB
      cmdsize 56
         name /usr/lib/libSystem.B.dylib (offset 24)
   time stamp 2 Wed Dec 31 16:00:02 1969
      current version 1252.50.4
compatibility version 1.0.0

दूसरी ओर, जब साझा पुस्तकालयों का पता लगाने की बात आती है तो विंडोज अधिक लचीला होता है। मैंने इसे केवल पहिया के अंदर vcomp140.dll (ओपनएमपी रनटाइम) शामिल करने के लिए पर्याप्त पाया।

@ hetong007 संबंधित नोट: brew install libomp को Mac OSX पर CRAN XGBoost के लिए मल्टी-थ्रेडिंग को भी सक्षम करना चाहिए

@ hcho3 मुझे ऐसा लगता है। XGBoost R पैकेज उसी बैकएंड API को कॉल करता है, इसलिए उसे वैसा ही व्यवहार करना चाहिए।

@ hcho3 यह एक अद्भुत विकास है! पहले से ही सही दिशा में आगे बढ़ रहा है क्योंकि मैं प्रमाणित कर सकता हूं कि बहुत सी आर एंड डी प्रयोगशालाओं में xgboost स्थापित करना उन लोगों के लिए एक दर्द बिंदु है जो इसकी आंतरिक आवश्यकताओं से अच्छी तरह परिचित नहीं हैं।

इस नोट का अनुसरण कर रहे हैं:

Mac OSX फ़ाइल का उपयोग नहीं करेगा, क्योंकि साझा लाइब्रेरी निर्भरता पूर्ण पथ के साथ निर्दिष्ट है

हो सकता है कि हम इस विशेष मुद्दे में और अधिक देख सकें कि बाइनरी व्हील में libomp.dylib प्राप्त करने के लिए कोई कामकाज है या नहीं।

@ hcho3 भी एक्सटेंशन के कारण ही हो सकता है? क्या हमें macOS पर भी .so का इस्तेमाल करना चाहिए। यह मुद्दा धागा और स्टैक ओवरफ्लो पोस्ट ऐसा इंगित करता प्रतीत होता है।
https://stackoverflow.com/questions/2488016/how-to-make-python-load-dylib-on-osx
https://github.com/MoDeNa-EUProject/MoDeNa/issues/1

@adithyabsk पहिया में रनटाइम लाइब्रेरी को शिपिंग करने की जटिलता को देखते हुए (और इसे लोड करने के लिए), आइए brew install libomp के साथ समझौता करें।

• Homebrew पहले से ही बिजली उपयोगकर्ताओं (मुझे लगता है) के बीच काफी व्यापक रूप से उपयोग किया जाता है।
• libomp के साथ, हम XGBoost को संकलित करने के लिए Apple Clang का उपयोग कर सकते हैं, इस प्रकार Homebrew GCC के एक विशिष्ट संस्करण पर कठोर निर्भरता को समाप्त कर सकते हैं।
• इस पद्धति को अन्य परियोजनाओं, जैसे कि लाइटजीबीएम द्वारा सत्यापित किया गया है।

पीएस मैं ऐप्पल क्लैंग में ओपनएमपी के उपयोग को समझने के लिए https://iscinumpy.gitlab.io/post/omp-on-high-sierra/ देख रहा हूं।

@ hcho3

पीएस मैं ऐप्पल क्लैंग में ओपनएमपी के उपयोग को समझने के लिए https://iscinumpy.gitlab.io/post/omp-on-high-sierra/ देख रहा हूं।

ये पीआर आपकी मदद कर सकते हैं:
https://github.com/microsoft/LightGBM/pull/1501 , https://github.com/microsoft/LightGBM/pull/1923।

@adithyabsk यह मेरी प्राथमिकताओं में से एक है। मैं 1.0.0 रिलीज से पहले ठीक करना चाहता हूं।

@ hcho3 यह सुनकर खुशी हुई! मैं देखूंगा कि क्या मैं इस मुद्दे के साथ भी छेड़छाड़ कर सकता हूं।

@adithyabsk एक सूक्ष्म समस्या जो मैंने brew install libomp में चलाई है, वह यह है कि XGBoost को OpenMP के बिना संकलित किया जाएगा, क्योंकि CMakeLists.txt सही तरीके से कॉन्फ़िगर नहीं किया गया था। (मैं अपनी मैकबुक पर मामूली भारी नौकरी चलाकर बता सकता हूं; ओपनएमपी के बिना, नौकरियों में 2-3x लंबा समय लगेगा।) मैं ओपनएमपी को ठीक से सक्षम करने के लिए सीएमकेलिस्ट्स.txt को संशोधित करने का प्रयास कर रहा हूं।

@StrikerRUS लिंक के लिए धन्यवाद। बिल्ड सिस्टम को काम करना काफी कठिन है, और यह मुझे एक संदर्भ बिंदु (LightGBM) रखने में बहुत मदद करता है।

@adithyabsk एक सूक्ष्म समस्या जो मैंने brew install libomp में चलाई है, वह यह है कि XGBoost को OpenMP के बिना संकलित किया जाएगा, क्योंकि CMakeLists.txt सही तरीके से कॉन्फ़िगर नहीं किया गया था। (मैं अपनी मैकबुक पर मामूली भारी नौकरी चलाकर बता सकता हूं; ओपनएमपी के बिना, नौकरियों में 2-3x लंबा समय लगेगा।) मैं ओपनएमपी को ठीक से सक्षम करने के लिए सीएमकेलिस्ट्स.txt को संशोधित करने का प्रयास कर रहा हूं।

कोइ भाग्य? कारण मैं पूछता हूं कि "पाइप इंस्टॉल xgboost -U" "ब्रू इंस्टाल लिबॉम्प" के माध्यम से लिबोमप स्थापित करने के बाद भी विफल रहता है।

@wel51x हमने नया समाधान काम करने के लिए अभी तक CMakeLists.txt को संशोधित नहीं किया है। अभी के लिए, आपको https://xgboost.readthedocs.io/en/latest/build.html में दिए गए निर्देशों का पालन करना चाहिए।

@adithyabsk @Craigacp मुझे https://github.com/matthew-brett/delocate मिला। हार्ड-कोडेड लाइब्रेरी निर्भरता को दूर करने के लिए यह एक उपयोगी समाधान हो सकता है।

अगर किसी को यह मददगार लगता है ... मैं समझता हूं कि यह किसी भी तरह से मुख्यधारा का दृष्टिकोण नहीं है, लेकिन ओपनएमपी समर्थन के साथ नवीनतम xgboost को निक्स (https://nixos.org/nix/) का उपयोग करके मैकोज़ पर स्थापित किया जा सकता है।

$ निक्स-शेल -पी python3Packages.xgboost

अरे @ hcho3 , मैंने मैक पर इंस्टॉलेशन को आसान बनाने में मदद करने के लिए XGBoost के लिए होमब्रू फॉर्मूला बनाया, ताकि उपयोगकर्ता भविष्य में brew install xgboost चला सकें। यह बहुत अच्छा काम करता है, लेकिन दुर्भाग्य से जीसीसी के पुराने संस्करण का उपयोग करके स्वीकार नहीं किया जाएगा।

चर्चा: https://github.com/Homebrew/homebrew-core/pull/43246

एक विकल्प ओपनएमपी को अक्षम करना है, लेकिन जैसा कि आपने उल्लेख किया है, यह प्रदर्शन के लिए बहुत अच्छा नहीं है। यदि आप libomp के साथ काम करने के लिए परिवर्तन करने में सक्षम हैं, तो मैं सूत्र को अपडेट कर सकता हूं और हम इसे आगे बढ़ा सकते हैं।

अपडेट के लिए धन्यवाद।

fwiw, मैंने फॉर्मूला अपडेट किया है, इसलिए यह अब जीसीसी पर निर्भर नहीं है लेकिन ओपनएमपी के लिए समर्थन की कमी है। libomp के लिए समर्थन जारी होने के बाद हम इसे अपडेट कर सकते हैं।

होमब्रे द्वारा सूत्र को स्वीकार कर लिया गया था, इसलिए मैक उपयोगकर्ता अब कर सकते हैं:

brew install xgboost

मैंने brew install xgboost उपयोग किया लेकिन मैं अभी भी XGBoost आयात नहीं कर सकता। वास्तविक नई स्थापित XGBoost निर्देशिका के अंदर कोई __init__.py फ़ाइल या कुछ भी नहीं है, इसलिए मैं किसी भी XGBoost फ़ंक्शन का उपयोग नहीं कर सकता। क्या XGBoost को स्थापित करने के लिए brew का उपयोग करने के बाद कोई अन्य चरण है?

@bnicholl अस्थायी समाधान के लिए https://github.com/dmlc/xgboost/issues/4949#issuecomment -542333666 देखें।

@ hcho3

लिंक के लिए धन्यवाद। बिल्ड सिस्टम को काम करना काफी कठिन है, और यह मुझे एक संदर्भ बिंदु (LightGBM) रखने में बहुत मदद करता है।

आने वाली सीएमके 3.16 रिलीज के साथ (अब आरसी चरण में) यह और भी आसान होना चाहिए:> = Mojave उपयोगकर्ताओं के लिए अतिरिक्त तर्क पारित करने की कोई आवश्यकता नहीं होगी। https://gitlab.kitware.com/cmake/cmake/merge_requests/3916 देखें।

@adithyabsk @Craigacp #5146 अब आपको Homebrew GCC इंस्टॉल किए बिना OpenMP का उपयोग करने देना चाहिए। अब XGBoost केवल libomp Homebrew पैकेज पर निर्भर करेगा।

@ankane नतीजतन, हम ओपनएमपी सक्षम के साथ XGBoost (1.0) की अगली रिलीज सबमिट करने में सक्षम होना चाहिए।