Xgboost: 1.0.0 में निर्मित मॉडल को 0.90 . में लोड नहीं किया जा सकता

क्या आपने install.packages('xgboost') की कोशिश की?

क्या आपने install.packages('xgboost') की कोशिश की?

यह ठीक काम करता है, लेकिन फिर सहेजे गए मॉडल (saveRDS का उपयोग करके) से सभी भविष्यवाणियां संख्यात्मक (0) उत्पन्न करती हैं। ऐसा लगता है कि ओपनएमपी का उपयोग करके प्रशिक्षित मॉडल उस ढांचे के बिना कंप्यूटर पर काम नहीं करते हैं। मेरी आशा थी कि स्रोत से संकलन करने से इसका समाधान हो जाएगा।

इस प्रकार आप स्रोत से XGBoost संकलित करते हैं:

mkdir build
cd build
cmake .. -G"Visual Studio 14 2015 Win64" -DR_LIB=ON
cmake --build . --target install --config Release

क्या आप मॉडल फ़ाइल साझा कर सकते हैं ताकि हम यह पता लगाने की कोशिश कर सकें कि आपको भविष्यवाणी के लिए 0 क्यों मिल रहा है?

धन्यवाद - क्या आप आर ऑब्जेक्ट चाहते हैं या आप इसे xgb.save.raw के माध्यम से परिवर्तित करना पसंद करेंगे?

दोनों

आपकी मदद और समर्थन के लिए धन्यवाद (और इस तरह के एक असाधारण शिक्षण कार्यक्रम बनाने के साथ)।

संलग्न एक ज़िपित .rdata फ़ाइल है। 3 सिस्टम (मैक, मैकबुक, उबंटू) पर, मैं निम्नलिखित कोड चला सकता हूं:

modelList <- readRDS("<path_to_folder>/modelList.rdata")
attach(modelList)
predictions_caret <- predict(object=caretModel, newdata=caretModel$trainingData[,!colnames(caretModel$trainingData) %in% ".outcome"])
predictions_xgbbase <- predict(object=xgbModel, newdata=as.matrix(caretModel$trainingData[,!colnames(caretModel$trainingData) %in% ".outcome"]))

और निम्न आउटपुट प्राप्त करें:

> predictions_caret <- predict(object=caretModel, newdata=caretModel$trainingData[,!colnames(caretModel$trainingData) %in% ".outcome"])
[23:12:50] WARNING: ../..//amalgamation/../src/objective/regression_obj.cu:167: reg:linear is now deprecated in favor of reg:squarederror.
> head(predictions_caret)
[1] 14.0180358887 13.0352602005 12.9208145142 13.2430124283 13.6698570251
[6] 12.9033651352

> predictions_xgbbase <- predict(object=xgbModel, newdata=as.matrix(caretModel$trainingData[,!colnames(caretModel$trainingData) %in% ".outcome"]))
[23:16:17] WARNING: ../..//amalgamation/../src/objective/regression_obj.cu:167: reg:linear is now deprecated in favor of reg:squarederror.
> head(predictions_xgbbase)
[1] 14.0180358887 13.0352602005 12.9208145142 13.2430124283 13.6698570251
[6] 12.9033651352

सिस्टम 4 पर (विंडोज़ बेस आर सीआरएएन से स्थापित xgboost के साथ) मुझे बहुत अलग परिणाम मिलते हैं:

> predictions_caret <- predict(object=caretModel, newdata=caretModel$trainingData[,!colnames(caretModel$trainingData) %in% ".outcome"])
[23:18:04] WARNING: amalgamation/../src/objective/regression_obj.cu:152: reg:linear is now deprecated in favor of reg:squarederror.
> head(predictions_caret)
numeric(0)

> predictions_xgbbase <- predict(object=xgbModel, newdata=as.matrix(caretModel$trainingData[,!colnames(caretModel$trainingData) %in% ".outcome"]))
[23:18:41] WARNING: amalgamation/../src/objective/regression_obj.cu:152: reg:linear is now deprecated in favor of reg:squarederror.
> head(predictions_xgbbase)
numeric(0)

मुझे संदेह है कि इसे एक नए मुद्दे को खोलने की आवश्यकता हो सकती है, लेकिन मैं किसी भी मार्गदर्शन की सराहना करता हूं जो आप दे सकते हैं कि एक ही कोड विभिन्न प्रणालियों पर अलग-अलग व्यवहार क्यों करेगा।

अंत में, xgbRaw शामिल है (यदि आप संलग्न () का उपयोग करते हैं तो कॉल करने योग्य होना चाहिए), यह निम्नलिखित कोड के साथ उत्पन्न हुआ था:

xgbRaw=xgb.save.raw(xgb.Booster.complete(caretModel$finalModel))

एक बार फिर आपका धन्यवाद।

modelList.rdata.zip

शायद ओएमपी अपवाद के खिलाफ हमारे डीएमएलसी गार्ड के कारण?

@ leedrake5 क्या आपकी मशीन OpenMP को सपोर्ट नहीं करती है?

@ hcho3 क्या आपको इसका कारण मिला? मैंने अभी ओपनएमपी के बिना एक्सजीबीओस्ट संकलित किया है (सीएमकेलिस्ट में कुछ पैच के साथ), बाहरी मेमोरी परीक्षण अपेक्षित रूप से विफल हो रहे हैं, हिस्ट समांतर समूह परीक्षण भी विफल हो रहा है (जिसे मैंने स्थानीय शाखा में तय किया है)। लेकिन अभी तक मैं सही भविष्यवाणी मान प्राप्त कर सकता हूं।

@ hcho3 मेरी मशीन ओपनएमपी का समर्थन करती है। लेकिन हम इन मॉडलों को औद्योगिक पैमाने पर तैनात कर रहे हैं, और विशिष्ट साइटों पर बहुत सारे कंप्यूटरों में ओपनएमपी नहीं है। हमने इसे 6 महीने की तैयारी के बाद और कार्यान्वयन तक एक सप्ताह के बाद खोजा है, इसलिए हम यह पता लगाने के लिए हाथ-पांव मार रहे हैं कि मॉडल कुछ कंप्यूटरों पर क्यों काम करते हैं और अन्य पर नहीं।

यदि इस बारे में कुछ दर्शन है कि मॉडलों को केवल अपने निर्माण पर्यावरण पर ही क्यों काम करना चाहिए, तो क्या इस बारे में सूचनात्मक त्रुटि प्राप्त करने का कोई तरीका होगा?

@ leedrake5 यह एक बग है। मैं इसे उबंटू पर ओपनएमपी अक्षम के साथ पुन: पेश करने की कोशिश कर रहा हूं लेकिन अभी तक कोई भाग्य नहीं है।

@ट्रिविअलफ्स अगर यह मदद करता है, तो मैं और मेरे अधिकांश सहयोगी विंडोज़ पर बग का अनुभव कर रहे हैं। हालांकि मेरा एक सहयोगी इसे बिना ओपनएमपी के उबंटू पर पुन: पेश करने में सक्षम था।

मुझे संदेह है कि बिना किसी फैंसी सामान (ओपनएमपी, इंटेलमकेएल, ओपनब्लास इत्यादि) के साथ आर की न्यूनतम स्थापना इसे पुन: उत्पन्न कर सकती है, लेकिन मैं अभी भी अपना सिर लपेट रहा हूं कि सिस्टम के किस हिस्से में समस्याएं आ रही हैं।

@ leedrake5 यदि लिनक्स वितरण पर इसे पुन: पेश करने का कोई तरीका है तो यह बहुत मददगार होगा!

मैंने Google परीक्षण, omp सहित सभी विकल्पों को अक्षम कर दिया है ... लेकिन अभी भी आपके मॉडल लोड करने का सही परिणाम है। R की स्थापना apt से डिफ़ॉल्ट वितरण है, मुझे नहीं लगता कि इसका XGBoost भविष्यवाणी से कोई लेना-देना है।

यह OpenMP के कारण नहीं हो सकता है। जैसा कि भविष्यवाणी भी वास्तव में गलत है, अभी भी वैश्विक पूर्वाग्रह है, 0 नहीं।

एकमात्र कारण जो मैं सोच सकता हूं वह यह है कि XGBoost वास्तव में स्थापित नहीं किया जा रहा है। मुझे लगता है कि हम सीआरएएन पर परीक्षण चलाते हैं, है ना? @ hcho3

मैंने सीएमके बिल्ड और ऑटोटूलस बिल्ड दोनों की कोशिश की। यह मेरा संकलन झंडे है जो install.packages(...) (ऑटोटूलस बिल्ड) द्वारा रिपोर्ट किया गया है:

g++ -std=gnu++11 -I"/usr/share/R/include" -DNDEBUG -I../..//include -I../..//dmlc-core/include -I../..//rabit/include -I../../ -DXGBOOST_STRICT_R_MODE=1 -DDMLC_LOG_BEFORE_THROW=0 -DDMLC_ENABLE_STD_THREAD=1 -DDMLC_DISABLE_STDIN=1 -DDMLC_LOG_CUSTOMIZE=1 -DXGBOOST_CUSTOMIZE_LOGGER=1 -DRABIT_CUSTOMIZE_MSG_ -DRABIT_STRICT_CXX98_    -DDMLC_CMAKE_LITTLE_ENDIAN=1 -pthread -fpic  -g -O2 -fdebug-prefix-map=/build/r-base-el7SHG/r-base-3.5.2=. -fstack-protector-strong -Wformat -Werror=format-security -Wdate-time -D_FORTIFY_SOURCE=2 -g -c ../..//amalgamation/xgboost-all0.cc -o ../..//amalgamation/xgboost-all0.o

@ ट्रिवियलफिस और भी उत्सुक, क्योंकि XGBoost CRAN से सफलतापूर्वक स्थापित होता है, और पुस्तकालय (xgboost) बिना किसी समस्या के काम करता है।

हालांकि मेरा एक सहयोगी इसे बिना ओपनएमपी के उबंटू पर पुन: पेश करने में सक्षम था।

क्या यह संभव है कि वह कृपया साझा कर सकें कि पुनरुत्पादन कैसे किया जाता है?

हालांकि मेरा एक सहयोगी इसे बिना ओपनएमपी के उबंटू पर पुन: पेश करने में सक्षम था।

क्या यह संभव है कि वह कृपया साझा कर सकें कि पुनरुत्पादन कैसे किया जाता है?

सुनिश्चित नहीं हैं कि वे इस बारे में पर्याप्त जानते हैं कि linux सिस्टम कैसे काम करता है - लेकिन यदि आप किसी भी निदान के बारे में जानते हैं तो वे मुझे बता सकते हैं।

अपने हिस्से के लिए, मैं एक वर्चुअल बॉक्स ubuntu इंस्टॉलेशन बनाने की कोशिश कर रहा हूं जो समस्या को दोहरा सकता है - यदि सफल रहा तो मैं उसके लिए एक डाउनलोड लिंक भेजूंगा।

मैंने लिनक्स पर इस मुद्दे को सफलतापूर्वक पुन: प्रस्तुत किया है - संलग्न स्क्रीनशॉट देखें।

मैं वर्चुअल बॉक्स को ड्रॉपबॉक्स में अपलोड कर रहा हूं। लेकिन अगर आप स्क्रैच से इंस्टॉल करना पसंद करते हैं, तो दोहराने के निर्देश इस प्रकार हैं:

1. वर्चुअलबॉक्स डाउनलोड और इंस्टॉल करें
2. उबंटू बायोनिक बीवर का निर्माण डाउनलोड करें (मैंने उबंटू -18.04.3-डेस्कटॉप-एएमडी 64 का इस्तेमाल किया)।
3. यहां दिए गए निर्देशों का पालन करें: https://medium.com/@mannycodes/installing -ubuntu-18-04-on-mac-os-with-virtualbox-ac3b39678602। मैंने एक निश्चित 15 गीगाबाइट वर्चुअल ड्राइव का उपयोग किया
4. निम्नलिखित द्वारा R 3.6.2 के लिए कॉन्फ़िगर करें:

sudo apt-get update
sudo apt-get install vim
sudo vim /etc/apt/sources.list
i
deb https://cloud.r-project.org/bin/linux/ubuntu bionic-cran35/
<esc> :wq
gpg --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys E298A3A825C0D65DFD57CBB651716619E084DAB9
gpg -a --export E298A3A825C0D65DFD57CBB651716619E084DAB9 | sudo apt-key add -
sudo apt-get update
sudo apt-get install r-base-dev

1. R . में संकुल संस्थापित करें

install.packages(c("caret", "xgboost"))

1. R . में संकुल लोड करें

library(caret)
library(xgboost)

1. डेटा लोड करें

modelList <- readRDS("~/Desktop/modelList.rdata")
attach(modelList)

1. भविष्यवाणी करने का प्रयास

predict(object=xgbModel, newdata=as.matrix(caretModel$trainingData[,!colnames(caretModel$trainingData) %in% ".outcome"]))

और यह अब परिचित लौटा:

[13:00:55] चेतावनी: समामेलन/../src/objective/regression_obj.cu:152: reg:linear अब reg:squarederror के पक्ष में बहिष्कृत है।
संख्यात्मक (0)

नोट: मैंने स्पष्ट कॉलिंग पुस्तकालयों की कोशिश की, और सिर्फ भविष्यवाणी की कोशिश कर रहा था। दोनों के परिणामस्वरूप एक ही संख्यात्मक (0) प्रतिक्रिया हुई।

7z कंप्रेस्ड वर्चुअल इंस्टेंस का लिंक यहां है: https://www.dropbox.com/s/ld06zz798m0segf/UbuntuDebug.7z?dl=0

मुझे पहले वर्चुअल बॉक्स लेने दो। मैं आमतौर पर केवीएम का उपयोग करता हूं।

अब इसे देख रहे हैं।

@ leedrake5 मैं आपके द्वारा प्रदान की गई वर्चुअल मशीन पर इस मुद्दे को पुन: पेश करने में कामयाब रहा। ऐसा लगता है कि saveRDS और xgb.save.raw के साथ कोई समस्या है। क्या आपने इसके बजाय xgb.save और xgb.load का उपयोग करने का प्रयास किया? फ़ंक्शन का यह सेट XGBoost मॉडल के "मूल" स्वरूप का उपयोग करता है और उन विशेषताओं को सहेजता नहीं है जो R परिवेश के लिए विशिष्ट हैं। यदि आप अपने मॉडल को R पैकेज से Python में स्थानांतरित करना चाहते हैं तो यह उपयोगी है।

कच्चे बचाओ कोई समस्या नहीं होनी चाहिए। समस्या यह हो सकती है कि R कैसे R कोड को क्रमबद्ध करता है। हमने भविष्यवाणी करने के लिए एक नया वैकल्पिक पैरामीटर जोड़ा है, जो इस प्रकार के क्रमांकन को लोड करने को प्रभावित कर सकता है। मैंने इसे देखने की कोशिश की लेकिन पाइथन अचार के साथ समस्या की तरह वास्तव में विचित्र लगता है।

@ ट्रिविविफिस भविष्यवाणी समारोह में विकल्पों पर कोई विचार है जो संभावित रूप से इसे बाधित कर सकता है? मेरा विचार यह है कि इसका सीपीयू निर्देशों के साथ कुछ लेना-देना है, संभवतः आर में गहराई से पैकेज द्वारा संबोधित किया जा सकता है।

@ hcho3 मैं वर्तमान डेटा पाइप में xgb.save.raw जोड़ने का प्रयास करूंगा और देख सकता हूं कि इससे मदद मिलती है या नहीं। हालांकि मेरे द्वारा भेजे गए उदाहरण में, मैंने कंप्यूटर पर xgb.save.raw का उपयोग करके यह कोशिश की, जहां भविष्यवाणियां काम करती थीं, और दुर्भाग्य से यह अभी भी xgb.load पर संख्यात्मक (0) की ओर ले जाती है। बेशक, यह तब था जब मॉडल पहले से ही saveRDS के माध्यम से सहेजा गया था, शायद उस प्रक्रिया के बारे में कुछ इसे दूषित कर देता है, भले ही यह अभी भी उस वातावरण में काम करता है जिसे इसे बनाया गया था।

जहां तक ​​​​मैं बता सकता हूं, उस वातावरण के बारे में अभी भी कुछ है जहां मॉडल बनाया गया था जिसे हर उस वातावरण में मौजूद होना चाहिए जिसका वह उपयोग करता है। हालांकि मुझे नहीं पता कि यह क्या है।

नहीं, मेरा मतलब था xgb.save , न कि xgb.save.raw ।

@ ट्रिवियलफिस ध्यान दें कि सीआरएएन पर XGBoost पैकेज अभी भी 0.90 है।

मैंने xgb.save की कोशिश की, इसे xgb.load (), और एक ही चीज़, संख्यात्मक (0) के माध्यम से R में लोड किया। xgb.save . से संलग्न देखें

xgbModelSaved.xgb.zip

इसके अलावा- इस थ्रेड में पहले मॉडललिस्ट में डेटा का उपयोग करके उसी विधि का परीक्षण किया गया था जिसने मॉडल उत्पन्न किया था - यह वहां काम करता था।

कोई फर्क नहीं पड़ता कि आप इसे कैसे काटते हैं, xgb.save, xgb.save.raw, saveRDS, आदि, कंप्यूटर वातावरण के बारे में कुछ ऐसा है जिस पर मॉडल बनाया गया था जो इसके उपयोग को कहीं और रोकता है।

मैं आपके द्वारा प्रदान की गई मॉडल फ़ाइल का उपयोग करके समस्या को पुन: उत्पन्न करने में सक्षम हूं। हालांकि, मुझे नहीं पता कि मॉडल फ़ाइल कैसे उत्पन्न हुई थी। क्या आप अधिक संदर्भ प्रदान कर सकते हैं, उदाहरण के लिए

• ओएस
• एक्सजीबूस्ट संस्करण
• मॉडल को बचाने का आदेश

ओएस एक्स (कैटालिना)। XGBoost बिल्ड फ्रॉम सोर्स, 1.0 (ओपनएमपी सिस्टम पर सपोर्टेड)। मॉडल मूल रूप से saveRDS का उपयोग करके सहेजा गया। मैं इसे फिर से चलाने और विभिन्न तरीकों से बचत करने की कोशिश करूंगा और वापस रिपोर्ट करूंगा।

मैंने एक मॉडल को खरोंच से पुनर्जीवित किया, इसे xgb.save का उपयोग करके सहेजा (उदाहरण के लिए भविष्यवाणी डेटा को छोड़कर saveRDS या readRDS का कोई उपयोग नहीं) और xgb.load का उपयोग करके लोड किया गया। समान परिणाम - मॉडल (OS X, XGB 1.0) को उत्पन्न करने के लिए प्रयुक्त कंप्यूटर सिस्टम पर भविष्यवाणी काम करती है और किसी अन्य सिस्टम (Windows 7, XGB 0.9) पर विफल हो जाती है। इसे और मॉडल सूची को इस संदेश में संलग्न करना। अगर इस समस्या के निदान में मदद के लिए मैं कुछ और कर सकता हूं तो कृपया मुझे बताएं।

xgb_model <- xgb.load("Z:/Desktop/newxgbModelSaved.xgb")
modelList <- readRDS("Z:/Desktop/modelList2.rdata")
attach(modelList)
predict(object=xgb_model, newdata=as.matrix(caretModel$trainingData[,!colnames(caretModel$trainingData) %in% ".outcome"]))
numeric(0)

newxgbModelSaved.xgb.zip

modelList2.rdata.zip

@ leedrake5 क्या विंडोज़ पर XGBoost 1.0 का उपयोग करना संभव है?

@ट्रिविअलफिस यह मॉडल फ़ाइलों की पश्चगामी संगतता के साथ एक समस्या हो सकती है।

यह निश्चित रूप से संस्करण है। मैं अभी XGBoost के 1.0 संस्करण से गिरा, CRAN से 0.9 स्थापित किया, और ऊपर उल्लिखित विधि ने काम किया।

मैंने नवीनतम रिलीज का उपयोग करके स्रोत से 0.90 स्थापित करने का प्रयास किया, लेकिन डीएमएलसी-कोर फ़ोल्डर खाली है, इसलिए सेमेक आवश्यक त्रुटि फेंकता है। ओपनएमपी कार्यक्षमता रखना बहुत पसंद करेंगे हालांकि यह जाता है।

समझा। क्या आपने विंडोज़ पर 1.0.0 संस्करण स्थापित करने का प्रयास किया था?

अजीब तरह से पर्याप्त, इस धागे का प्रारंभिक कारण यही था। कोशिश करेंगे, लेकिन देरी होगी क्योंकि परियोजना अब और इंतजार नहीं कर सकती है। यदि यह एक समस्या है, तो मुझे संदेह है कि मेरे द्वारा भेजी गई ubuntu आभासी छवि पर स्रोत से 1.0 स्थापित करना उसी बात को संबोधित करेगा।

@ leedrake5 हाँ, आपको XGBoost के संस्करण से मेल खाना चाहिए। या तो हर जगह 0.90 या हर जगह 1.0.0 का प्रयोग करें।

@ ट्रिवियलफिस मुझे याद है कि हमने बाइनरी मॉडल प्रारूप में एक ब्रेकिंग बदलाव किया है। क्या वह सही है?

नहीं, हम पिछड़े संगत हैं, 1.0 को निश्चित रूप से 0.9 . से मॉडल लोड करना चाहिए

@ट्रिवियलफिस स्पष्टीकरण के लिए धन्यवाद। उस स्थिति में, आइए इस टिकट को एक बग के रूप में मानते हैं, क्योंकि हमें पश्चगामी संगतता की उम्मीद थी और एक प्रति-उदाहरण मिला। मैं इस सप्ताह इसे देख लूंगा।

मुझे लगता है कि प्रस्तावित शीर्षक परिवर्तन में यह पीछे की ओर है - 1.0 में निर्मित मॉडल का उपयोग 0.90 में भविष्यवाणी करने के लिए नहीं किया जा सकता है। मुझे नहीं पता कि संस्करणों के बीच संगतता की किस डिग्री का इरादा है, लेकिन कम से कम एक सूचनात्मक त्रुटि से मदद मिलनी चाहिए।

उफ़, मेरा बुरा।

@ ट्रिवियलफिस मेरा मानना ​​​​है कि @ leedrake5 जो पूछ रहा है वह आगे की संगतता है, यानी 1.0.0 से 0.90 तक मॉडल लोड करना। यकीन नहीं होता कि हम यही वादा करते हैं।

@ leedrake5 मैंने उबंटू वर्चुअल मशीन में 1.0.0 स्थापित करने की कोशिश की, और अब आरडीएस फ़ाइल ठीक लोड होती है और मुझे वास्तविक संख्याओं का एक वेक्टर मिलता है। तो सबसे अधिक संभावना है कि यह संस्करण मुद्दा है।

संपादित करें। स्क्रीनशॉट में चेतावनी संदेश अजीब है: Loading model from < 1.0.0, consider saving it again । यह यहाँ नहीं होना चाहिए, यह देखते हुए कि मॉडल 1.0.0 द्वारा निर्मित किया गया था।

मैं सहमत हूँ। समस्या क्या है, इस पर अभिसरण स्थापित करने में बहुत खुशी हुई।

दुर्भाग्य से, उत्पादन के दृष्टिकोण से, मुझे मॉडलों को बड़े पैमाने पर संस्करण (एर्गो, सीआरएएन स्थापना) में तैनात करने योग्य बनाना है। लेकिन, मुझे पता है कि XGBoost को यहां से कैसे काम करना है, जो कि अत्यंत महत्वपूर्ण बिंदु है।

मुझे अभी भी रिलीज या पेड़ से डाउनलोड किए गए स्रोत से 0.9 स्थापित करने में परेशानी हो रही है, लेकिन मुझे लगता है कि मुझे समस्या मिली है। cub, dmlc-core, rabit, इन डाउनलोड में सभी खाली फ़ोल्डर हैं। उनके पास भी है @फोल्डर के बाद - मुझे लगता है कि यह संबंधित है कि कौन से फोल्डर खाली हैं। यदि मैं उन लिंक का अनुसरण करता हूं, तो मैं फ़ोल्डरों का पुनर्निर्माण कर सकता हूं और स्थापना जारी रख सकता हूं।

स्क्रीनशॉट देखें:

हां, हम गिट सबमॉड्यूल का उपयोग करते हैं, इसलिए बिल्ड निर्देश आपको स्रोत से स्थापित करने के लिए git clone --recursive का उपयोग करने के लिए कहता है। क्या आप ऐसी स्थिति में हैं जहां सीआरएएन स्थापना अपर्याप्त है? यदि हर जगह 0.90 का उपयोग करने से आपकी समस्या ठीक हो जाती है, तो आप हर जगह सीआरएएन इंस्टॉल का उपयोग कर सकते हैं (लिनक्स, मैक, विंडोज)?

हां - सीआरएएन ओपनएमपी की अनुमति नहीं देता है, जो मॉडल निर्माण के लिए एक बहुत बड़ा वरदान है। तो फिर से काम करने के लिए स्रोत से xgboost 0.90 को संकलित करने का तरीका जानने में कुछ समय व्यतीत होगा। मैं इस समस्या का निदान करने में आपकी सभी मदद की सराहना करता हूं।

@ लीड्रेक5

समझ लिया। अभी के लिए, यहाँ वह कमांड है जिसका उपयोग आप git सबमॉड्यूल सहित पूर्ण स्रोत कोड प्राप्त करने के लिए कर सकते हैं:

git clone --recursive https://github.com/dmlc/xgboost -b release_0.90

इसे XGBoost स्रोत कोड लाना चाहिए और rabit, cub, dmlc-core निर्देशिकाओं को पॉप्युलेट करना चाहिए। -b release_0.90 का उपयोग 0.90 संस्करण प्राप्त करने के लिए किया जाता है, नवीनतम नहीं।

एक तरफ:

सीआरएएन ओपनएमपी की अनुमति नहीं देता

यह वास्तव में 1.0.0 में तय किया गया है। मैं जल्द ही सीआरएएन पर 1.0.0 संस्करण प्राप्त करने का प्रयास करूंगा।

धन्यवाद, सभी मामलों में बहुत सराहना की!

@ hetong007 क्या हम सीआरएएन को 1.0.0 जमा कर सकते हैं?

@ hcho3 अच्छा लगता है, यह देखते हुए कि हमारे पास एक वैध एंडियन डिटेक्शन है। मैं एक हफ्ते में सबमिशन कर दूंगा।

@ hetong007 कोई अपडेट? मुझे बताएं कि क्या मैं किसी भी तरह से मदद कर सकता हूं।

@ hcho3 ओह हाँ। मैं पूछना चाहता हूं कि क्या हमारे पास सोलारिस परीक्षण के लिए वातावरण है? 0.9 से सोलारिस पर एक अनसुलझी त्रुटि है: https://www.r-project.org/nosvn/R.check/r-patched-solaris-x86/xgboost-00check.html मैं चाहता हूं कि इसकी जांच पहले हो जाए प्रस्तुत करने।

@ hetong007 मैंने अभी Oracle से Solaris VM छवि डाउनलोड की है जो VirtualBox के साथ चल सकती है। मुझे इस मुद्दे को पुन: पेश करने का प्रयास करने दें।

@ hetong007 मुझे Solaris में R वातावरण स्थापित करने में बहुत परेशानी हो रही है। विशेष रूप से, मैं igraph और testthat जैसे आर पैकेज स्थापित नहीं कर सकता क्योंकि awk जैसी उपयोगिताओं सोलारिस पर अलग तरह से व्यवहार करती हैं। मुझे नहीं पता कि आगे कैसे बढ़ना है।

@ hcho3 क्या आप कृपया स्पष्ट होंगे? मैं इमेजिंग करता हूं कि कोई आर कंसोल में पैकेज स्थापित कर सकता है install.packages('testthat') , यह देखते हुए कि testthat ने सीआरएएन पर सोलारिस चेक पास कर लिया है।

@ hetong007 पैकेज igraph कॉन्फ़िगर चरण में awk $ का उपयोग करता है, और Solaris का awk GNU awk के साथ संगत सुविधा नहीं है। GNU awk को स्थापित करना संभव है, लेकिन इसे gawk कहा जाता है। अभी भी यह पता लगाने की कोशिश की जा रही है कि आर को $#$ awk $#$ के बजाय gawk का उपयोग करने के लिए कैसे प्राप्त किया जाए।

@ hcho3 ठीक है यह भयानक लगता है। मुझे यह भी नहीं पता कि आगे कैसे बढ़ना है। मैंने अभी CRAN पर igraph के परिणाम पृष्ठ पर एक नज़र डाली: https://cran.r-project.org/web/checks/check_results_igraph.html। लगता है कि हम बदतर नहीं होने जा रहे हैं। मैं परवाह किए बिना सबमिशन कर दूंगा।

@ hetong007 धन्यवाद। मैं किसी बिंदु पर सोलारिस परीक्षण पर वापस जाने की कोशिश करूंगा। मुझे यकीन है कि एक रास्ता है।

@ hetong007 आह हाँ, कोड सबमिट करते समय शाखा release_1.0.0 का उपयोग करना सुनिश्चित करें।

@ hcho3 प्री-चेक चेतावनी देता है:

* checking whether package 'xgboost' can be installed ... WARNING
Found the following significant warnings:
  amalgamation/../src/common/hist_util.cc:666:72: warning: 'void* memset(void*, int, size_t)' clearing an object of non-trivial type 'struct xgboost::tree::GradStats'; use assignment or value-initialization instead [-Wclass-memaccess]
See 'd:/RCompile/CRANguest/R-devel_gcc8/xgboost.Rcheck/00install.out' for details.

और 00install.out फ़ाइल यहाँ है (~72 घंटों में उपलब्ध): https://win-builder.r-project.org/v6XJQBjzgMaW/00install.out

क्या जल्दी ठीक करना संभव होगा?

@ hetong007 क्या यह अवरोधक है? मेमसेट का उपयोग हिस्टोग्राम (संरचना की सरणी) को शून्य करने में तेजी लाने के लिए किया गया था। यदि यह सीआरएएन को अवरुद्ध कर रहा है, तो मैं एक मैक्रो गार्ड लगाऊंगा ताकि आर पैकेज इसके बजाय साधारण कंस्ट्रक्टर का उपयोग करे।

@ hcho3 हाँ यह एक अवरोधक है। प्री-चेक स्वचालित है और सबमिशन बिना किसी चेतावनी के पास होना चाहिए। मैक्रो काफी अच्छा लगता है, धन्यवाद!

@ hcho3 क्या आप कृपया पहले std::fill का उपयोग करने का प्रयास कर सकते हैं? यहां तक ​​​​कि संकलक इसे memset में अनुकूलित करने में सक्षम नहीं हो सकता है, मुझे नहीं लगता कि यह किसी भी दृश्य प्रदर्शन प्रभाव के लिए पर्याप्त महत्वपूर्ण है।

@ hetong007 मैंने आवश्यक परिवर्तन किया (https://github.com/dmlc/xgboost/commit/3550b16a34055bc8ec33bf0b7006448e8c1a4eca)। क्या आप फिर से प्रयास कर सकते हैं?

@ट्रिवियलफिस मैं memset को बदलने के लिए एक अलग पुल अनुरोध दर्ज करूंगा।

@ hcho3 फिक्स के लिए धन्यवाद! अगर कुछ भी गंभीर नहीं होता है, तो यह सीआरएएन के रास्ते में है।

@ hcho3 तो यह प्रोफेसर रिप्ले से सोलारिस पर विफल रहता है:

On Solaris it was quicker to diagnose the problems with the GCC compilers:

amalgamation/../src/common/io.cc:120:27: error: ‘POSIX_FADV_SEQUENTIAL’
was not declared in this scope
    posix_fadvise(fd, 0, 0, POSIX_FADV_SEQUENTIAL);

amalgamation/../src/common/io.cc:120:48: error: ‘posix_fadvise’ was not
declared in this scope
    posix_fadvise(fd, 0, 0, POSIX_FADV_SEQUENTIAL);

As 'Writing R Extensions' told you, you need to use configure to test
for the presence of non-standard C/C++ functions.  In this case, it
seems that line is not actually necessary.

@ हेटोंग007 नाइस। कृपया प्रो. रिप्ले को बताएं कि समस्या को दूर करने के लिए समय निकालने के लिए धन्यवाद। मैं आगे बढ़ूंगा और उस लाइन को केवल उचित लिनक्स वातावरण में चलाने के लिए रखूंगा, क्योंकि हमारे पास केवल विंडोज़ और लिनक्स के साथ एक्सजीबीओस्ट का परीक्षण करने के लिए उचित परीक्षण सुविधा है। आदर्श रूप से, किसी भी गैर-मानक C++ सुविधाओं का उपयोग तब तक नहीं किया जाना चाहिए जब तक कि उनका CI के भाग के रूप में परीक्षण नहीं किया जाता है। मुझे अन्य गैर-मानक सी ++ सुविधाओं के लिए कोडबेस को भी स्कैन करना होगा और उन्हें भी हटाने का प्रयास करना होगा। सीसी @ ट्रिविअलफिस

@ hcho3 मुझे अच्छा लगता है। सीआरएएन को नए सबमिशन के लिए प्रो. रिप्ले की समय सीमा 2020-04-06 है। यदि आप विस्तृत इंस्टॉलेशन लॉग में रुचि रखते हैं, तो कृपया https://cran.r-project.org/web/checks/check_results_xgboost.html पर जाएं।

@ hetong007 प्रतिबद्धता https://github.com/dmlc/xgboost/commit/d83db4844bae5969609e58cd6bb201e7831cfaa3 को समस्या का समाधान करना चाहिए। मैं अंत में अपने सोलारिस वीएम के साथ काम कर रहे नवीनतम आर को प्राप्त करने और एक्सजीबीओस्ट के लिए सीआरएएन जांच चलाने में कामयाब रहा।

@ hcho3 शानदार! क्या मैं इसे वैसे ही ले सकता हूँ जैसे आपने इसे सोलारिस पर चेक पास करवा दिया है?

हां, हमें इसे अभी जमा करना चाहिए।

नमस्ते, मुझे पायथन के साथ इसी तरह के मुद्दों का सामना करना पड़ रहा है। मैंने मॉडल को xgboost 1.0.1 के माध्यम से सहेजा है, और इसे xgboost 0.9 के माध्यम से लोड किया है, और भविष्यवाणियां खाली सूचियां हैं। चूंकि हमारा उत्पादन वातावरण xgboost 0.9 का उपयोग कर रहा है, मैं सोच रहा हूं कि क्या कोई तरीका है जिससे मैं एक सहेजे गए-xgboost-1.0 मॉडल को xgboost 0.9 में लोड कर सकता हूं?

@ hcho3 क्या आपके स्नैपशॉट को साझा करने का कोई तरीका है? यह हमारे आगे प्रस्तुत करने के लिए भी मूल्यवान है।

@sunhs मुझे भी इसी तरह की समस्या का सामना करना पड़ रहा है। क्या आप इसे हल करने में सक्षम थे?

@giladmaya नहीं यार। कई तरीकों को आजमाने के बाद, मैंने आखिरकार फैसला किया कि मॉडल को फिर से प्रशिक्षित करने से मेरा समय बच गया।

इसे बंद करना, चूंकि हम यह वादा करने में असमर्थ हैं कि नए संस्करणों के मॉडल पुराने संस्करणों द्वारा समर्थित होंगे। यह PlayStation 4 खरीदने और PlayStation 5 के लिए विकसित गेम को लोड करने का प्रयास करने जैसा है।

हम केवल पश्चगामी संगतता का वादा करते हैं, इसलिए आप पुराने संस्करण का उपयोग करके मॉडल को सहेज सकते हैं और नए संस्करण का उपयोग करके इसे वापस लोड कर सकते हैं। ऐसा इसलिए है ताकि मॉडल प्रारूप समय के साथ धीरे-धीरे विकसित हो सके।