Xgboost: 1.0.0で作成されたモデルを0.90にロードすることはできません

install.packages（ 'xgboost'）を試しましたか？

install.packages（ 'xgboost'）を試しましたか？

これは問題なく機能しますが、保存されたモデルからのすべての予測（saveRDSを使用）はnumeric（0）を生成します。 openMPを使用してトレーニングされたモデルは、そのフレームワークがないコンピューターでは機能しないようです。 私の望みは、ソースからコンパイルすることでこれが解決されることでした。

これは、ソースからXGBoostをコンパイルする方法です。

mkdir build
cd build
cmake .. -G"Visual Studio 14 2015 Win64" -DR_LIB=ON
cmake --build . --target install --config Release

モデルファイルを共有して、予測で0が得られる理由を見つけられるようにしてください。

ありがとう-Rオブジェクトが必要ですか、それともxgb.save.raw経由で変換したいですか？

両方

あなたの助けとサポートに感謝します（そしてそのような特別な学習プログラムを作ってくれて）。

添付されているのはzip形式の.rdataファイルです。 3つのシステム（Mac、MacBook、Ubuntu）では、次のコードを実行できます。

modelList <- readRDS("<path_to_folder>/modelList.rdata")
attach(modelList)
predictions_caret <- predict(object=caretModel, newdata=caretModel$trainingData[,!colnames(caretModel$trainingData) %in% ".outcome"])
predictions_xgbbase <- predict(object=xgbModel, newdata=as.matrix(caretModel$trainingData[,!colnames(caretModel$trainingData) %in% ".outcome"]))

そして、次の出力を取得します。

> predictions_caret <- predict(object=caretModel, newdata=caretModel$trainingData[,!colnames(caretModel$trainingData) %in% ".outcome"])
[23:12:50] WARNING: ../..//amalgamation/../src/objective/regression_obj.cu:167: reg:linear is now deprecated in favor of reg:squarederror.
> head(predictions_caret)
[1] 14.0180358887 13.0352602005 12.9208145142 13.2430124283 13.6698570251
[6] 12.9033651352

> predictions_xgbbase <- predict(object=xgbModel, newdata=as.matrix(caretModel$trainingData[,!colnames(caretModel$trainingData) %in% ".outcome"]))
[23:16:17] WARNING: ../..//amalgamation/../src/objective/regression_obj.cu:167: reg:linear is now deprecated in favor of reg:squarederror.
> head(predictions_xgbbase)
[1] 14.0180358887 13.0352602005 12.9208145142 13.2430124283 13.6698570251
[6] 12.9033651352

システム4（CRANからxgboostがインストールされたWindowsベースR）では、非常に異なる結果が得られます。

> predictions_caret <- predict(object=caretModel, newdata=caretModel$trainingData[,!colnames(caretModel$trainingData) %in% ".outcome"])
[23:18:04] WARNING: amalgamation/../src/objective/regression_obj.cu:152: reg:linear is now deprecated in favor of reg:squarederror.
> head(predictions_caret)
numeric(0)

> predictions_xgbbase <- predict(object=xgbModel, newdata=as.matrix(caretModel$trainingData[,!colnames(caretModel$trainingData) %in% ".outcome"]))
[23:18:41] WARNING: amalgamation/../src/objective/regression_obj.cu:152: reg:linear is now deprecated in favor of reg:squarederror.
> head(predictions_xgbbase)
numeric(0)

これには新しい問題を開く必要があると思いますが、同じコードが異なるシステムで異なる動作をする理由について、あなたが提供できるガイダンスに感謝します。

最後に、xgbRawが含まれています（attach（）を使用する場合は呼び出し可能である必要があります）。これは次のコードで生成されました。

xgbRaw=xgb.save.raw(xgb.Booster.complete(caretModel$finalModel))

改めてありがとうございました。

modelList.rdata.zip

おそらく、omp例外に対するdmlcガードが原因ですか？

@ leedrake5お使いのマシンはOpenMPをサポートしていませんか？

@ hcho3原因はわかりましたか？ OpenMPなしでXGBoostをコンパイルしました（CMakeListsへのパッチがいくつかあります）。外部メモリテストは期待どおりに失敗し、履歴並列グループテストも失敗します（ローカルブランチで修正しました）。 しかし、これまでのところ、完璧な予測値を得ることができます。

@ hcho3私のマシンはopenmpをサポートしています。 しかし、私たちはこれらのモデルを産業規模で展開しており、特定のサイトにある多くのコンピューターにはopenmpがありません。 これは、6か月の準備と実装までの1週間後に発見されたばかりなので、モデルが一部のコンピューターで機能し、他のコンピューターでは機能しない理由を突き止めようとしています。

モデルがその建設環境でのみ機能する必要がある理由についての哲学がある場合、その理由について有益なエラーを取得する方法はありますか？

@ leedrake5それはバグです。 私はopenmpを無効にしてUbuntuでそれを再現しようとしていますが、今のところ運がありません。

@trivialfsそれが役に立ったら、私とほとんどの同僚がWindowsでバグを経験しています。 私の同僚はopenmpなしでubuntuでそれを再現することができましたが。

派手なもの（openmp、intelmkl、openblasなど）を含まないRの最小限のインストールで再現できると思いますが、システムのどの部分で問題が発生しているのか、まだ頭を悩ませています。

@ leedrake5 Linuxディストリビューションでそれを再現する方法があれば、それは大いに役立つでしょう！

私はグーグルテスト、ompを含むすべてのオプションを無効にしました...しかし、それでもあなたのモデルをロードする正しい結果があります。 Rのインストールはaptからのデフォルトのディストリビューションであり、XGBoostの予測とは何の関係もないと思います。

OpenMPが原因ではない可能性があります。 予測でさえ本当に間違っているので、0ではなくグローバルなバイアスがまだあります。

私が考えることができる唯一の理由は、XGBoostが実際にインストールされていないことです。 CRANでテストを実行していると思いますよね？ @ hcho3

CMakeビルドとautotoolsビルドの両方を試しました。 これはinstall.packages(...) （autotoolsビルド）によって報告された私のコンパイルフラグです：

g++ -std=gnu++11 -I"/usr/share/R/include" -DNDEBUG -I../..//include -I../..//dmlc-core/include -I../..//rabit/include -I../../ -DXGBOOST_STRICT_R_MODE=1 -DDMLC_LOG_BEFORE_THROW=0 -DDMLC_ENABLE_STD_THREAD=1 -DDMLC_DISABLE_STDIN=1 -DDMLC_LOG_CUSTOMIZE=1 -DXGBOOST_CUSTOMIZE_LOGGER=1 -DRABIT_CUSTOMIZE_MSG_ -DRABIT_STRICT_CXX98_    -DDMLC_CMAKE_LITTLE_ENDIAN=1 -pthread -fpic  -g -O2 -fdebug-prefix-map=/build/r-base-el7SHG/r-base-3.5.2=. -fstack-protector-strong -Wformat -Werror=format-security -Wdate-time -D_FORTIFY_SOURCE=2 -g -c ../..//amalgamation/xgboost-all0.cc -o ../..//amalgamation/xgboost-all0.o

@trivialfis XGBoostがCRANから正常にインストールされ、library（xgboost）が問題なく動作するため、さらに興味深い。

私の同僚はopenmpなしでubuntuでそれを再現することができましたが。

再現の仕方を教えてもらえるのでしょうか？

私の同僚はopenmpなしでubuntuでそれを再現することができましたが。

再現の仕方を教えてもらえるのでしょうか？

彼らがLinuxシステムがどのように機能するかについて十分に知っているかどうかはわかりませんが、彼らが提供できる診断を知っている場合は、私に知らせてください。

私の側では、問題を再現できる仮想ボックスubuntuインストールを作成しようとしています。成功した場合は、そのためのダウンロードリンクを送信します。

Linuxで問題を正常に再現しました。添付のスクリーンショットを参照してください。

仮想ボックスをdropboxにアップロードしています。 ただし、最初からインストールしたい場合は、複製する手順は次のとおりです。

1. virtualboxをダウンロードしてインストールします
2. ubuntu bionic beaverのビルドをダウンロードします（私はubuntu-18.04.3-desktop-amd64を使用しました）。
3. こちらの手順に従ってください： https ：//medium.com/@mannycodes/installing-ubuntu-18-04-on-mac-os-with-virtualbox-ac3b39678602。 固定の15ギガバイトの仮想ドライブを使用しました
4. 次の方法でR3.6.2用に構成します。

sudo apt-get update
sudo apt-get install vim
sudo vim /etc/apt/sources.list
i
deb https://cloud.r-project.org/bin/linux/ubuntu bionic-cran35/
<esc> :wq
gpg --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys E298A3A825C0D65DFD57CBB651716619E084DAB9
gpg -a --export E298A3A825C0D65DFD57CBB651716619E084DAB9 | sudo apt-key add -
sudo apt-get update
sudo apt-get install r-base-dev

1. Rにパッケージをインストールする

install.packages(c("caret", "xgboost"))

1. Rでパッケージをロード

library(caret)
library(xgboost)

1. データをロードする

modelList <- readRDS("~/Desktop/modelList.rdata")
attach(modelList)

1. 予測を試みる

predict(object=xgbModel, newdata=as.matrix(caretModel$trainingData[,!colnames(caretModel$trainingData) %in% ".outcome"]))

そして、これは今ではおなじみのものを返しました：

[13:00:55]警告：amalgamation /../src/objective/regression_obj.cu:152：reg：linearは廃止され、 reg ：squarederrorが採用されました。
数値（0）

注：明示的な呼び出しライブラリを試し、予測を試しました。 どちらも同じnumeric（0）応答になりました。

7z圧縮仮想インスタンスへのリンクはここにあります： https ：//www.dropbox.com/s/ld06zz798m0segf/UbuntuDebug.7z？dl = 0

最初に仮想ボックスを入手しましょう。 私は通常KVMを使用します。

今これを見てください。

@ leedrake5提供した仮想マシンで問題を再現することができました。 saveRDSとxgb.save.rawに問題があるようです。 代わりにxgb.saveとxgb.loadを使用してみましたか？ この一連の関数は、XGBoostモデルの「ネイティブ」形式を使用し、R環境に固有の属性を保存しません。 モデルをRパッケージからPythonに転送する場合に便利です。

生の保存は問題にはならないはずです。 問題は、RがRコードをシリアル化する方法にある可能性があります。 予測する新しいオプションのパラメーターを追加しました。これは、これらの種類のシリアル化の読み込みに影響を与える可能性があります。 私はそれを調べてみましたが、Pythonのピクルスの問題と同じように、本当に風変わりなようです。

@trivialfisこれを回避する可能性のある予測関数のオプションに関するアイデアはありますか？ 私の考えでは、これはCPU命令と関係があり、パッケージで対処できるよりもRの方が深い可能性があります。

@ hcho3 xgb.save.rawを現在のデータパイプに追加してみて、それが役立つかどうかを確認します。 送信した例では、予測が機能するコンピューターでxgb.save.rawを使用してこれを試しましたが、残念ながら、xgb.loadでnumeric（0）が発生します。 確かに、これはモデルがすでにsaveRDSを介して保存された後のことであり、作成された環境でまだ機能しているにもかかわらず、おそらくそのプロセスに関する何かがモデルを破損しています。

私の知る限り、モデルが作成された環境には、使用されるすべての環境に存在する必要がある何かがまだあります。 でもそれが何なのかわかりません。

いいえ、 xgb.save.raw xgb.saveを意味しました。

@trivialfisXGBoostパッケージはCRANではまだ0.90であることに注意してください。

xgb.saveを試し、xgb.load（）を介してRにロードしました。同じこと、numeric（0）です。 xgb.saveから添付を参照してください

xgbModelSaved.xgb.zip

また、モデルを生成したのと同じコンピューターで、このスレッドの前半にあるmodelListのデータを使用して、同じメソッドをテストしました。そこで機能しました。

xgb.save、xgb.save.raw、saveRDSなど、どのようにスライスしても、モデルが作成されたコンピューター環境には、他の場所での使用を妨げる何かがあります。

ご提供いただいたモデルファイルを使用して、問題を再現することができます。 ただし、モデルファイルがどのように生成されたかはわかりません。 より多くのコンテキストを提供できますか？

• OS
• XGBoostバージョン
• モデルを保存するコマンド

OS X（カタリナ）。 ソースからのXGBoostビルド、1.0（システムでサポートされているopenMP）。 saveRDSを使用して最初に保存されたモデル。 再実行して、さまざまな方法で保存して、報告してみます。

モデルを最初から再生成し、xgb.saveを使用して保存し（たとえば、予測データを除いてsaveRDSまたはreadRDSを使用しない）、xgb.loadを使用してロードしました。 同じ結果-予測は、モデルの生成に使用されたコンピューターシステム（OS X、XGB 1.0）で機能し、別のシステム（Windows 7、XGB 0.9）では失敗します。 それとmodelListをこのメッセージに添付します。 この問題の診断に役立つことが他にある場合は、お知らせください。

xgb_model <- xgb.load("Z:/Desktop/newxgbModelSaved.xgb")
modelList <- readRDS("Z:/Desktop/modelList2.rdata")
attach(modelList)
predict(object=xgb_model, newdata=as.matrix(caretModel$trainingData[,!colnames(caretModel$trainingData) %in% ".outcome"]))
numeric(0)

newxgbModelSaved.xgb.zip

modelList2.rdata.zip

@ leedrake5WindowsでXGBoost1.0を使用することは可能ですか？

@trivialfisこれは、モデルファイルの下位互換性に関する問題である可能性があります。

それは間違いなくバージョン管理です。 XGBoostの1.0バージョンをドロップし、CRANから0.9をインストールしたところ、上記の方法が機能しました。

最新リリースを使用してソースから0.90をインストールしようとしましたが、dmlc-coreフォルダーが空であるため、Cmakeは必要なエラーをスローします。 openMPの機能を維持したいのですが、これは可能です。

そうですか。 Windowsに1.0.0バージョンをインストールしようとしましたか？

奇妙なことに、それがこのスレッドの最初の理由でした。 試してみますが、プロジェクトがこれ以上待てないため、遅延が発生します。 これが問題である場合、私が送信したubuntu仮想イメージにソースから1.0をインストールすると、同じ問題に対処できると思います。

@ leedrake5はい、XGBoostのバージョンと一致する必要があります。 どこでも0.90を使用するか、どこでも1.0.0を使用します。

@trivialfisバイナリモデル形式に重大な変更を加えたことを思い出します。 そうですか？

いいえ、下位互換性があります。1.0は間違いなく0.9からモデルをロードする必要があります

@trivialfis説明してくれてありがとう。 その場合、下位互換性を期待して反例を見つけたので、このチケットをバグとして扱いましょう。 今週見ていきます。

提案されたタイトル変更は逆行していると思います。1.0で作成されたモデルを0.90で予測するために使用することはできません。 バージョン間でどの程度の互換性が意図されているかはわかりませんが、少なくとも有益なエラーが役立つはずです。

おっと、私の悪い。

@trivialfis @ leedrake5が求めているのは、上位互換性、つまりモデルを1.0.0から0.90にロードすることだと思います。 これが私たちが約束するものであるかどうかはわかりません。

@ leedrake5 Ubuntu仮想マシンに1.0.0をインストールしようとしましたが、RDSファイルが正常に読み込まれ、実数のベクトルが得られます。 したがって、おそらくそれはバージョンの問題です。

編集。 スクリーンショットの警告メッセージは奇妙です： Loading model from < 1.0.0, consider saving it again 。 モデルが1.0.0で作成されていることを考えると、これはここにあるべきではありません。

同意します。 問題が何であるかについて収束を設定することは非常にうれしいです。

残念ながら、本番環境の観点から、モデルを一括バージョン（ergo、CRANインストール）でデプロイできるようにする必要があります。 しかし、私はこれからXGBoostを機能させる方法を知っています。これは絶対的な重要なポイントです。

リリースまたはツリーからダウンロードしたソースから0.9をインストールするのにまだ問題がありますが、問題が見つかったと思います。 cub、dmlc-core、rabit、これらのダウンロードではすべて空のフォルダーです。 彼らも持ってる @フォルダの後-それはどのフォルダが空であるかに関係していると思います。 これらのリンクをたどると、フォルダを再構築してインストールを続行できます。

スクリーンショットを参照してください：

はい、gitサブモジュールを使用しているため、ビルド命令では、ソースからインストールするためにgit clone --recursiveを使用するように求められます。 CRANのインストールが不十分な状況にありますか？ どこでも0.90を使用すると問題が解決する場合は、どこでもCRANインストールを使用できますか（Linux、Mac、Windows）？

はい-CRANはopenMPを許可していません。これは、モデル生成にとって大きな恩恵です。 それで、それを再び機能させるためにソースからxgboost0.90をコンパイルする方法を理解するのに少し時間を費やします。 この問題の診断にご協力いただきありがとうございます。

@ leedrake5

とった。 今のところ、gitサブモジュールを含む完全なソースコードを取得するために使用できるコマンドは次のとおりです。

git clone --recursive https://github.com/dmlc/xgboost -b release_0.90

これにより、XGBoostソースコードがフェッチされ、rabit、cub、dmlc-coreディレクトリにデータが入力されます。 -b release_0.90は、最新ではなく0.90バージョンを取得するために使用されます。

脇：

CRANはopenMPを許可していません

これは実際には1.0.0で修正されています。 すぐにCRANで1.0.0バージョンを入手しようと思います。

ありがとう、すべての点で大いに感謝します！

@ hetong007 1.0.0をCRANに提出できますか？

@ hcho3有効なエンディアン検出があることを考えると、良さそうです。 1週間以内に提出します。

@ hetong007更新はありますか？ 何かお手伝いできることがあれば教えてください。

@ hcho3そうそう。 ソラリステストの環境はありますか？ 0.9以降のSolarisで未解決のエラーがあります： https ：//www.r-project.org/nosvn/R.check/r-patched-solaris-x86/xgboost-00check.html提出。

@ hetong007VirtualBoxで実行できるSolarisVMイメージをOracleからダウンロードしました。 問題を再現してみましょう。

@ hetong007SolarisでR環境をセットアップするのに多くの問題があります。 特に、 igraphやtestthatなどのRパッケージは、Solaris awkなどのユーティリティの動作が異なるためインストールできません。 さらに先に進む方法がわかりません。

@ hcho3もっとはっきりさせていただけませんか？ testthatがCRANのsolarisチェックに合格した場合、 install.packages('testthat')を使用してRコンソールにパッケージをインストールできることをイメージしています。

@ hetong007パッケージigraphは構成ステップでawkを使用し、SolarisのawkはGNUawkと​​機能互換性がありません。 GNU awkをインストールすることは可能ですが、それはgawkと呼ばれます。 Rにawk gawkを使用させる方法をまだ理解しようとしています。

@ hcho3OKこれはひどいですね。 どうすればいいのかわからない。 CRANのigraphの結果ページ（ https://cran.r-project.org/web/checks/check_results_igraph.html）を確認しました。 悪化することはないと感じています。 関係なく提出します。

@ hetong007ありがとう。 ある時点でSolarisテストに戻ろうとします。 方法があると確信しています。

@ hetong007ああ、そうです、コードを送信するときは必ずブランチrelease_1.0.0を使用してください。

@ hcho3事前チェックは警告します：

* checking whether package 'xgboost' can be installed ... WARNING
Found the following significant warnings:
  amalgamation/../src/common/hist_util.cc:666:72: warning: 'void* memset(void*, int, size_t)' clearing an object of non-trivial type 'struct xgboost::tree::GradStats'; use assignment or value-initialization instead [-Wclass-memaccess]
See 'd:/RCompile/CRANguest/R-devel_gcc8/xgboost.Rcheck/00install.out' for details.

00install.outファイルはここにあります（約72時間で利用可能）： https ：//win-builder.r-project.org/v6XJQBjzgMaW/00install.out

迅速な修正は可能でしょうか？

@ hetong007これはブロッカーですか？ Memsetは、ヒストグラム（構造の配列）のゼロ化を高速化するために使用されました。 これがCRANをブロックしている場合は、マクロガードを配置して、Rパッケージが代わりに通常のコンストラクターを使用するようにします。

@ hcho3はいそれはブロッカーです。 事前チェックは自動化されており、送信は警告なしに合格する必要があります。 マクロは十分にいいですね、ありがとう！

@ hcho3最初std::fillを使ってみてください。 コンパイラーでさえそれをmemsetに最適化できないかもしれませんが、目に見えるパフォーマンスへの影響を与えるほど重要ではないと思います。

@ hetong007必要な変更を加えました（https://github.com/dmlc/xgboost/commit/3550b16a34055bc8ec33bf0b7006448e8c1a4eca）。 もう一度やり直せますか？

@trivialfis memsetを置き換えるために、別のプルリクエストを提出します。

@ hcho3修正してくれてありがとう！ 深刻な問題がなければ、CRANに向かっています。

@ hcho3それで、リプリー教授のSoalrisでは失敗します。

On Solaris it was quicker to diagnose the problems with the GCC compilers:

amalgamation/../src/common/io.cc:120:27: error: ‘POSIX_FADV_SEQUENTIAL’
was not declared in this scope
    posix_fadvise(fd, 0, 0, POSIX_FADV_SEQUENTIAL);

amalgamation/../src/common/io.cc:120:48: error: ‘posix_fadvise’ was not
declared in this scope
    posix_fadvise(fd, 0, 0, POSIX_FADV_SEQUENTIAL);

As 'Writing R Extensions' told you, you need to use configure to test
for the presence of non-standard C/C++ functions.  In this case, it
seems that line is not actually necessary.

@ hetong007いいね。 問題のデバッグに時間を割いてくれてありがとう、リプリー教授に教えてください。 XGBoostをWindowsとLinuxでテストするための適切なテスト機能しかないため、私は先に進み、適切なLinux環境でのみ実行されるようにその行を保護します。 理想的には、CIの一部として最初にテストされない限り、非標準のC ++機能は使用しないでください。 また、コードベースをスキャンして他の非標準のC ++機能を探し、それらも削除する必要があります。 cc @trivialfis

@ hcho3は私にはいいですね。 リプリー教授からのCRANへの新規提出の締め切りは2020-04-06です。 詳細なインストールログに興味がある場合は、 https：//cran.r-project.org/web/checks/check_results_xgboost.htmlにアクセスしてください。

@ hetong007コミットhttps://github.com/dmlc/xgboost/commit/d83db4844bae5969609e58cd6bb201e7831cfaa3で問題に対処する必要があります。 私はついに最新のRをSolarisVMで動作させ、XGBoostのCRANチェックを実行することができました。

@ hcho3素晴らしい！ Solarisのチェックに合格したので、それを取ることはできますか？

はい、今すぐ提出する必要があります。

こんにちは、私はPythonで同様の問題に直面しています。 xgboost 1.0.1を介してモデルを保存し、xgboost 0.9を介してロードしましたが、予測は空のリストです。 私たちの本番環境はxgboost0.9を使用しているので、saved-via-xgboost-1.0モデルをxgboost0.9にロードできる方法があるかどうか疑問に思っています。

@ hcho3スナップショットを共有する方法はありますか？ 今後の提出にも役立ちます。

@sunhs私も同様の問題に直面しています。 これを解決できましたか？

@giladmayaいや男。 いくつかの方法を試した後、モデルを再トレーニングすることで時間を節約できると最終的に判断しました。

新しいバージョンのモデルが古いバージョンでサポートされることを約束できないため、これを閉じます。 これは、PlayStation 4を購入して、PlayStation5用に開発されたゲームをロードしようとするようなものです。

下位互換性のみを約束しているため、古いバージョンを使用してモデルを保存し、新しいバージョンを使用してロードし直すことができます。 これは、モデル形式が時間の経過とともに徐々に進化できるようにするためです。