Xgboost: Pythonでスパース行列を使用しているときにfeature_namesが一致しない

これは、スパース行列がCSCの場合にのみ機能するようです。 以前のバージョンのように、CSRまたはCOOマトリックスでは機能しません。

右端の列がすべて0または1の場合、ランダムな問題が発生しませんか？ たぶん＃1091と＃1221と同じです。

@sinhrks ：私にとって、それは「ランダム」ではありません。 私は頻繁にXGBoostを非常にまばらなデータでトレーニングします（そしてそれは素晴らしいです！それは通常他のすべてのモデルよりもかなり広いマージンで勝っています）。

次に、トレーニング済みのモデルを本番環境で実行できるようになったら、もちろん、新しい受信データを予測したいと思います。 もちろん、そのデータはまばらである可能性が高く、最後の列である列の値がありません。 そのため、XGBoostは頻繁に壊れてしまい、スパースデータのサポートが向上したという理由だけで、他の（精度の低い）モデルに切り替えることになりました。

このエラーが発生する理由とその対処方法を正確に知っている人はいますか？ 私の既存のスクリプトが失敗しているので、これは私にとっての悩みの種です。

sklearnパイプラインの一部としてxgboostを試してみましたが、同じ問題が発生しました。 修正されるまで回避策はありますか？

はい、predictを呼び出すときは、スパース配列のtoarray（）関数を使用します。 これはメモリではひどく非効率的ですが、小さなスライスでは機能します。

私のiPhoneから送信された

2016年8月26日には、22:44で、ペドロ・ロドリゲスの[email protected]は書きました：

sklearnパイプラインの一部としてxgboostを試してみましたが、同じ問題が発生しました。 修正されるまで回避策はありますか？

—
あなたがコメントしたのであなたはこれを受け取っています。
このメールに直接返信するか、GitHubで表示するか、スレッドをミュートしてください。

トレーニング済みモデルを保存してロードしても、何らかの理由でエラーは発生しません。

    bst = xgb.train(param, dtrain, num_round)

    # predict is not working without this code
    bst.save_model(model_file_name)
    bst = xgb.Booster(param)
    bst.load_model(model_file_name)

    preds = bst.predict(dtest)

@ bryan-woods tocscより良い回避策を見つけることができました。 おそらくパフォーマンスの低下がありますが、密なマトリックスにするほど悪くはありません。

xgboostが機能する直前にこれをsklearnパイプラインに含める

class CSCTransformer(TransformerMixin):
    def transform(self, X, y=None, **fit_params):
        return X.tocsc()

    def fit_transform(self, X, y=None, **fit_params):
        self.fit(X, y, **fit_params)
        return self.transform(X)

    def fit(self, X, y=None, **fit_params):
        return self

    def get_params(self, deep=True):
        return {}

CSC形式も、最後の列にゼロ以外のエントリを追加しても、xgboostの最新バージョンの問題は修正されません。 バージョン0.4a30に戻すことだけが、それを機能させることができます。元の例で次の調整（再現可能なシードを使用）を検討してください。

>>> import xgboost as xgb
>>> import numpy as np
>>> from scipy import sparse
>>> 
>>> np.random.seed(10)
>>> X = sparse.rand(100,10).tocsr()
>>> test = sparse.rand(10, 500).tocsr()
>>> y = np.random.randint(2,size=100)
>>> 
>>> clf = xgb.XGBClassifier()
>>> clf.fit(X,y)
XGBClassifier(base_score=0.5, colsample_bylevel=1, colsample_bytree=1,
       gamma=0, learning_rate=0.1, max_delta_step=0, max_depth=3,
       min_child_weight=1, missing=None, n_estimators=100, nthread=-1,
       objective='binary:logistic', reg_alpha=0, reg_lambda=1,
       scale_pos_weight=1, seed=0, silent=True, subsample=1)
>>> 
>>> try:
...     pred = clf.predict_proba(test)
...     print "Works when csr with version %s" %xgb.__version__
... except ValueError:
...     "Broken when csr with version %s" %xgb.__version__
... 
'Broken when csr with version 0.6'
>>> try:
...     pred = clf.predict_proba(test.tocsc())
...     print "Works when csc with version %s" %xgb.__version__
... except ValueError:
...     "Still broken when csc with version %s" %xgb.__version__
... 
'Still broken when csc with version 0.6'
>>> try:
...     test[0,(test.shape[1]-1)] = 1.0
...     pred = clf.predict_proba(test)
...     print "Works when adding non-zero entries to last column with version %s" %xgb.__version__
... except ValueError:
...     "Still broken when adding non-zero entries to last column with version %s" %xgb.__version__
... 
/home/david.mcgarry/.conda/envs/ml/lib/python2.7/site-packages/scipy/sparse/compressed.py:730: SparseEfficiencyWarning: Changing the sparsity structure of a csr_matrix is expensive. lil_matrix is more efficient.
  SparseEfficiencyWarning)
'Still broken when adding non-zero entries to last column with version 0.6'

>>> import xgboost as xgb
>>> import numpy as np
>>> from scipy import sparse
>>> 
>>> np.random.seed(10)
>>> X = sparse.rand(100,10).tocsr()
>>> test = sparse.rand(10, 500).tocsr()
>>> y = np.random.randint(2,size=100)
>>> 
>>> clf = xgb.XGBClassifier()
>>> clf.fit(X,y)
XGBClassifier(base_score=0.5, colsample_bylevel=1, colsample_bytree=1,
       gamma=0, learning_rate=0.1, max_delta_step=0, max_depth=3,
       min_child_weight=1, missing=None, n_estimators=100, nthread=-1,
       objective='binary:logistic', reg_alpha=0, reg_lambda=1,
       scale_pos_weight=1, seed=0, silent=True, subsample=1)
>>> 
>>> try:
...     pred = clf.predict_proba(test)
...     print "Works when csr with version %s" %xgb.__version__
... except ValueError:
...     "Broken when csr with version %s" %xgb.__version__
... 
Works when csr with version 0.4
>>> try:
...     pred = clf.predict_proba(test.tocsc())
...     print "Works when csc with version %s" %xgb.__version__
... except ValueError:
...     "Still broken when csc with version %s" %xgb.__version__
... 
Works when csc with version 0.4
>>> try:
...     test[0,(test.shape[1]-1)] = 1.0
...     pred = clf.predict_proba(test)
...     print "Works when adding non-zero entries to last column with version %s" %xgb.__version__
... except ValueError:
...     "Still broken when adding non-zero entries to last column with version %s" %xgb.__version__
... 
/Users/david.mcgarry/anaconda/envs/ml/lib/python2.7/site-packages/scipy/sparse/compressed.py:739: SparseEfficiencyWarning: Changing the sparsity structure of a csr_matrix is expensive. lil_matrix is more efficient.
  SparseEfficiencyWarning)
Works when adding non-zero entries to last column with version 0.4

ここでも同じ問題がありますが、前回のリリースで何かが間違いなく壊れていました。 同じデータセットと処理で、以前はこの問題は発生していませんでした。 私は間違っているかもしれませんが、現在、sklearnAPIを使用したPythonのスパースcsr配列を使用した単体テストはないようです。 上記の@dmcgarryの例をtests/python/tests_with_sklearn.pyに追加することは可能でしょうか？

CSRスパース配列で.toarray（）を使用して回避しようとしましたが、何かが深刻に壊れています。 保存したモデルをロードし、それを使用して.toarray（）を使用して予測を実行しようとすると、エラーメッセージは表示されませんが、結果は正しくありません。 0.4a30にロールバックしましたが、正常に動作します。 根本的な原因を突き止める時間がありませんでしたが、それは良くありません。

この問題は、DMatrix..num_col（）がスパース行列のゼロ以外の列の量のみを返すために発生します。 したがって、トレーニングデータとテストデータの両方にゼロ以外の列が同じ量ある場合、すべてが正常に機能します。
そうしないと、検証関数が次のように呼び出すため、異なる機能名リストが作成されます。

    <strong i="7">@property</strong>
    def feature_names(self):
        """Get feature names (column labels).

        Returns
        -------
        feature_names : list or None
        """
        if self._feature_names is None:
            return ['f{0}'.format(i) for i in range(self.num_col())]
        else:
            return self._feature_names

self._feature_namesは、スパース行列の場合はNoneです。また、self.num_col（）はゼロ以外の列の量のみを返すため、「to-be-」のゼロ以外の列の量がすぐに検証に失敗します。予測された」データは、トレーニングデータのゼロ以外の列の量とは異なります。

まだDunnoですが、それを修正するのが最善の方法です。

@ bryan-woodsが報告したことにより、スパース行列の処理に根本的な問題があることも心配です。たとえば、トレインとテストの両方にx個のゼロ列がありますが、インデックスが異なります=> 「feature_names（self）」は両方のセットに対して同じ機能リストを返すため、エラーは発生しませんが、トレインとテストの間でゼロ以外の列インデックスが一致しないため、予測が間違っている可能性があります。

誰かがこの問題に取り組んだことがありますか？ 少なくとも、開発に使用できる単体テストを開発した人はいますか？

私はそれに取り組んでいませんが、上記の@dmcgarryの例は、ユニットテストの開始として使用できると思います。

import xgboost as xgb
import numpy as np
import scipy.sparse


def test_xgbclassifier_sklearn_sparse():
    np.random.seed(10)
    X = scipy.sparse.rand(100,10).tocsr()
    test = scipy.sparse.rand(10, 500).tocsr()
    y = np.random.randint(2,size=100)

    clf = xgb.XGBClassifier()
    clf.fit(X,y)
    pred = clf.predict_proba(test)

リポジトリのフォークで、いくつかの新しいスパース配列テストを作成しました。 興味のある方へ：
https://github.com/bryan-woods/xgboost/blob/sparse_test/tests/python/test_scipy_sparse.py

チェックアウトのルートディレクトリからテストを実行するには、次の手順に従います。
python -m nose tests / python / test_scipy_sparse.py

両方のテストが失敗することに気付くでしょう。 これは、少なくともそれに対して開発するためのテストを提供します。

私もこの問題を経験していますが、それが最終的にライブラリで解決されるまで、修正するための最良の方法を理解することができません。

https://github.com/dmlc/xgboost/issues/1583に移動し

maxid：0などの最大機能インデックスを使用して機能リストに機能を追加できます

データフレームを渡すことで問題が解決しました

どうすればバージョン0.4に戻すことができますか？

pip install --upgrade xgboost == 0.4a30

すべてのタイプのスパース行列が機能しませんでした（私はtf-idfデータを使用しています）。 以前のバージョンに戻らなければなりませんでした。 ヒントをありがとう！

まだ問題を抱えている皆さん：使用しているコードには＃1606の修正が含まれていますか？

はい、xgboostの最後のバージョンをインストールしましたが、まだこの問題が発生しています。

これはまだ存在しており、簡単に再現できます。 十分な大きさのデータセットを使用する場合、これは発生する可能性が低くなりますが、これをグリッド検索オブジェクトでラップする場合、train / cvテストセットで使用可能な機能が異なるcv分割内でほぼ確実に発生します。

正直なところ、DMatrixがscipyスパース行列によって提供される形状ヒントを無視する理由を私は本当に理解していません。 サイズを計算するのではなく、その情報に基づいて設定する必要があります。

Xgboost PythonネイティブAPI（0.6）を使用していますが、含まれている行のいずれかに最後の列が定義されている場合、LIBSVM [スパース]形式ファイルからDMatrixをロードするときに同じエラーが発生します。 私の回避策は、最初の行にダミー列を定義することでした:(

train_fv_file = 'train_fv_eval.svm'
dtrain = xgb.DMatrix(train_fv_file, feature_names=feature_vector_labels, feature_types=feature_vector_types)

再現が非常に簡単な場合、再現可能な例を提供したいと思う人はいますか？ できれば、sklearnレイヤーなしで（考えられる原因を特定するため）。

@gabrielspmoreira ：最後の数列が完全にまばらなLIBSVMファイルからロードすることについてのあなたのポイントがわかります...そのDMatrix構築方法は、 num_colヒントを持つことからも恩恵を受けるでしょう。

In [42]: matrix = xgboost.DMatrix(scipy.sparse.csr_matrix([[0, 2, 3, 0], [0, 2, 2, 0], [1, 0, 5, 0], [0, 1, 0, 0]], shape=(4,4)))
In [43]: matrix.num_col()
Out[43]: 3L

行/列のサブサンプルで新しいDMatrixが作成されるたびに、これが発生する可能性があります（DMatrixに列の数を明示的に指示した場合でも、列の数が減少します）。 これは、サブセットがすべてゼロになる可能性が高いため、小さいデータセットまたは非常にまばらな列でよく発生します。

トレイン/テストセット間でこれが発生すると、モデルは異なる数の機能を予期し、ValueErrorを吐き出すため、テストセットを評価できません。

何が起こっているのか確信しているので、xgboostコアとsklearn-wrapper内でこれが機能する/機能しないテストを見つけようとしていますが、どこで起こっているのかわかりません。

@ l3link ：コードが古くなっているようです。 これが私が得るものです：

In [2]: import scipy
   ...: import xgboost
   ...: matrix = xgboost.DMatrix(scipy.sparse.csr_matrix([[0, 2, 3, 0], [0, 2, 2, 0], [1, 0, 5, 0], [0, 1, 0, 0]], shape=(4,4)))
   ...: matrix.num_col()
   ...:
Out[2]: 4L

In [3]: matrix._init_from_csr??
Signature: matrix._init_from_csr(csr)
Source:
    def _init_from_csr(self, csr):
        """
        Initialize data from a CSR matrix.
        """
        if len(csr.indices) != len(csr.data):
            raise ValueError('length mismatch: {} vs {}'.format(len(csr.indices), len(csr.data)))
        self.handle = ctypes.c_void_p()
        _check_call(_LIB.XGDMatrixCreateFromCSREx(c_array(ctypes.c_size_t, csr.indptr),
                                                  c_array(ctypes.c_uint, csr.indices),
                                                  c_array(ctypes.c_float, csr.data),
                                                  len(csr.indptr), len(csr.data),
                                                  csr.shape[1],
                                                  ctypes.byref(self.handle)))
File:      c:\anaconda2\lib\site-packages\xgboost-0.6-py2.7.egg\xgboost\core.py
Type:      instancemethod

は、

In [64]: xgboost.__version__ Out[64]: '0.6'

Signature: matrix._init_from_csr(csr) Source: def _init_from_csr(self, csr): """ Initialize data from a CSR matrix. """ if len(csr.indices) != len(csr.data): raise ValueError('length mismatch: {} vs {}'.format(len(csr.indices), len(csr.data))) self.handle = ctypes.c_void_p() _check_call(_LIB.XGDMatrixCreateFromCSR(c_array(ctypes.c_ulong, csr.indptr), c_array(ctypes.c_uint, csr.indices), c_array(ctypes.c_float, csr.data), len(csr.indptr), len(csr.data), ctypes.byref(self.handle))) File: ~/anaconda/lib/python2.7/site-packages/xgboost/core.py Type: instancemethod

私の.6バージョンにXGDMatrixCreateFromCSREx命令の代わりにXGDMatrixCreateFromCSRが含まれているのは奇妙に思えますが、これは形になりません。
osxの分布が異なる可能性はありますか？

@ bryan-woodsが報告したことにより、スパース行列の処理に根本的な問題があることも心配です。たとえば、トレインとテストの両方にx個のゼロ列がありますが、インデックスが異なります=> 「feature_names（self）」は両方のセットに対して同じ機能リストを返すため、エラーは発生しませんが、トレインとテストの間でゼロ以外の列インデックスが一致しないため、予測が間違っている可能性があります。

誰かがこの質問に答えてもらえますか？ 0.4バージョンに戻したところ、動作しているように見えますが、まだ本当にスパース行列を使用しているため、正常に動作しているかどうか心配です。

@ l3linkそれについて奇妙なことは何もありません：バージョン番号（またはpypiパッケージ）が長期間更新されないことがあります。 たとえば、今日のhttps://github.com/dmlc/xgboost/blob/master/python-package/xgboost/VERSIONファイルは7月29日に最後に変更され、最後のpypiパッケージはhttps：//pypi.pythonです。 org / pypi / xgboost /の日付は8月9日です。 修正は9月23日＃1606に提出されました。 githubから最新のコードをチェックしてください。

パンダDataFrame （非スパース表現）を使用したときにこの問題が発生しました。
df.as_matrix()を介してnumpy ndarrayに変換し、エラーを取り除きました。

データフレームを配列に変換した後、私もこのエラーを取り除きました。

列車セットと同じ順序でテストセットの列を並べ替えると、これが修正されました。
私はパンダのデータフレームを使用しました。 これがないと、 .as_matrix()を使用しても同じ問題が発生していました。

やった：

test = test[train.columns]

@warpuvソリューションを試しましたが、

トレイン/テストcsrマトリックスをcscに変換することは私のために働きました

Xtrain = scipy.sparse.csc_matrix(Xtrain)

csc_matrixへの変換0.6a2でテストされています：

    X_train = scipy.sparse.csc_matrix(X_train)
    X_test = scipy.sparse.csc_matrix(X_test)

    xgb_train = xgb.DMatrix(X_train, label=y_train)
    xgb_test = xgb.DMatrix(X_test, label=y_test)

type(X_train) <class 'scipy.sparse.csr.csr_matrix'>
type(X_test) <class 'scipy.sparse.csr.csr_matrix'>
type(X_train) <class 'scipy.sparse.csc.csc_matrix'>
type(X_test) <class 'scipy.sparse.csc.csc_matrix'>
type(xgb_train) <class 'xgboost.core.DMatrix'>
type(xgb_test) <class 'xgboost.core.DMatrix'>

私の元のスパース行列は、sklearn tfの出力です-idfベクトライザーはcsr_matrix形式でした。

まだ修正はありますか？

python3で最新バージョン（0.7.post3）をビルドしたばかりで、この問題がまだ存在することを確認できます。 上記の@dmcgarryの例を適用した後でも、 csr_matrixとcsc_matrix両方で問題が発生しています。

import xgboost as xgb
import numpy as np
from scipy import sparse

np.random.seed(10)

X_csr = sparse.rand(100, 10).tocsr()
test_csr = sparse.rand(10, 500).tocsr()

X_csc = sparse.rand(100, 10).tocsc()
test_csc = sparse.rand(10, 500).tocsc()

y = np.random.randint(2, size=100)

clf_csr = xgb.XGBClassifier()
clf_csr.fit(X_csr, y)

clf_csc = xgb.XGBClassifier()
clf_csc.fit(X_csc, y)

# Try with csr
try:
    pred = clf_csr.predict_proba(test_csr)
    print("Works when csr with version %s" %xgb.__version__)
except ValueError:
    print("Broken when csr with version %s" %xgb.__version__)

try:
    test_csr[0,(test_csr.shape[1]-1)] = 1.0
    pred = clf_csr.predict_proba(test_csr)
    print("Works when adding non-zero entries to last column with version %s" %xgb.__version__)
except:
    print("Still broken when adding non-zero entries to last column with version %s" %xgb.__version__)

# Try with csc
try:
    pred = clf_csc.predict_proba(test_csc)
    print("Works when csc with version %s" %xgb.__version__)
except ValueError:
    print("Broken when csc with version %s" %xgb.__version__)

try:
    test_csc[0,(test_csc.shape[1]-1)] = 1.0
    pred = clf_csc.predict_proba(test_csc)
    print("Works when adding non-zero entries to last column with version %s" %xgb.__version__)
except:
    print("Still broken when adding non-zero entries to last column with version %s" %xgb.__version__)

上記のコードにより、次の出力が得られました。

Broken when csr with version 0.7
Still broken when adding non-zero entries to last column with version 0.7
Broken when csc with version 0.7
Still broken when adding non-zero entries to last column with version 0.7

plsヘルプ

この問題が解決されたのはなぜですか？

私は最近この問題に2回遭遇しました。 あるケースでは、入力データフレームを配列に変更するだけで機能します。 2つ目は、test_df = test_df [train_df.columns]を使用してテストデータフレームの列名を再調整する必要があります。 どちらの場合も、train_dfとtest_dfの列名はまったく同じです。

@CathyQianのコメントがわかりませんが、 train_df / test_dfまばらですか？ また、これらの問題が発生したときに、どのバージョンのxgboostを実行していましたか？

@CathyQian xgboostは列の_order_に依存しており、これはこの問題とは関係ありません。

@ewellinger WRTあなたの例：10個の特徴を持つデータでトレーニングされたモデルは、予測のために500個の特徴を持つデータを受け入れるべきではないため、エラーがスローされます。 また、すべての行列からDMatricesを作成し、それらのnum_colとnum_rowを調べると、期待される結果が得られます。

「スパース性の問題」の現在の状態は次のとおりです。

• CSRからのDMatrixの作成と、モデルでのその使用は正しく機能するはずです。 それがこの問題の主題だったので、問題は閉じられました。
• CSCからDMatrixを作成すると、正しい次元のオブジェクトが生成されますが、最後の行が完全にスパースである場合、トレーニングまたは予測中に誤った結果が得られる可能性があります＃2630。 その部分を適切に修正する時間がまだありませんでした。
• libsvmデータをDMatrixにロードするときに事前定義された列数を指定するパラメーターはまだ実装されていません。 貢献するボランティアは大歓迎です。

@warpuvそれは私のために働きます、どうもありがとう。

密度行列で同じエラーが発生しました。 （最新のanacondaのxgboost v.0.6）
トレーニングサンプルのさまざまな特徴サブセットで複数の回帰を実行すると、エラーが発生しました。
次の回帰をフィッティングする前に毎回新しいモデルインスタンスを作成すると、問題が修正されました。

• libsvmデータをDMatrixにロードするときに事前定義された列数を指定するパラメーターはまだ実装されていません。 貢献するボランティアは大歓迎です。

0.8の時点で、これはまだ存在していませんよね？

CSCからDMatrixを作成すると、正しい次元のオブジェクトが生成されますが、最後の行が完全にスパースである場合、トレーニングまたは予測中に誤った結果が得られる可能性があります＃2630。 その部分を適切に修正する時間がまだありませんでした。

@ khotilov ＃3553はこの問題を修正しました。

libsvmデータをDMatrixにロードするときに事前定義された列数を指定するパラメーターはまだ実装されていません。 貢献するボランティアは大歓迎です。

@MonsieurWaveこの機能では、dmlc-coreへの小さなプルリクエストでうまくいくはずです。 それを見てみましょう。

@ hcho3どうもありがとう。

今のところ、libsvmの最初の行をそれほどまばらにしないことでこの問題を回避します。つまり、値0の列も保存します。