Xgboost: Несоответствие feature_names при использовании разреженных матриц в Python

Похоже, это работает только в том случае, если разреженная матрица - это CSC. Он не работает для матриц CSR или COO, как более ранние версии.

Разве это не случайная проблема, когда все крайние правые столбцы равны 0 или 1? Может быть, как # 1091 и # 1221.

@sinhrks : Для меня это не "случайный". Я часто тренирую XGBoost на очень разреженных данных (и это здорово! Обычно он превосходит все другие модели, причем с довольно большим отрывом).

Затем, когда у меня будет запущена обученная модель в производственной среде, я, конечно же, захочу сделать прогнозы на основе новой части входящих данных. Эти данные, конечно, скорее всего, будут разреженными и не будут иметь значения для любого столбца, который окажется последним столбцом. Итак, XGBoost теперь у меня часто ломается, и я обнаружил, что переключаюсь на другие (менее точные) модели просто потому, что они лучше поддерживают разреженные данные.

Кто-нибудь знает, почему именно сейчас возникает эта ошибка и как с ней бороться? Для меня это проблема, поскольку мои существующие сценарии не работают.

Я пробую xgboost как часть конвейера sklearn и столкнулся с той же проблемой. Есть ли обходной путь, пока он не будет исправлен?

Да, когда вы вызываете прогноз, используйте функцию toarray () разреженного массива. Это ужасно неэффективно с памятью, но работает с небольшими фрагментами.

отправлено из моего Айфона

26 августа 2016 г. в 22:44 Педро Родригес [email protected] написал:

Я пробую xgboost как часть конвейера sklearn и столкнулся с той же проблемой. Есть ли обходной путь, пока он не будет исправлен?

-
Вы получили это, потому что прокомментировали.
Ответьте на это письмо напрямую, просмотрите его на GitHub или отключите чат.

По какой-то причине ошибка не возникает, если я сохраняю и загружаю обученную модель:

    bst = xgb.train(param, dtrain, num_round)

    # predict is not working without this code
    bst.save_model(model_file_name)
    bst = xgb.Booster(param)
    bst.load_model(model_file_name)

    preds = bst.predict(dtest)

@ bryan-woods Мне удалось найти лучшую работу с tocsc . Вероятно, есть некоторая потеря производительности, но не такая плохая, как создание плотной матрицы.

Включая это в мой конвейер sklearn прямо перед работой xgboost

class CSCTransformer(TransformerMixin):
    def transform(self, X, y=None, **fit_params):
        return X.tocsc()

    def fit_transform(self, X, y=None, **fit_params):
        self.fit(X, y, **fit_params)
        return self.transform(X)

    def fit(self, X, y=None, **fit_params):
        return self

    def get_params(self, deep=True):
        return {}

Ни формат CSC, ни добавление ненулевых записей в последний столбец не решают проблему в самой последней версии xgboost. Возврат к версии 0.4a30 - единственное, что я могу заставить его работать, рассмотрим следующую настройку (с воспроизводимым семенем) в исходном примере:

>>> import xgboost as xgb
>>> import numpy as np
>>> from scipy import sparse
>>> 
>>> np.random.seed(10)
>>> X = sparse.rand(100,10).tocsr()
>>> test = sparse.rand(10, 500).tocsr()
>>> y = np.random.randint(2,size=100)
>>> 
>>> clf = xgb.XGBClassifier()
>>> clf.fit(X,y)
XGBClassifier(base_score=0.5, colsample_bylevel=1, colsample_bytree=1,
       gamma=0, learning_rate=0.1, max_delta_step=0, max_depth=3,
       min_child_weight=1, missing=None, n_estimators=100, nthread=-1,
       objective='binary:logistic', reg_alpha=0, reg_lambda=1,
       scale_pos_weight=1, seed=0, silent=True, subsample=1)
>>> 
>>> try:
...     pred = clf.predict_proba(test)
...     print "Works when csr with version %s" %xgb.__version__
... except ValueError:
...     "Broken when csr with version %s" %xgb.__version__
... 
'Broken when csr with version 0.6'
>>> try:
...     pred = clf.predict_proba(test.tocsc())
...     print "Works when csc with version %s" %xgb.__version__
... except ValueError:
...     "Still broken when csc with version %s" %xgb.__version__
... 
'Still broken when csc with version 0.6'
>>> try:
...     test[0,(test.shape[1]-1)] = 1.0
...     pred = clf.predict_proba(test)
...     print "Works when adding non-zero entries to last column with version %s" %xgb.__version__
... except ValueError:
...     "Still broken when adding non-zero entries to last column with version %s" %xgb.__version__
... 
/home/david.mcgarry/.conda/envs/ml/lib/python2.7/site-packages/scipy/sparse/compressed.py:730: SparseEfficiencyWarning: Changing the sparsity structure of a csr_matrix is expensive. lil_matrix is more efficient.
  SparseEfficiencyWarning)
'Still broken when adding non-zero entries to last column with version 0.6'

>>> import xgboost as xgb
>>> import numpy as np
>>> from scipy import sparse
>>> 
>>> np.random.seed(10)
>>> X = sparse.rand(100,10).tocsr()
>>> test = sparse.rand(10, 500).tocsr()
>>> y = np.random.randint(2,size=100)
>>> 
>>> clf = xgb.XGBClassifier()
>>> clf.fit(X,y)
XGBClassifier(base_score=0.5, colsample_bylevel=1, colsample_bytree=1,
       gamma=0, learning_rate=0.1, max_delta_step=0, max_depth=3,
       min_child_weight=1, missing=None, n_estimators=100, nthread=-1,
       objective='binary:logistic', reg_alpha=0, reg_lambda=1,
       scale_pos_weight=1, seed=0, silent=True, subsample=1)
>>> 
>>> try:
...     pred = clf.predict_proba(test)
...     print "Works when csr with version %s" %xgb.__version__
... except ValueError:
...     "Broken when csr with version %s" %xgb.__version__
... 
Works when csr with version 0.4
>>> try:
...     pred = clf.predict_proba(test.tocsc())
...     print "Works when csc with version %s" %xgb.__version__
... except ValueError:
...     "Still broken when csc with version %s" %xgb.__version__
... 
Works when csc with version 0.4
>>> try:
...     test[0,(test.shape[1]-1)] = 1.0
...     pred = clf.predict_proba(test)
...     print "Works when adding non-zero entries to last column with version %s" %xgb.__version__
... except ValueError:
...     "Still broken when adding non-zero entries to last column with version %s" %xgb.__version__
... 
/Users/david.mcgarry/anaconda/envs/ml/lib/python2.7/site-packages/scipy/sparse/compressed.py:739: SparseEfficiencyWarning: Changing the sparsity structure of a csr_matrix is expensive. lil_matrix is more efficient.
  SparseEfficiencyWarning)
Works when adding non-zero entries to last column with version 0.4

Та же проблема, что-то определенно сломалось в последнем выпуске. Раньше не было этой проблемы с тем же набором данных и обработкой. Возможно, я ошибаюсь, но похоже, что в настоящее время в Python нет модульных тестов с разреженными массивами csr с использованием sklearn API. Можно ли добавить приведенный выше пример tests/python/tests_with_sklearn.py ?

Я попытался обойти это, используя .toarray () с разреженными массивами CSR, но что-то серьезно сломалось. Если я загружаю сохраненную модель и пытаюсь использовать ее для прогнозирования с помощью .toarray (), я не получаю сообщения об ошибке, но результаты неверны. Откатился на 0.4a30 и работает нормально. У меня не было времени искать первопричину, но это нехорошо.

Проблема возникает из-за того, что DMatrix..num_col () возвращает только количество ненулевых столбцов в разреженной матрице. Следовательно, если и обучающие, и тестовые данные имеют одинаковое количество ненулевых столбцов, все работает нормально.
В противном случае вы получите разные списки имен функций, потому что функции проверки вызывают:

    <strong i="7">@property</strong>
    def feature_names(self):
        """Get feature names (column labels).

        Returns
        -------
        feature_names : list or None
        """
        if self._feature_names is None:
            return ['f{0}'.format(i) for i in range(self.num_col())]
        else:
            return self._feature_names

self._feature_names имеет значение None для разреженных матриц, и поскольку self.num_col () возвращает только количество ненулевых столбцов, проверка не выполняется, как только количество ненулевых столбцов в "to-be- предсказанные "данные отличаются от количества ненулевых столбцов в обучающих данных.

Пока не знаю, где лучше всего это исправить.

Я также боюсь, что существует фундаментальная проблема с обработкой разреженных матриц, из-за чего @ bryan-woods сообщил: скажем, у нас есть x нулевых столбцов как в поезде, так и в тесте, но с разными индексами => Будет быть без ошибок, потому что "feature_names (self)" возвращает один и тот же список функций для обоих наборов, но прогнозы могут быть неверными из-за несоответствия ненулевых индексов столбца между поездом и тестом.

Кто-нибудь работал над этим вопросом? У кого-нибудь есть хотя бы модульный тест, который мы могли бы использовать для разработки?

Я не работал над этим, но пример @dmcgarry , приведенный выше, можно было бы использовать в качестве начала модульного теста, я думаю,

import xgboost as xgb
import numpy as np
import scipy.sparse


def test_xgbclassifier_sklearn_sparse():
    np.random.seed(10)
    X = scipy.sparse.rand(100,10).tocsr()
    test = scipy.sparse.rand(10, 500).tocsr()
    y = np.random.randint(2,size=100)

    clf = xgb.XGBClassifier()
    clf.fit(X,y)
    pred = clf.predict_proba(test)

Я создал пару новых тестов разреженных массивов в своей вилке репо. Для тех, кому интересно:
https://github.com/bryan-woods/xgboost/blob/sparse_test/tests/python/test_scipy_sparse.py

Чтобы запустить тесты из корневого каталога кассы:
python -m тесты носа / python / test_scipy_sparse.py

Вы заметите, что оба теста терпят неудачу. Это, по крайней мере, послужит тестом для развития.

У меня тоже возникла эта проблема, но я не могу понять, что лучше всего исправить, пока она не будет окончательно решена в библиотеке.

перейти на https://github.com/dmlc/xgboost/issues/1583

вы можете добавить функцию в свой список функций с максимальным индексом функции, например maxid: 0

передача фрейма данных решила проблему для меня

как мне вернуться к версии 0.4?

pip install --upgrade xgboost == 0.4a30

У меня не работали все типы разреженных матриц (я работаю с данными tf-idf). Мне пришлось вернуться к предыдущей версии. Спасибо за совет!

У всех, у кого все еще есть проблемы: включает ли код, который вы используете, исправления в # 1606?

Да, я установил последнюю версию xgboost, но проблема не исчезла.

Это все еще существует и легко воспроизводимо. Если вы используете достаточно большой набор данных, это маловероятно, но если вы обертываете это в объекте поиска по сетке, это почти наверняка происходит в разбиении cv, где функции, доступные в наборах тестов train / cv, различаются.

Честно говоря, я не совсем понимаю, почему DMatrix игнорирует подсказку формы, предоставляемую scipy разреженными матрицами. Он должен устанавливать размер на основе этой информации, а не рассчитывать его.

Я использую собственный API Xgboost Python (0.6), и у меня такая же ошибка при загрузке DMatrix из файла формата LIBSVM [sparse], если в какой-либо из строк, содержащихся, определен последний столбец. Мое обходное решение заключалось в том, чтобы определить фиктивный столбец в первой строке :(

train_fv_file = 'train_fv_eval.svm'
dtrain = xgb.DMatrix(train_fv_file, feature_names=feature_vector_labels, feature_types=feature_vector_types)

Если это так легко воспроизвести, неужели кто-нибудь хочет привести воспроизводимый пример? Желательно без склеерного слоя (чтобы выявить возможную причину).

@gabrielspmoreira : Я понимаю вашу точку зрения о загрузке из файла LIBSVM, который имеет полностью разреженные последние несколько столбцов ... Этот метод построения DMatrix также выиграет от наличия подсказки num_col .

In [42]: matrix = xgboost.DMatrix(scipy.sparse.csr_matrix([[0, 2, 3, 0], [0, 2, 2, 0], [1, 0, 5, 0], [0, 1, 0, 0]], shape=(4,4)))
In [43]: matrix.num_col()
Out[43]: 3L

Каждый раз, когда создается новый DMatrix для подвыборки строк / столбцов, существует вероятность, что это происходит (количество столбцов уменьшается, хотя мы явно указали DMatrix, сколько столбцов существует). Это часто случается с небольшими наборами данных или очень разреженными столбцами, потому что более вероятно, что в подмножестве будут все нули.

Как только это происходит между набором поездов / тестов, модель не может оценить набор тестов, потому что она ожидает другое количество функций и выдает ошибку ValueError.

Я пытаюсь найти тест, в котором это работает / не работает в ядре xgboost и sklearn-wrapper, поскольку я уверен, что происходит, но я не знаю, где это происходит.

@ l3link : похоже, ваш код устарел. Вот что я получаю:

In [2]: import scipy
   ...: import xgboost
   ...: matrix = xgboost.DMatrix(scipy.sparse.csr_matrix([[0, 2, 3, 0], [0, 2, 2, 0], [1, 0, 5, 0], [0, 1, 0, 0]], shape=(4,4)))
   ...: matrix.num_col()
   ...:
Out[2]: 4L

In [3]: matrix._init_from_csr??
Signature: matrix._init_from_csr(csr)
Source:
    def _init_from_csr(self, csr):
        """
        Initialize data from a CSR matrix.
        """
        if len(csr.indices) != len(csr.data):
            raise ValueError('length mismatch: {} vs {}'.format(len(csr.indices), len(csr.data)))
        self.handle = ctypes.c_void_p()
        _check_call(_LIB.XGDMatrixCreateFromCSREx(c_array(ctypes.c_size_t, csr.indptr),
                                                  c_array(ctypes.c_uint, csr.indices),
                                                  c_array(ctypes.c_float, csr.data),
                                                  len(csr.indptr), len(csr.data),
                                                  csr.shape[1],
                                                  ctypes.byref(self.handle)))
File:      c:\anaconda2\lib\site-packages\xgboost-0.6-py2.7.egg\xgboost\core.py
Type:      instancemethod

Хм,

In [64]: xgboost.__version__ Out[64]: '0.6'

Signature: matrix._init_from_csr(csr) Source: def _init_from_csr(self, csr): """ Initialize data from a CSR matrix. """ if len(csr.indices) != len(csr.data): raise ValueError('length mismatch: {} vs {}'.format(len(csr.indices), len(csr.data))) self.handle = ctypes.c_void_p() _check_call(_LIB.XGDMatrixCreateFromCSR(c_array(ctypes.c_ulong, csr.indptr), c_array(ctypes.c_uint, csr.indices), c_array(ctypes.c_float, csr.data), len(csr.indptr), len(csr.data), ctypes.byref(self.handle))) File: ~/anaconda/lib/python2.7/site-packages/xgboost/core.py Type: instancemethod

Кажется странным, что моя версия .6 имеет XGDMatrixCreateFromCSR вместо инструкций XGDMatrixCreateFromCSREx, которые не принимают форму.
Возможно ли другой дистрибутив osx?

Я также боюсь, что существует фундаментальная проблема с обработкой разреженных матриц, из-за чего @ bryan-woods сообщил: скажем, у нас есть x нулевых столбцов как в поезде, так и в тесте, но с разными индексами => Будет быть без ошибок, потому что "feature_names (self)" возвращает один и тот же список функций для обоих наборов, но прогнозы могут быть неверными из-за несоответствия ненулевых индексов столбца между поездом и тестом.

Кто-нибудь может ответить на этот вопрос? Я вернулся к версии 0.4, и теперь, похоже, она работает, но я боюсь, что она работает правильно, потому что я все еще использую действительно разреженные матрицы.

@ l3link ничего странного в этом нет: номера версий (или пакеты pypi) иногда не обновляются долгое время. Например, файл https://github.com/dmlc/xgboost/blob/master/python-package/xgboost/VERSION на сегодняшний день последний раз изменялся 29 июля, а последний пакет pypi https: //pypi.python. org / pypi / xgboost / датировано 9 августа. Хотя исправление было отправлено 23 сентября №1606. Пожалуйста, проверьте последний код на github.

У меня была эта проблема, когда я использовал pandas DataFrame (неразреженное представление).
Я преобразовал его в numpy ndarray через df.as_matrix() и избавился от ошибки.

Я тоже избавился от этой ошибки после преобразования фрейма данных в массив.

Изменение порядка столбцов в наборе тестов в том же порядке, что и набор поездов, исправило это для меня.
Я использовал фреймы данных Pandas. Без этого использование .as_matrix() вызывало ту же проблему.

Я сделал:

test = test[train.columns]

Я попробовал решение @warpuv, и оно сработало. У меня большие данные, я не могу загрузить их в память, чтобы изменить порядок столбцов.

Преобразование поездов / тестовых матриц csr в csc сработало для меня

Xtrain = scipy.sparse.csc_matrix(Xtrain)

Преобразование в csc_matrix работает, проверено на 0.6a2 :

    X_train = scipy.sparse.csc_matrix(X_train)
    X_test = scipy.sparse.csc_matrix(X_test)

    xgb_train = xgb.DMatrix(X_train, label=y_train)
    xgb_test = xgb.DMatrix(X_test, label=y_test)

type(X_train) <class 'scipy.sparse.csr.csr_matrix'>
type(X_test) <class 'scipy.sparse.csr.csr_matrix'>
type(X_train) <class 'scipy.sparse.csc.csc_matrix'>
type(X_test) <class 'scipy.sparse.csc.csc_matrix'>
type(xgb_train) <class 'xgboost.core.DMatrix'>
type(xgb_test) <class 'xgboost.core.DMatrix'>

Моя исходная разреженная матрица - это вывод векторизатора sklearn tf-idf в формате csr_matrix .

Есть ли исправление?

Только что собрал последнюю версию (0.7.post3) на python3, и я могу подтвердить, что эта проблема все еще существует. После адаптации приведенного выше примера csr_matrix и csc_matrix .

import xgboost as xgb
import numpy as np
from scipy import sparse

np.random.seed(10)

X_csr = sparse.rand(100, 10).tocsr()
test_csr = sparse.rand(10, 500).tocsr()

X_csc = sparse.rand(100, 10).tocsc()
test_csc = sparse.rand(10, 500).tocsc()

y = np.random.randint(2, size=100)

clf_csr = xgb.XGBClassifier()
clf_csr.fit(X_csr, y)

clf_csc = xgb.XGBClassifier()
clf_csc.fit(X_csc, y)

# Try with csr
try:
    pred = clf_csr.predict_proba(test_csr)
    print("Works when csr with version %s" %xgb.__version__)
except ValueError:
    print("Broken when csr with version %s" %xgb.__version__)

try:
    test_csr[0,(test_csr.shape[1]-1)] = 1.0
    pred = clf_csr.predict_proba(test_csr)
    print("Works when adding non-zero entries to last column with version %s" %xgb.__version__)
except:
    print("Still broken when adding non-zero entries to last column with version %s" %xgb.__version__)

# Try with csc
try:
    pred = clf_csc.predict_proba(test_csc)
    print("Works when csc with version %s" %xgb.__version__)
except ValueError:
    print("Broken when csc with version %s" %xgb.__version__)

try:
    test_csc[0,(test_csc.shape[1]-1)] = 1.0
    pred = clf_csc.predict_proba(test_csc)
    print("Works when adding non-zero entries to last column with version %s" %xgb.__version__)
except:
    print("Still broken when adding non-zero entries to last column with version %s" %xgb.__version__)

Приведенный выше код привел к следующему результату:

Broken when csr with version 0.7
Still broken when adding non-zero entries to last column with version 0.7
Broken when csc with version 0.7
Still broken when adding non-zero entries to last column with version 0.7

пожалуйста, помогите

Почему этот вопрос был закрыт?

Недавно я дважды сталкивался с этой проблемой. В одном случае я просто меняю фрейм входных данных на массив, и он работает. Для второго мне нужно перестроить имена столбцов тестового фрейма данных, используя test_df = test_df [train_df.columns]. В обоих случаях train_df и test_df имеют точно такие же имена столбцов.

Думаю, я не понимаю ваш комментарий @CathyQian , эти train_df / test_df редкие? Кроме того, какую версию xgboost вы использовали, когда столкнулись с этими проблемами?

@CathyQian xgboost полагается на _order_ столбцов, и это не связано с этой проблемой.

@ewellinger WRT ваш пример: модель, обученная на данных с 10 функциями, не должна принимать данные с 500 функциями для прогнозирования, поэтому возникает ошибка. Кроме того, создание DMatrices из всех ваших матриц и проверка их num_col и num_row дает ожидаемые результаты.

Текущее состояние «проблем разреженности»:

• Создание DMatrix из CSR и использование ее в модели должно работать правильно. Вопрос был закрыт, так как он был предметом данного выпуска.
• Создание DMatrix из CSC создает объект с правильными размерами, но может давать неверные результаты во время обучения или прогнозирования, когда последние строки полностью разрежены # 2630. У меня еще не было времени, чтобы как следует починить эту деталь.
• Параметр для указания предопределенного количества столбцов при загрузке данных libsvm в DMatrix еще не реализован. Приглашаются добровольцы.

@warpuv у меня работает, большое спасибо.

Была такая же ошибка, с плотными матрицами. (xgboost v.0.6 из последней версии Anaconda.)
Ошибка произошла, когда я выполнил несколько регрессий для разных подмножеств функций обучающей выборки.
Создание нового экземпляра модели каждый раз перед подгонкой следующей регрессии устраняет проблему.

• Параметр для указания предопределенного количества столбцов при загрузке данных libsvm в DMatrix еще не реализован. Приглашаются добровольцы.

Начиная с версии 0.8, этого все еще не существует, верно?

Создание DMatrix из CSC создает объект с правильными размерами, но может давать неверные результаты во время обучения или прогнозирования, когда последние строки полностью разрежены # 2630. У меня еще не было времени, чтобы как следует починить эту деталь.

@khotilov # 3553 исправил эту проблему.

Параметр для указания предопределенного количества столбцов при загрузке данных libsvm в DMatrix еще не реализован. Приглашаются добровольцы.

@MonsieurWave Для этой функции небольшой запрос на перенос в dmlc-core должен помочь. Дай мне взглянуть на это.

@ hcho3 Большое спасибо.

На данный момент я обхожу эту проблему, сделав первую строку моей libsvm не такой разреженной, то есть: сохраняя даже столбцы со значением 0.