Xgboost: Wie generiert XGBoost Klassenwahrscheinlichkeiten in einem Klassifikationsproblem mit mehreren Klassen?

Ich habe auch die gleiche Frage. Das einzige, was mir aufgefallen ist, ist, dass, wenn Sie 20 Klassen haben und die Anzahl der Schätzer auf 100 setzen, Sie 20 * 100 = 2000 Bäume in Ihrem Modell gedruckt haben. Meine Vermutung war, dass die ersten 100 Schätzer die erste Klasse im Vergleich zu anderen klassifizieren. Die nächsten 100 Schätzer klassifizieren die zweite Klasse im Vergleich zu anderen usw.

Kann ich nicht bestätigen, aber vielleicht könnte es so sein?

Das ist eine sehr gute Beobachtung, die mir vorher nicht aufgefallen war. Es stimmt, die Anzahl der Bäume im Modell ist n_estimator x n_class . Um jedoch die Reihenfolge der Bäume herauszufinden, habe ich das folgende Spielzeugbeispiel verwendet:

x = np.concatenate([np.ones([10,1])*np.array([1,0,0]),np.ones([10,1])*np.array([0,1,0]),np.ones([10,1])*np.array([0,0,1])], axis=0)
y = np.array([['a']*10+['c']*10+['b']*10]).reshape([30,1])
model = xgb.XGBClassifier(n_estimators=2, objective='mlogloss').fit(x, y)
model.booster().dump_model('trees.txt')

wodurch im Grunde ein Trainingsdatensatz erstellt wird, bei dem [1,0,0] 'a' zugeordnet ist, [0,1,0] 'c' zugeordnet ist und [0,0,1] 'b' zugeordnet ist. Ich habe absichtlich die Reihenfolge von 'b' und 'c' geändert, um zu sehen, ob xgboost Klassen basierend auf ihren Labels sortiert, bevor die Bäume gelöscht werden.

Hier ist das resultierende gedumpte Modell:

booster[0]:
0:[f0<0.5] yes=1,no=2,missing=1
    1:leaf=-0.0674157
    2:leaf=0.122449
booster[1]:
0:[f2<0.5] yes=1,no=2,missing=1
    1:leaf=-0.0674157
    2:leaf=0.122449
booster[2]:
0:[f1<0.5] yes=1,no=2,missing=1
    1:leaf=-0.0674157
    2:leaf=0.122449
booster[3]:
0:[f0<0.5] yes=1,no=2,missing=1
    1:leaf=-0.0650523
    2:leaf=0.10941
booster[4]:
0:[f2<0.5] yes=1,no=2,missing=1
    1:leaf=-0.0650523
    2:leaf=0.10941
booster[5]:
0:[f1<0.5] yes=1,no=2,missing=1
    1:leaf=-0.0650523
    2:leaf=0.10941

und hier die Schlussfolgerungen:

1. Wie Sie bereits erwähnt haben, beträgt die Anzahl der Bäume 2x3=6, obwohl
2. Betrachtet man die Reihenfolge der Merkmale, die die Bäume verwenden, scheint es, dass der erste Baum zur ersten Klasse gehört, der zweite Baum zur zweiten Klasse und so weiter bis hinunter zur letzten Klasse. Dann wird das gleiche Muster wiederholt, bis alle Schätzer abgedeckt sind.
3. Die Reihenfolge der Klassen scheint mit dem konsistent zu sein, was numpy.unique() zurückgibt - hier ist sie alphabetisch, und deshalb verwendet der erste Baum f0, während der zweite f2 verwendet .

Es wäre schön, wenn diese Informationen in die xgboost-Dokumentation aufgenommen würden.

Ich schließe dieses Thema jetzt.

Ich habe hier noch einen Kommentar. Ich stimme der Struktur der Bäume im Mehrklassenfall zu. Aber wie werden die Blattwerte in Wahrscheinlichkeiten umgewandelt?

Es scheint, als müssten Sie für den binären Fall 1/(1+exp(Wert)) anwenden, während Sie für den Fall mit mehreren Klassen 1/(1+exp(-Wert)) anwenden müssen.

Das scheint wahr zu sein, wenn man sich die Beispiele ansieht. Danke für den Tipp!

Aber ich verstehe nicht, warum diese für Binär- und Mehrklassenfälle unterschiedlich definiert sind.

Ja, in der Tat, es ist sehr seltsam und verwirrend, um es gelinde auszudrücken.

Ich bin zu diesem Schluss gekommen, indem ich es mit dem UCI-Autodatensatz getestet habe (wo Sie Autos in inakzeptabel, akzeptabel, gut oder sehr gut klassifizieren).

Wäre schön, eine zusätzliche Funktion zu haben, mit der Sie die Bäume in Sklearn-Bäume oder ähnliches konvertieren können (derzeit habe ich eine Codebasis, mit der ich diese xgb-Bäume und Sklearn-Bäume in meinen eigenen definierten Entscheidungsbaum konvertieren kann). Von letzteren, den Sklearn-Bäumen, bin ich mir mindestens 100% sicher, dass diese richtig konvertiert werden. Bei den xgb-Bäumen bleiben Zweifel.

Zustimmen, das wäre ein tolles Feature.

@GillesVandewiele @sosata : also in dieser Logistik (sagen wir für Klasse i ) [ 1/(1+exp(-value)) ] , ist value die Summe aller Blattwerte, die den Bäumen dieser bestimmten Klasse entsprechen mit der Probe?

Für das Beispiel in meinem frühen Kommentar, wenn ich versuche, die Klassenwahrscheinlichkeiten für [1 0 0] vorherzusagen:

print(model.predict_proba(np.array([[1,0,0]])))

es wird diese Ergebnisse erzeugen:

[[ 0.41852772  0.29073614  0.29073614]]

Es gibt keine Möglichkeit für 1/(1+exp(-value)) , dies zu generieren. Die einzige Möglichkeit besteht darin, dass diese Wahrscheinlichkeiten durch eine _softmax_-Funktion der summierten Werte über die Klassen hinweg generiert werden:

p[i] = exp(val[i])/(exp(val[1])+exp(val[2])+...+exp(val[N]))

wobei i die Zielklasse (von N Klassen) ist und val[i] die Summe aller Werte ist, die aus den zu dieser Klasse gehörenden Bäumen generiert wurden.
In unserem Beispiel:

print(np.exp(+0.122449+0.10941)/(np.exp(+0.122449+0.10941)+np.exp(-0.0674157-0.0650523)+np.exp(-0.0674157-0.0650523)))
print(np.exp(-0.0674157-0.0650523)/(np.exp(+0.122449+0.10941)+np.exp(-0.0674157-0.0650523)+np.exp(-0.0674157-0.0650523)))
print(np.exp(-0.0674157-0.0650523)/(np.exp(+0.122449+0.10941)+np.exp(-0.0674157-0.0650523)+np.exp(-0.0674157-0.0650523)))

wird erzeugen:

0.418527719063
0.290736140469
0.290736140469

Genau das hat uns die Funktion vorhersage_proba() gegeben.

Das scheint richtig zu sein @sosata

In meinem Fall wollte ich jeden der Bäume einzeln konvertieren (also keine Blattwerte anderer Bäume verwenden). Dort schien eine Sigmoidfunktion die Aufgabe zu erfüllen.

@sosata Gibt es trotzdem eine Funktion, um die Bedeutung von Funktionen pro Klasse zu ermitteln? Ich denke, die aktuelle Implementierung summiert einfach alle Beiträge über alle Klassen. Die R-API scheint dafür jedoch einen solchen Parameter zu haben (siehe https://github.com/CodingCat/xgboost/commit/e9405236a01715be1550a7e3809f36fc69ad4e8a).

@mlxai Ich habe auch nur die Python-API ausprobiert und erinnere mich nicht, dass ich sie pro Klasse

Meiner Meinung nach ist die Definition der Bedeutung von Funktionen in XGBoost jedoch als die Gesamtzahl der Aufteilungen für diese Funktion etwas vereinfacht. Persönlich berechne ich die Merkmalswichtigkeit, indem ich dieses Merkmal aus dem Merkmalssatz entferne und den resultierenden Rückgang (oder Anstieg) der Genauigkeit berechne, wenn das Modell ohne dieses Merkmal trainiert und getestet wird. Ich mache dies für alle Funktionen und definiere "Funktionswichtigkeit" als den Betrag des Abfalls (oder minus der Zunahme) der Genauigkeit. Da das Training und das Testen mehrmals mit unterschiedlichen Trainings-/Test-Teilmengen für jede Merkmalsentfernung durchgeführt werden können, kann man auch die Konfidenzintervalle der Merkmalswichtigkeit schätzen. Außerdem erhalten Sie durch die separate Berechnung der Wichtigkeit für jede Klasse die Merkmalwichtigkeiten pro Klasse. Dies hat in meinen Projekten zu aussagekräftigeren Ergebnissen geführt, als die Anzahl der Splits zu zählen.

@sosata Dein Beispiel ist sehr intuitiv, aber ich weiß immer noch nicht, wie du die Punktzahlen für jede Klasse

@chrisplyn Sie bewerten alle Entscheidungsbäume in Ihrem Ensemble, die zu einer bestimmten Klasse gehören und summieren die resultierenden Punktzahlen.

Wie @sosata bereits richtig gesagt hat: Die Anzahl der Bäume in Ihrem Ensemble beträgt n_esimators * n_classes

@sosata dein Beispiel ist sehr klar. Vielen Dank!

@chrisplyn Die Vorhersageinstanz [1,0,0] wird von booster[0~5] klassifiziert und erhält die Blattwerte [0.122449, -0.0674157, -0.0674157, 0.10941, -0.0650523, -0.0650523].
Denn Booster[0, 3] gehört zur Klasse 0, Booster[1, 4] gehört zur Klasse 1 und Booster[2, 5] gehört zur Klasse 2, also val[0] =(0.122449 + 0.10941), val[1 ] = (–0,0674157 + –0,0650523), val[2] = (–0,0674157 + –0,0650523).
Ist es klarer?