Scikit-learn: マルチクラスroc_aucスコアのサポート

それが何を意味するのかわかりません。 それについての参考資料はありますか？

2014年6月19日09:51、マディソンメイ[email protected]は次のように書いています。

優先度の低い機能リクエスト：マルチクラスroc_aucスコアのサポート
すべての方法論に対するものを使用したsklearn.metricsでの計算
信じられないほど便利でしょう。

—
このメールに直接返信するか、GitHubで表示してください
https://github.com/scikit-learn/scikit-learn/issues/3298。

これは、参考文献とともに、かなりまともな説明です： https ：

うーん、マルチクラスaucが実装されていないときに推奨されるスコアラーは何ですか？

すべての方法論に対するものを使用したsklearn.metricsでのマルチクラスroc_aucスコア計算のサポートは非​​常に便利です

これらのスライドが、各クラスのAUCの周波数加重平均が取られる表面下の体積の概算をどのように考慮しているかについて話しているのですか？ これは、現在のroc_auc_scoreを2値化された表現とaverage='weighted'使用するのと同じように見えます。 （ @arjoly 、なぜこれらの曲線ベースのスコアはマルチクラスを許可しないのですか？）

それ以外の場合、これらのスライド、および「マルチクラスROC」に関するほとんどの参照は、評価メトリックではなく、OvRのマルチクラスキャリブレーションに焦点を合わせています。 これはあなたが興味を持っているものですか？ この手法がどれほど普及しているか、scikit-learnで利用できるようにする価値があるかどうか、貪欲な最適化を改善する必要があるかどうかはわかりません。

（ @arjoly 、なぜこれらの曲線ベースのスコアはマルチクラスを許可しないのですか？）

y_trueから1つのクラスが欠落している場合は常に、スコアを計算することはできません。 クラス推論に魔法をかけたくなかったので、ユーザーを困らせました。

y_predの場合、適切に対処していない可能性があります
y_trueにはないラベルを持っている。 そのラベルはおそらくすべきではありません
マクロ平均のようなものに参加する（Wekaによると、
あまりにも）、またはROCスコア。

2014年8月1日午前17時08分には、アルノージョリーの[email protected]は書きました：

（ @arjoly https://github.com/arjoly、なぜこれらの曲線ベースのスコアを行うのですか？
マルチクラスを禁止しますか？）

y_trueから1つのクラスが欠落している場合は常に、計算することはできません。
スコア。 クラス推論に魔法をかけたくなかったので、
問題にユーザー。

—
このメールに直接返信するか、GitHubで表示してください
https://github.com/scikit-learn/scikit-learn/issues/3298#issuecomment -50855460
。

@ jnothman @ arjoly平均化の面で多くの進歩がありました。 これを今実装するのはどれくらい難しいですか？

おそらくpROCパッケージのR関数に似ている可能性があります
http://www.inside-r.org/packages/cran/pROC/docs/multiclass.roc

こんにちは、私はマクロ平均ROC / AUCスコアのドラフトを実装しましたが、それがsklearnに適合するかどうかはわかりません。

コードは次のとおりです。

from sklearn.metrics import roc_auc_score
from sklearn.preprocessing import LabelBinarizer

def multiclass_roc_auc_score(truth, pred, average="macro"):

    lb = LabelBinarizer()
    lb.fit(truth)

    truth = lb.transform(truth)
    pred = lb.transform(pred)

    return roc_auc_score(truth, pred, average=average)

これほど簡単でしょうか？

これが標準的な意味である場合は@fbrundu 。 それは確かに1つの可能な解釈です。

ここに素晴らしい要約があります：
http://people.inf.elte.hu/kiss/13dwhdm/roc.pdf

pROCパッケージは、Hand andTillを実装します。
http://download.springer.com/static/pdf/398/art%253A10.1023%252FA%253A1010920819831.pdf?originUrl=http%3A%2F%2Flink.springer.com%2Farticle%2F10.1023%2FA% 3A1010920819831＆token2 = exp = 1469743016〜acl =％2Fstatic％2Fpdf％2F398％2Fart％25253A10.1023％25252FA％25253A1010920819831.pdf％3ForiginUrl％3Dhttp％253A％252F％252Flink.springer.com％252Farticle％252F10.1023％ * 〜hmac = bc68686d3782ac6af3c3cda13c1b36aad6de5d01d16a25870cace5fe9699fb8a

Hand and Tillのバージョンは一般的に受け入れられているようで、私はそれを実装することに投票します。
Provostが現在私のディレクターであることを考えると、おそらく私が応援すべきバージョンのProvostとDomingosもありますが、それはうまくいきませんでした。
Provost-Domingosは、 @ fbrunduがaverage='weighted'のみ言ったことです。

TLDR：Hand andTillのPRを歓迎します。 オプションで、平均化を変更するオプションを備えたProvostおよびDomingos。

こんにちは、これの実装に進展はありましたか？
他のほとんどのライブラリ（WEKAなど）で私が見たのは、加重平均を使用していることです。 これは、 @ fbrunduがaverage = 'micro'を使用して提案したものだと思いますか？

@joaquinvanschorenRはHandandTillを使用します。 私もそれが好きです。 私にはすぐにこれに取り組む学生がいます。

@amueller私はこれに

@ kchen17ありがとう！

これについてはOpenMLでかなり議論しました。 マルチクラスAUCの場合、一方のアプローチ（マクロ平均化、ミクロ平均化、加重平均化など）が他方よりも優れているという保証はありません。 Rでは、少なくとも5つの異なるアプローチを見つけることができます（すべてMLRでも利用可能になりました）。
これをscikit-learnに実装する場合、デフォルトでHand-Tillを使用している場合でも、少なくともアプリケーションに最も適したものを選択できる可能性があると便利です。 ちなみに、Hand-Tillは重み付けされていないアプローチであり、ラベルの不均衡は考慮されていません。

複数のバージョンがあるのはうれしいです。 重み付けされていないことと「ラベルの不均衡を考慮に入れていないこと」は2つの異なるものです;）リストと参照はありますか？

この場合のマイクロアベレージングとは何ですか？

この例で実装されたマルチクラス問題のROCAUCは、すでにミクロおよびマクロで平均化されていることに注意してください。

http://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html#multiclass -settings

実際、私はドキュメントが間違っていると思います、そして言うべきです
マルチラベル...

午後11時16分に2016年9月26日には、オリビエGrisel [email protected]
書きました：

マルチクラスのROCAUCをすでにミクロおよびマクロで平均化したわけではありません
この例で実装された問題：

http://scikit-learn.org/stable/auto_examples/model_
selection / plot_roc.html＃multiclass-settings

—
あなたが言及されたのであなたはこれを受け取っています。
このメールに直接返信し、GitHubで表示してください
https://github.com/scikit-learn/scikit-learn/issues/3298#issuecomment -249566346、
またはスレッドをミュートします
https://github.com/notifications/unsubscribe-auth/AAEz65IeU7k2CFwyHxTTAjk-5orIxWe6ks5qt8WsgaJpZM4CFzud
。

マイクロアベレージングでは、真陽性率（TPR）は、すべてのクラスのすべてのTPの合計を取り、すべてのクラスのすべてのTPとFNの合計で割ることによって計算されます。つまり、3クラスの問題の場合です。
TPR =（TP1 + TP2 + TP3）/（TP1 + TP2 + TP3 + FN1 + FN2 + FN3）

混同行列の例：
[[1,2,3]、
[4,5,6]、
[7,8,9]]
TPR =（1 + 5 + 9）/（1 + 5 + 9 +（2 + 3）+（4 + 6）+（7 + 8））
偽陽性率についても同じことを行うと、AUCを計算できます。

マクロ平均化は、各クラスのTPRを個別に計算し、それらを平均化します（そのクラスの例の数で重み付けされているかどうか）。
TPR =（1/3）*（TP1 /（TP1 + FN1）+ TP2 /（TP2 + FN2）+ TP2 /（TP2 + FN2））

同じ例で：
TPR =（1/3）*（1 /（1+（2 + 3））+ 5 /（5+（4 + 6））+ 9 /（9+（7 + 8）））

たぶんこれは役に立ちます（これは精度を使用しますが、考え方は同じです）：
http://stats.stackexchange.com/questions/156923/should-i-make-decisions-based-on-micro-averaged-or-macro-averaged-evaluation-mea

個人的には、重み付けされていないマクロ平均を使用することはありませんが、これを研究した論文を見つけることができるかどうかを確認します。

論文：
https://www.math.ucdavis.edu/~saito/data/roc/ferri-class-perf-metrics.pdf

これはRでサポートされているものです（追加の文献を含む）：
https://mlr-org.github.io/mlr-tutorial/devel/html/measures/index.html

やあ！ 私は先週この問題の調査を開始することができました。正しい方向に進んでいることを確認するために、簡単な更新/いくつかの質問を投稿したいと思いました。

• これまでのところ、関数multiclass_roc_auc_score実装から始めています。この関数では、デフォルトで、いくつかのaverageパラメーターがNoneに設定されています。 このデフォルトでは、Hand-Tillアルゴリズムが使用されます（前述のように、これはラベルの不均衡を考慮していません）。
• メソッドはroc_auc_scoreパラメーターと同じパラメーターを受け入れますか？
• そしてそれから離れると、違いはy_trueがroc_auc_scoreを計算してから、これらの平均をとることが含まれます。

あなたが持っているかもしれないどんな訂正/提案を私に知らせてください！

通常、 roc_auc_score再利用が合理的に実行可能であれば、別の関数の作成は避けます。 デフォルトを「マクロ」のままにしておくことは許容できると思います。

考慮すべき重要なことの1つは、metrics / tests / test_common.pyのroc_auc_scoreの特性の変更など、これらの変更をテストする方法です。

ええ、ドキュメントを更新する必要があります。

@joaquinvanschoren興味深いことに、この論文では、上記のマルチクラスAUC論文、特に2005年のFawcett論文については説明されていませんでした。

そのため、現在はマルチラベルしかありません。そのため、1vs1と1vsRestを使用してマルチクラスを追加し、それぞれに重み付けされたバリアントと重み付けされていないバリアントがあります。
sampleとmicro平均化がAUCでどのように機能するのかよくわかりません:(

だから...私はパラメータmulti-classをAUCに追加することを提案します。それはovoまたはovrであり、重み付けパラメータを考慮します。 sampleとmicroを許可したいかどうかはわかりません。それは、私にはあまり意味がないからです。

@arjolyなので、 microとsampleは、行列の列ではなく行で動作しますか？ それについての論文はありますか？ ROCの文献ではそれは見つかりませんでした。

それに関する問題は、ハンドティル測定をデフォルトにするために、加重平均OvOを実行する必要があり、加重オプションを実際に変更できないことです。 では、デフォルトでOVRを実行し、説明の中で、均等化を使用したOvOも適切な選択であると説明し、参照を追加しますか？

@joaquinvanschorenが引用した論文の要約には、すべてのAUCバージョンでほぼ同じ結果が得られるとも書かれています。

@amueller ：あなたのコメントをもう一度読む機会がありました、そして私はこの部分について少し混乱しています：

それに関する問題は、ハンドティル測定をデフォルトにするために、加重平均OvOを実行する必要があり、加重オプションを実際に変更できないことです。 では、デフォルトでOVRを実行し、説明の中で、均等化を使用したOvOも適切な選択であると説明し、参照を追加しますか？

roc_auc_scoreを変更して、応答に従ってmulticlass=['ovo', 'ovr']パラメーターを組み込むつもりroc_auc_scoreた。 OvRがデフォルト（ roc_auc_score(y_true, y_score, multiclass="ovo" ... ) ）であるが、Hand＆TillがOvOである場合、実装のOvR部分に対処するにはどうすればよいですか？ （つまり、y_trueがマルチクラスであることが検出された場合、「ovr」が実装されていない場合はエラーを発生させ、ユーザーに「ovo」を渡すように指示しますか？）

申し訳ありませんが、 ovoとovr両方を実装することを期待していました;）それはかなり簡単なはずだと思います。

@amueller ：注目され、それも組み込まれます！ また、質問したかった：マルチクラスとマルチラベルの違いを検出する方法について何かアドバイスはありますか？ 最初は、 y_scoreの寸法を確認していましたが、すぐにこれでは不十分であることに気付きました。 （つまり、ラベルが0と1だけであることを確認するだけですか？）

マルチラベルとは、複数のラベルが一度に予測されることを意味します。
インスタンスごとの予測のベクトル。 マルチクラスとは、シングルを取得することを意味します
予測ですが、その予測には3つ以上の値を含めることができます（そうではありません）
バイナリ）。

時々、人々は出力を二値化することによってマルチクラスのケースを解決します。
インスタンスごとに複数のバイナリ値を取得し（したがってマルチラベル）、これ
多くの場合、混乱を引き起こします。
午前16時33分に2016年10月（土）、8日、キャシー・陳[email protected]は書きました：

@amueller https://github.com/amueller ：注意してください。
組み込まれています！ また、質問したかった：方法について何かアドバイスはありますか
マルチクラスとマルチラベルの違いを検出しますか？ 最初、私は
y_scoreの次元をチェックするだけですが、すぐにこれに気づきました
十分ではないでしょう。

—
あなたが言及されたのであなたはこれを受け取っています。
このメールに直接返信し、GitHubで表示してください
https://github.com/scikit-learn/scikit-learn/issues/3298#issuecomment -252427642、
またはスレッドをミュートします
https://github.com/notifications/unsubscribe-auth/ABpQV7Mv0rHGEfrkYi5Xezz3PItyrLZ6ks5qx6mdgaJpZM4CFzud
。

こんにちは、 type_of_targetがmulti-labelとmulti-class出力を区別する目的を解決できることを願っています。 HTH

type_of_targetを使用することをお勧めします。 scikit-learnでは、 yの次元は、実際にはマルチラベルまたはマルチターゲットのどちらを実行するかを示す指標です。 @joaquinvanschorenが提案したように出力を二値化すると、scikit-learnは常にマルチラベルを想定します。

type_of_targetは、y_trues、@ amuellerを区別するのに適しています

午前5時18分に2016年10月9日、アンドレアス・ミューラー[email protected]
書きました：

type_of_targetを使用することをお勧めします。 scikit-learn
yの次元は、実際に私たちがやりたいかどうかの指標です
マルチラベルまたはマルチターゲット。 出力を次のように2値化する場合
@joaquinvanschorenhttps ：//github.com/joaquinvanschoren提案
scikit-learnは常にマルチラベルを想定します。

—
あなたが言及されたのであなたはこれを受け取っています。
このメールに直接返信し、GitHubで表示してください
https://github.com/scikit-learn/scikit-learn/issues/3298#issuecomment -252439908、
またはスレッドをミュートします
https://github.com/notifications/unsubscribe-auth/AAEz6wa5fnE_LX3LLXbCoc0Z4hBbSAQ0ks5qx95rgaJpZM4CFzud
。

みなさん、こんにちは。私が「予備」PRを提出したことをお知らせしたいと思います。 新しいテストやドキュメントの文言などを追加するためのベストプラクティスとともに、実装に関するフィードバック（たとえば、現在よりも優れた方法でnumpyなどを活用する方法があると確信しています）を聞くことに興味があります。

これまでのすべての助けに感謝します！

AUCのマルチクラスサポートの追加に進展はありますか？

@joaquinvanschoren：＃7663に@jnothmanにより、コードレビュー後の改訂に取り組んでいます。 私が中間期を終えた次の週に別の更新を提出する可能性があります

こんにちは@ kathyxchen 、 @ jnothman 、

PRに関する最新情報はありますか？

AUCのマルチクラスサポートの追加に進展があるかどうかを確認するためにチェックインするだけですか？

何が受け入れられ、何が原則であるかを判断するのに苦労しています
マルチクラスのROCAUCの定式化。 見る
https://github.com/scikit-learn/scikit-learn/pull/7663#issuecomment -307566895
以下。

だから仲間。 マルチクラスaucスコアに進展はありますか？ アイリスデータセットと非常に紛らわしい公式ドキュメントコードを見つけました。 この方法は、私のモデルが乱数をかなりうまく予測することを示しているためです。

これはほぼ完了しています。マージする前にAPIの詳細を決定する必要があります： https ：

@trendsearcher例を

喜んでお手伝いします。 例を挙げればどうすればよいですか（コードがたくさんあり、そうでない場合もあります）
直感的）？ 多分私はそれをプレーンテキストで書くことができますか？

чт、18日。 2019г。 в00：35、アンドレアスミューラー[email protected] ：

@trendsearcherhttps ：//github.com/trendsearcher提供できますか
例をお願いしますか？ マージされましたが、問題が発生するのを確認したいのですが
経験豊富。

—
あなたが言及されたのであなたはこれを受け取っています。
このメールに直接返信し、GitHubで表示してください
https://github.com/scikit-learn/scikit-learn/issues/3298?email_source=notifications&email_token=AKS7QOFYRQY7RZJBWUVVJSTP76GDFA5CNFSM4AQXHOO2YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNX
またはスレッドをミュートします
https://github.com/notifications/unsubscribe-auth/AKS7QOFQ5LAIZ2ZBR4M4EATP76GDFANCNFSM4AQXHOOQ
。

こんにちは、私はマクロ平均ROC / AUCスコアのドラフトを実装しましたが、それがsklearnに適合するかどうかはわかりません。

コードは次のとおりです。

from sklearn.metrics import roc_auc_score
from sklearn.preprocessing import LabelBinarizer

def multiclass_roc_auc_score(truth, pred, average="macro"):

    lb = LabelBinarizer()
    lb.fit(truth)

    truth = lb.transform(truth)
    pred = lb.transform(pred)

    return roc_auc_score(truth, pred, average=average)

これほど簡単でしょうか？

@fbrundu共有していただきありがとうございます！ 私はあなたのコードを試しました。 しかし、この関数を呼び出すと、「マルチ出力ターゲットデータはラベルの2値化ではサポートされていません」という問題が発生します。 次に、関数内のコード「pred = lb.transform（pred）」を削除します。 ただし、「サンプル数が一貫していない入力変数が見つかりました：[198,4284]」という別の問題が発生します。

これを解決するのを手伝ってくれませんか。 ありがとうございました！

@ Junting-Wang

 I meet a problem saying "Multioutput target data is not supported with label binarization". 

あなたはpredict_probaの代わりにpredictを使わなければなりません

@fbrunduはあなたの実装は正しいですか？ 私はそれを使用して動作します。