Scikit-learn: cross_val_scoreによって返される場合、MSEは負です

あなたが言及している

greater_is_better : boolean, default=True

Whether score_func is a score function (default), meaning high is good, 
or a loss function, meaning low is good. In the latter case, the scorer 
object will sign-flip the outcome of the score_func.

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.make_scorer.html
？ （参考のために）

cross_val_scoreドキュメントでより明確にできることに同意します

報告してくれてありがとう

実際、スコアラーのリファクタリングを行うときに、その問題を見落としていました。 以下は非常に直感的ではありません。

>>> import numpy as np
>>> from sklearn.datasets import load_boston
>>> from sklearn.linear_model import RidgeCV
>>> from sklearn.cross_validation import cross_val_score

>>> boston = load_boston()
>>> np.mean(cross_val_score(RidgeCV(), boston.data, boston.target, scoring='mean_squared_error'))
-154.53681864311497

/ cc @larsmans

ところで、私はそれがドキュメントの問題であることに同意しません。 cross_val_scoreは、スコアリング名と一致する符号付きの値を返す必要があります。 理想的には、 GridSearchCV(*params).fit(X, y).best_score_も一貫している必要があります。 そうでなければ、APIは非常に混乱します。

また、符号を切り替えずに実際のMSEを返すように変更する方が、より良いオプションであることに同意します。

スコアラーオブジェクトはgreater_is_betterフラグを格納するだけでよく、スコアラーが使用されるたびに、必要に応じて、たとえばGridSearchCVように符号を反転させることができます。

ここでユーザビリティの問題があることに同意しますが、 @ ogriselの解決策に完全には同意しません。

スコアリング名と一致する符号付きの値を返します

それは長期的には信頼できないハックだからです。 誰かがmseなどの名前でカスタムスコアラーを定義した場合はどうなりますか？ それらが命名パターンに従っているが、名前を変更するデコレータでスコアラーをラップした場合はどうなりますか？

スコアラーオブジェクトはgreater_is_betterフラグを格納するだけでよく、スコアラーが使用されるたびに、必要に応じて、たとえばGridSearchCVで符号を反転させることができます。

これは、0.13リリースと0.14リリースの間の開発中にスコアラーが最初に行ったことであり、定義が非常に難しくなりました。 また、スコアラーコードでgreater_is_better属性が消えて、グリッド検索コードの途中でのみ再表示されるため、コードを追跡するのが困難になりました。 理想的には単純な関数が実行することを実行するには、特別なScorerクラスが必要でした。

スコアを最適化する場合は、スコアを最大化する必要があると思います。 ユーザーフレンドリーのために、スコアの_display_のみを変更し、組み込みの名前に基づくヒューリスティックを使用できるパラメーターscore_is_loss ∈ ["auto", True, False]を導入する可能性があると思います。

電車を降りなければならなかったので、それは急いでの反応でした。 「表示」とは、実際にはcross_val_scoreからの戻り値です。 スコアラーはシンプルで均一でなければならず、アルゴリズムは常に最大化されるべきだと思います。

これにより、組み込みスコアラーとカスタムスコアラーの間に非対称性が生じます。

@GaelVaroquauxにpingを実行します。

私はscore_is_lossソリューション、またはその効果のための何かが好きです..スコアリング名に一致するように符号を変更することは維持するのが難しいようです@larsmansが述べたように問題を引き起こす可能性があります

結論は何ですか、どの解決策を選ぶべきですか？ :)

@tdomhan @jaquesgrobler @larsmansこれがr2にも当てはまるかどうか知っていますか？ GridSearchCVによって返されるr2スコアも、 ElasticNet 、 Lasso 、およびRidgeに対してほとんど負であることに気づいています。

R²は正または負のいずれかになります。負は、モデルのパフォーマンスが非常に低いことを意味します。

IIRC、 @ GaelVaroquauxは、 greater_is_better=Falseときに負の数を返すことを提案しました。

r2はスコア関数（大きいほど良い）なので、モデルが良好であれば正の値になるはずですが、実際には負の値、つまり0よりも悪いパフォーマンスメトリックの1つです。

この問題に関するコンセンサスは何ですか？ 私の意見では、 cross_val_scoreは評価ツールであり、モデル選択ツールではありません。 したがって、元の値を返す必要があります。

私が行った変更により修正が非常に簡単になるため、PR＃2759で修正できます。 秘訣は、サインを前もって反転させるのではなく、グリッド検索を行うときにスコアラーのgreater_is_better属性にアクセスすることです。

この問題に関するコンセンサスは何ですか？ 私の意見では、cross_val_scoreは
モデル選択ツールではなく、評価ツール。 したがって、それは戻るはずです
元の値。

特殊なケースは、さまざまな動作がソフトウェアの問題の原因です。

リスト内の「mse」の名前を「negated_mse」に変更する必要があると単純に考えています
許容可能なスコアリング文字列の。

誰かがmseなどの名前でカスタムスコアラーを定義した場合はどうなりますか？ それらが命名パターンに従っているが、名前を変更するデコレータでスコアラーをラップした場合はどうなりますか？

@ogriselが、元のメトリックとの一貫性を

受け入れ可能なスコアリング文字列のリストで、「mse」の名前を「negated_mse」に変更する必要があると単純に考えています。

scikit-learnの内部を知らなければ、それは完全に直感的ではありません。 そのようにシステムを曲げる必要がある場合は、設計上の問題があることを示していると思います。

scikit-learnの内部を知らなければ、それは完全に直感的ではありません。
そのようにシステムを曲げる必要がある場合、それはあるという兆候だと思います
設計上の問題。

同意しません。 人間は多くの事前知識を持って物事を理解し、
環境。 それらはほとんど体系的です。 これをソフトウェアに埋め込もうとしています
特別な場合のセットのような買い物リストを提供します。 それは作るだけではありません
ソフトウェアのメンテナンスは難しいですが、持っていない人も
これらの例外は驚くべき動作に遭遇し、バグを書くことに注意してください
ライブラリを使用したコード。

どのような特別なケースを考えていますか？

明確にするために、 GridSearchCVオブジェクトに格納されている相互検証スコアは元の値である必要があると思います（符号が反転されていない）。

AFAIK、グリッド検索の実装を少し簡単にするために符号を反転することが導入されましたが、使いやすさに影響を与えることは想定されていませんでした。

どのような特別なケースを考えていますか？

さて、いくつかのメトリックでは大きい方が良いのに対し、他のメトリックではより良いという事実
それは反対です。

AFAIK、グリッド検索を行うために符号を反転することが導入されました
実装は少し簡単ですが、影響するはずはありませんでした
使いやすさ。

グリッド検索ではなく、関心の分離：スコア
それらについて何も知らなくても使用可能である必要があります。
それらの特異性に対処することは、コードベース全体に広がります。 有る
すでに多くのスコアリングコード。

しかし、それは問題をユーザーコードにいくらか延期しています。 「否定されたMSE」をプロットしたくないので、ユーザーはコード内の記号を元に戻す必要があります。 これは、特に複数メトリックの相互検証レポート（PR＃2759）の場合、各メトリックを個別に処理する必要があるため、不便です。 ジェネリックコードと直感的な結果という両方の長所を活用できるのではないかと思います。

しかし、それは問題をユーザーコードにいくらか延期しています。 誰も望んでいない
「否定されたMSE」をプロットして、ユーザーがサインを元に戻す必要があるようにします
コード。

確かに世界の終わりではありません。 論文を読むとき、または
プレゼンテーションを見ると、同じ問題があります。グラフがそうでない場合
よくやった、私は少し時間と精神的な帯域幅を失いました
大きい方が良いかどうかを判断します。

これは、特に複数メトリックの相互検証では不便です。
各メトリックを個別に処理する必要があるため、レポート（PR＃2759）。

なぜ。 常に大きい方が良いことを受け入れるだけで、
結果の解釈を含め、すべてが簡単になります。

ジェネリックコードとジェネリックコードの両方の長所を活用できるかどうか疑問に思います
直感的な結果。

リスクは、メンテナンスのために私たちを遅くする非常に複雑なコードを持つことです
と開発。 Scikit-learnは重要性を増しています。

常に大きい方が良いことを受け入れるだけなら

それは彼女が言ったことです ：）

もっと深刻なことに、これが人々を混乱させている理由の1つは、 cross_val_scoreの出力がメトリックと一致していないためだと思います。 あなたの論理に従う場合、sklearn.metricsのすべてのメトリックは「大きいほど良い」に従う必要があります。

それは彼女が言ったことです ：）

良いですね！

もっと真剣に、これが人々を混乱させている理由の1つは
cross_val_scoreの出力がメトリックと一致していません。 もし私達
あなたの論理に従ってください、sklearn.metricsのすべてのメトリックは「より大きく」に従う必要があります
優れている"。

同意しました。 だから私は名前を変更するというアイデアが好きです：それはポップアップします
人々の目に。

さらに深刻なことに、これが人々を混乱させる理由の1つは、cross_val_scoreの出力がメトリックと一致していないためだと思います。

そして、これにより、 scoringはそれよりも神秘的に見えます。

線形回帰を行おうとすると、今日0.16.1でこれに噛まれました。 スコアの符号は、分類器では反転されていないようですが、線形回帰では反転されています。 混乱を助長するために、LinearRegression.score（）は、反転されていないバージョンのスコアを返します。

すべてを一貫性のあるものにし、線形モデルでも符号が反転しないスコアを返すことをお勧めします。

例：

from sklearn import linear_model
from sklearn.naive_bayes import GaussianNB
from sklearn import cross_validation
from sklearn import datasets
iris = datasets.load_iris()
nb = GaussianNB()
scores = cross_validation.cross_val_score(nb, iris.data, iris.target)
print("NB score:\t  %0.3f" % scores.mean() )

iris_reg_data = iris.data[:,:3]
iris_reg_target = iris.data[:,3]
lr = linear_model.LinearRegression()
scores = cross_validation.cross_val_score(lr, iris_reg_data, iris_reg_target)
print("LR score:\t %0.3f" % scores.mean() )

lrf = lr.fit(iris_reg_data, iris_reg_target)
score = lrf.score(iris_reg_data, iris_reg_target)
print("LR.score():\t  %0.3f" % score )

これは与える：

NB score:     0.934    # sign is not flipped
LR score:    -0.755    # sign is flipped
LR.score():   0.938    # sign is not flipped

交差検定は、大きいほど良いモデルのすべての兆候を反転させます。 私はまだこの決定に同意しません。 その主な支持者は@GaelVaroquauxとおそらく@mblondelだったと思います[スコアラーコードをリファクタリングしたことを思い出しました]。

ああ、気にしないでください、すべての議論は上にあります。
mseではデフォルトで符号を反転するように感じますが、r2はさらに直感的ではありません：-/

@Huitzilo GaussianNBは分類子であり、デフォルトのスコアラーとして精度を使用します。 LinearRegressionはリグレッサーであり、デフォルトのスコアラーとしてr2スコアを使用します。 2番目のスコアは負ですが、r2スコアは負になる可能性があることに注意してください。 また、アイリスはマルチクラスのデータセットです。 したがって、ターゲットはカテゴリカルです。 リグレッサは使用できません。

そうです、私は何が起こるかについて少し混乱していました、r2は反転されていません... mseだけが反転します。

たぶん、問題全体の解決策は、物の名前をnegmse変更することですか？

@mblondelもちろんあなたは正しいです、ごめんなさい。 私は回帰の例をすばやくまとめていました。虹彩データに自信過剰だったので、他の機能から機能＃4を予測することでうまくいくと思いました（正のR2で）。 しかし、それゆえ、負のR2ではありませんでした。 ここではサインが反転していません。 OK。 私の悪い。

それでも、 cross_val_scoreから取得したMSEでは符号が反転しています。

たぶんそれは私だけですが、この矛盾は非常に混乱していると思います（これが私をこの問題に巻き込んだ理由です）。 R2ではなくMSEを符号反転する必要があるのはなぜですか？

たぶんそれは私だけですが、この矛盾は非常に混乱していると思います（これが私をこの問題に巻き込んだ理由です）。 R2ではなくMSEを符号反転する必要があるのはなぜですか？

スコアのセマンティクスが高いほど良いです。 高MSEは悪いです。

多分negmseは問題を解決するでしょう

@amueller同意します。スコアリングパラメータの名前で符号を明示的に反転させると、混乱を避けるのに間違いなく役立ちます。

たぶん、[1]のドキュメントは、いくつかのスコアで記号がどのように反転しているかについて、さらに明確になっている可能性があります。 私の場合、私はすぐに情報を必要とし、3.1.1.1の下の表だけを見ましたが、テキストを読みませんでした（これは「大きいほど良い」原則を説明しています）。 IMHOは、3.1.1.1の下の表に、mse、中央値、および平均絶対誤差のコメントを追加して、それらの否定を示していますが、実際のコードを変更することなく、すでに大いに役立ちます。

[1] http://scikit-learn.org/stable/modules/model_evaluation.html#scoring -parameter

私は非常に興味深いケースに出くわしました：

from sklearn.cross_validation import cross_val_score
model = LinearRegression()
scores = cross_val_score(model, X, target, cv=2, scoring='r2')
scores

結果は

array([-0.17026282, -2.21315179])

同じデータセットの場合、次のコード

model = LinearRegression()
model.fit(X, target)
prediction = model.predict(X)
print r2_score(target, prediction)

妥当な値になります

0.353035789318

線形回帰モデル（切片あり）のAFAIKは、R ^ 2> 1またはR ^ 2 <0を取得できません。

したがって、cvの結果は、符号が反転したR ^ 2のようには見えません。 私はある時点で間違っていますか？

r2は負になる可能性があります（不良モデルの場合）。 1より大きくすることはできません。

あなたはおそらく過剰適合しています。 試してください：

from sklearn.cross_validation import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, target, test_size=0.2, random_state=0)
model = LinearRegression()
model.fit(X_train, y_train)
pred_train = model.predict(X_train)
print("train r2: %f" % r2_score(y_train, pred_train))

pred_test = model.predict(X_test)
print("test r2: %f" % r2_score(y_test, pred_test))

ランダム分割を制御するrandom_state整数シードにさまざまな値を試してください。

多分negmseは問題を解決するでしょう

'neg_mse'の場合は+1（アンダースコアを使用すると読みやすくなると思います）。

それはすべての問題を解決しますか？ 他のスコアが大きかったのは良くないですか？

がある：

• log_loss
• mean_absolute_error
• median_absolute_error

doc/modules/model_evaluation.rstによると、それがすべてのはずです。

そしてhinge_lossだと思いますか？

これらすべての損失にneg_プレフィックスを追加するのは、厄介だと感じます。

アイデアは（符号反転なしで）元のスコアを返すことですが、ndarrayを返す代わりに、 best() 、 arg_best() 、 best_sorted()ようなメソッドでndarrayを拡張するクラスを返します。

ヒンジ損失のスコアラーはありません（そして、評価に使用されているのを見たことがありません）。

スコアラーはnumpy配列を返しません、フロートを返しますよね？
カスタム ">"を持っているが、フロートのように見えるスコアオブジェクトを返すことができます。
これは、GridSearchCVで使用されたブール値「lower_is_better」でスコアラーにタグを付けていた以前のソリューションよりも不自然に感じます。

cross_val_scoreは配列を返します。

実際、 cross_val_scoreによって返されるスコアは、通常、並べ替える必要はなく、平均化するだけです。

もう1つのアイデアは、 sortedメソッドを_BaseScorerに追加することです。

my_scorer = make_scorer(my_metric, greater_is_better=False)
scores = my_scorer.sorted(scores)  # takes into account my_scorer._sign
best = scores[0]

cross_val_scoreは配列を返しますが、スコアラーは浮動小数点数を返します。 GridSearchCVと他のすべてのCVオブジェクトで同じ動作をしたいので、 cross_val_score特定のロジックがあるのは奇妙だと思います。

GridSearchCVでは最高のスコアと最高のインデックスが必要なため、argsortメソッドも必要になります。

scikit-learnによって「制御質問から労働者の誤差の平均と分散を推定し、予測の推定バイアスを除去した後に加重平均を計算する」を実装するにはどうすればよいですか？

IIRCはスプリントでこれについて話し合い（去年の夏？！）、 neg_mse （またはneg-mse ）を使用して、現在負の符号があるすべてのスコアラー/文字列を非推奨にすることにしました。
これはまだコンセンサスですか？ それなら0.18より前にそれをするべきです。
Ping @GaelVaroquaux @agramfort @jnothman @ogrisel @raghavrv

はい、neg_mseAFAIKに同意しました

neg_mse

また、次のものが必要です。

• neg_log_loss
• neg_mean_absolute_error
• neg_median_absolute_error

モデル= Sequential（）
keras.layers.Flatten（）
model.add（Dense（11、input_dim = 3、kernel_initializer = keras.initializers.he_normal（seed = 2）、
kernel_regularizer = regularizers.l2（2）））
keras.layers.LeakyReLU（alpha = 0.1）
model.add（Dense（8、kernel_initializer = keras.initializers.he_normal（seed = 2）））
keras.layers.LeakyReLU（alpha = 0.1）
model.add（Dense（4、kernel_initializer = keras.initializers.he_normal（seed = 2）））
keras.layers.LeakyReLU（alpha = 0.1）
model.add（Dense（1、kernel_initializer = keras.initializers.he_normal（seed = 2）））
keras.layers.LeakyReLU（alpha = 0.2）
adag = RMSprop（lr = 0.0002）
model.compile（loss = losses.mean_squared_error、
オプティマイザー=アダグ
）
history = model.fit（X_train、Y_train、epochs = 2000、
batch_size = 20、shuffle = True）

上記のコードを相互検証する方法は？ これで使用するクロス検証方法を1つ除外したいと思います。

@shreyassksこれはあなたの質問の正しい場所ではありませんが、私はこれをチェックします： https ： //keras.io/scikit-learn-api 。 ネットワークをscikit-learn推定器でラップしてから、w / model_selection.cross_val_score

はい。 全くもって同じ意見です！ これはBrier_score_lossにも発生し、Brier_score_lossを使用すると完全に正常に機能しますが、GridSearchCVから取得すると混乱し、負のBrier_score_lossが返されます。 少なくとも、Brier_score_lossは損失であるため（低いほど良い）、ここでのスコアリング関数は符号を反転して負にするため、次のような出力の方が適切です。

cross_val_scoreは、結果の絶対値に完全に焦点を合わせる必要があるという考え方です。 私の知る限り、cross_val_scoreのMSE（平均二乗誤差）に対して取得される負の符号（-）の重要性は事前定義されていません。 この問題が処理されるsklearnの更新バージョンを待ちましょう。

回帰ユースケースの場合：
model_score = cross_val_score（model、df_input、df_target、scoring = 'neg_mean_squared_error'、cv = 3）
私は次のように値を取得しています：

SVR：
[-6.20938025 -1.397376 -1.94519]
-3.183982080147279

線形回帰：
[-5.94898085 -9.30931808 -1.15760676]
-5.4719685646934275

なげなわ：
[-7.22363814 -10.47734135 -2.20807684]
-6.6363521107522345

海嶺：
[-5.95990385 -4.17946756 -1.36885809]
-3.8360764993832004

では、どちらが最適ですか？
SVR？

回帰ユースケースの場合：
使用すると異なる結果が得られます
（1）scoring = 'neg_mean_squared_error'の "cross_val_score"
そして
（2）「GridSearchCV」を使用して「best_score_」をチェックしたときの同じ入力の場合

回帰モデルの場合、どちらが優れていますか？

• "cross_val_score" with scoring = 'neg_mean_squared_error'
  （または）
• 「GridSearchCV」を使用して「best_score_」を確認してください

@pritishban
あなたは使用法の質問をしています。 課題追跡システムは、主にバグと新機能を対象としています。 使用法に関する質問については、 StackOverflowまたはメーリングリストを試すことをお勧めします。