Scikit-learn: क्रॉस_वल_स्कोर द्वारा लौटाए जाने पर MSE नकारात्मक है

आप का जिक्र कर रहे हैं

greater_is_better : boolean, default=True

Whether score_func is a score function (default), meaning high is good, 
or a loss function, meaning low is good. In the latter case, the scorer 
object will sign-flip the outcome of the score_func.

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.make/scod.html में
? (सिर्फ संदर्भ के लिए)

मैं सहमत हूं कि यह cross_val_score डॉक्स में अधिक स्पष्ट हो सकता है

रिपोर्टिंग के लिए धन्यवाद

वास्तव में हमने उस मुद्दे को नजरअंदाज कर दिया जब स्कोरर रिफैक्टिंग कर रहा था। निम्नलिखित बहुत ही सहज ज्ञान युक्त है:

>>> import numpy as np
>>> from sklearn.datasets import load_boston
>>> from sklearn.linear_model import RidgeCV
>>> from sklearn.cross_validation import cross_val_score

>>> boston = load_boston()
>>> np.mean(cross_val_score(RidgeCV(), boston.data, boston.target, scoring='mean_squared_error'))
-154.53681864311497

/ cc @larsmans

BTW मैं सहमत नहीं हूँ कि यह एक प्रलेखन मुद्दा है। यह cross_val_score जो स्कोरिंग नाम से मेल खाने वाले मूल्य के साथ वापस आ जाना चाहिए। आदर्श रूप से GridSearchCV(*params).fit(X, y).best_score_ भी संगत होना चाहिए। अन्यथा एपीआई बहुत भ्रामक है।

मैं यह भी मानता हूं कि बिना स्विच किए वास्तविक एमएसई को वापस करने का एक तरीका बेहतर विकल्प होगा।

स्कोरर ऑब्जेक्ट बस greater_is_better फ्लैग को स्टोर कर सकता है और जब भी स्कोरर का उपयोग किया जाता है, तो साइन इन होने की स्थिति में फ़्लिप किया जा सकता है, जैसे GridSearchCV ।

मैं मानता हूं कि हमारे यहां एक प्रयोज्य मुद्दा है, लेकिन मैं @ogrisel के समाधान से पूरी तरह सहमत नहीं हूं जो हमें करना चाहिए

उस मान के साथ मान लौटाएं जो स्कोरिंग नाम से मेल खाता है

क्योंकि यह लंबे समय में एक अविश्वसनीय हैक है। क्या होगा अगर कोई कस्टम स्कोरर को mse जैसे नाम से परिभाषित करता है? क्या होगा अगर वे नामकरण पैटर्न का पालन करते हैं, लेकिन नाम बदलने वाले डेकोरेटर में स्कोरर को लपेटते हैं?

स्कोरर ऑब्जेक्ट अधिक से अधिक_इस_बेटर फ्लैग को स्टोर कर सकता है और जब भी स्कोरर का उपयोग किया जाता है, तो इसकी आवश्यकता होने पर साइन इन किया जा सकता है, जैसे कि GridSearchCV में।

यह वही है जो स्कोरर्स ने मूल रूप से किया था, 0.13 और 0.14 रिलीज के बीच विकास के दौरान और इसने उनकी परिभाषा को बहुत कठिन बना दिया। इसने कोड का पालन करना भी मुश्किल बना दिया क्योंकि greater_is_better विशेषता स्कोरर कोड में गायब हो गई थी, केवल ग्रिड खोज कोड के बीच में फिर से प्रकट होने के लिए। एक विशेष Scorer वर्ग को कुछ ऐसा करने की आवश्यकता थी जो आदर्श रूप से, एक साधारण कार्य करेगा।

मेरा मानना ​​है कि यदि हम अंकों का अनुकूलन करना चाहते हैं, तो उन्हें _maximized_ होना चाहिए। उपयोगकर्ता-अनुकूलता के लिए, मुझे लगता है कि हम एक पैरामीटर score_is_loss ["auto", True, False] का परिचय दे सकते हैं जो केवल स्कोर के _display_ को बदलता है और अंतर्निहित नामों के आधार पर एक अनुमानी का उपयोग कर सकता है।

यह एक त्वरित प्रतिक्रिया थी क्योंकि मुझे ट्रेन से उतरना पड़ा। मुझे "प्रदर्शन" से जो मतलब था वह वास्तव में cross_val_score से वापसी मूल्य है। मुझे लगता है कि स्कोरर सरल और समान होना चाहिए और एल्गोरिदम हमेशा अधिकतम होना चाहिए।

यह बिल्ट-इन और कस्टम स्कोरर्स के बीच एक विषमता का परिचय देता है।

पिंग @GaelVaroquaux

मुझे स्कोर_आईएस_लॉस सॉल्यूशन, या उस प्रभाव के लिए कुछ पसंद है .. स्कोरिंग नाम से मिलान करने के लिए संकेत परिवर्तन मुश्किल बना रहता है क्योंकि

निष्कर्ष क्या है, हमें किस समाधान के लिए जाना चाहिए? :)

@tdomhan @jaquesgrobler @larsmans क्या आप जानते हैं कि यह r2 पर भी लागू होता है? मैं देख रहा हूँ कि r2 स्कोर GridSearchCV द्वारा लौटाए गए, ElasticNet , Lasso और Ridge लिए भी ज्यादातर नकारात्मक हैं।

R सकारात्मक या नकारात्मक हो सकता है, और नकारात्मक का मतलब है कि आपका मॉडल बहुत खराब प्रदर्शन कर रहा है।

IIRC, @GaelVaroquaux greater_is_better=False होने पर ऋणात्मक संख्या वापस करने का प्रस्तावक था।

r2 एक स्कोर फंक्शन है (अधिक से अधिक बेहतर है), इसलिए यह सकारात्मक होना चाहिए अगर आपका मॉडल कोई अच्छा है - लेकिन यह कुछ प्रदर्शन मेट्रिक्स में से एक है जो वास्तव में नकारात्मक हो सकता है, जिसका अर्थ 0 से भी बदतर है।

इस मुद्दे पर सर्वसम्मति क्या है? मेरी राय में, cross_val_score एक मूल्यांकन उपकरण है, न कि एक मॉडल चयन। इस प्रकार इसे मूल मूल्यों को वापस करना चाहिए।

मैं इसे अपने पीआर # 2759 में ठीक कर सकता हूं, क्योंकि मैंने जो बदलाव किए हैं, उन्हें ठीक करना आसान है। चाल को साइन अप करने के लिए फ्लिप नहीं करना है, बल्कि ग्रिड खोज के दौरान स्कोरर पर greater_is_better विशेषता का उपयोग करना है।

इस मुद्दे पर सर्वसम्मति क्या है? मेरी राय में, cross_val_score है
एक मूल्यांकन उपकरण, एक मॉडल चयन एक नहीं। इस प्रकार लौटना चाहिए
मूल मूल्य।

विशेष मामले अलग-अलग व्यवहार कर रहे हैं सॉफ्टवेयर में समस्याओं का एक स्रोत है।

मुझे बस लगता है कि हमें सूची में "mse" को "negated_mse" नाम देना चाहिए
स्वीकार्य स्कोरिंग स्ट्रिंग्स के।

क्या होगा अगर कोई कस्टम स्कोरर को mse जैसे नाम से परिभाषित करता है? क्या होगा अगर वे नामकरण पैटर्न का पालन करते हैं, लेकिन नाम बदलने वाले डेकोरेटर में स्कोरर को लपेटते हैं?

मुझे नहीं लगता कि @ogrisel नाम मिलान का उपयोग करने का सुझाव दे रहा था, बस मूल मीट्रिक के अनुरूप होना चाहिए। अगर मैं गलत हूं तो मुझे सही समझें @ogrisel

मुझे बस लगता है कि हमें स्वीकार्य स्कोरिंग स्ट्रिंग्स की सूची में "mse" का नाम बदलकर "negated_mse" करना चाहिए।

यह पूरी तरह से unintuitive है अगर आप scikit- सीखने के लिए नहीं जानते हैं। यदि आपको सिस्टम को इस तरह मोड़ना है, तो मुझे लगता है कि यह एक संकेत है कि डिजाइन की समस्या है।

यह पूरी तरह से unintuitive है अगर आप scikit- सीखने के लिए नहीं जानते हैं।
यदि आपको सिस्टम को इस तरह मोड़ना है, तो मुझे लगता है कि यह एक संकेत है कि वहाँ एक है
डिजाइन की समस्या।

मैं असहमत हूं। मनुष्य बहुत कुछ पूर्व ज्ञान के साथ चीजों को समझता है और
संदर्भ। वे सभी लेकिन व्यवस्थित हैं। सॉफ्टवेयर में इसे एम्बेड करने की कोशिश की जा रही है
विशेष मामलों के सेट की तरह खरीदारी-सूची देता है। इतना ही नहीं बनाता है
सॉफ्टवेयर बनाए रखने के लिए मुश्किल है, लेकिन यह भी मतलब है कि जो लोग नहीं है
उन अपवादों को ध्यान में रखते हुए आश्चर्यजनक व्यवहारों में भाग लेते हैं और छोटी गाड़ी लिखते हैं
पुस्तकालय का उपयोग कर कोड।

आपके मन में क्या विशेष मामला है?

स्पष्ट होने के लिए, मुझे लगता है कि GridSearchCV ऑब्जेक्ट में संग्रहीत क्रॉस-वेलिडेशन स्कोर मूल मान होना चाहिए (साइन फ़्लिप के साथ नहीं)।

AFAIK, साइन को फ़्लिप करने के लिए शुरू किया गया था ताकि ग्रिड खोज कार्यान्वयन को थोड़ा सरल बनाया जा सके लेकिन प्रयोज्य को प्रभावित नहीं करना चाहिए था।

आपके मन में क्या विशेष मामला है?

खैर, तथ्य यह है कि कुछ मैट्रिक्स के लिए बड़ा बेहतर है, जबकि अन्य के लिए
यह विपरीत है।

AFAIK, साइन फ्लिप करते हुए ग्रिड की खोज करने के लिए पेश किया गया था
थोड़ा सरल कार्यान्वयन लेकिन प्रभावित करने वाला नहीं था
प्रयोज्य।

यह ग्रिड खोज के बारे में नहीं है, यह चिंताओं को अलग करने के बारे में है: स्कोर
उनके बारे में कुछ भी जानने के बिना प्रयोज्य होने की आवश्यकता है, या कोड को
उनकी विशिष्टताओं के साथ सौदा पूरे कोडबेस में फैल जाएगा। वहाँ है
पहले से ही बहुत सारे स्कोरिंग कोड।

लेकिन यह कुछ हद तक समस्या को उपयोगकर्ता कोड के लिए स्थगित कर रहा है। कोई भी "नकारात्मक MSE" की साजिश नहीं करना चाहता है, इसलिए उपयोगकर्ताओं को अपने कोड में वापस संकेत फ्लिप करना होगा। यह असुविधाजनक है, विशेष रूप से कई-मीट्रिक क्रॉस-सत्यापन रिपोर्ट (PR # 2759) के लिए, क्योंकि आपको प्रत्येक मीट्रिक को व्यक्तिगत रूप से संभालने की आवश्यकता है। मुझे आश्चर्य है कि अगर हम दोनों दुनिया के सर्वश्रेष्ठ हो सकते हैं: सामान्य कोड और सहज परिणाम।

लेकिन यह कुछ हद तक समस्या को उपयोगकर्ता कोड के लिए स्थगित कर रहा है। कोई भी नहीं चाहता
"नकारात्मक MSE" की साजिश रचने के लिए, ताकि उपयोगकर्ताओं को वापस उनके में संकेत फ्लिप करना पड़े
कोड।

निश्चित रूप से दुनिया का अंत नहीं। ध्यान दें कि पेपर पढ़ते समय या
प्रस्तुतियों को देखकर मुझे एक ही समस्या है: जब ग्राफ नहीं है
अच्छी तरह से किया, मैं थोड़ा समय और मानसिक बैंडविड्थ की कोशिश कर रहा ढीला
आंकड़ा बड़ा है या नहीं, बेहतर है।

यह असुविधाजनक है, विशेष रूप से कई-मीट्रिक क्रॉस-सत्यापन के लिए
रिपोर्ट (PR # 2759), जैसा कि आपको प्रत्येक मीट्रिक को व्यक्तिगत रूप से संभालने की आवश्यकता है।

क्यों। यदि आप सिर्फ यह स्वीकार करते हैं कि इसका हमेशा बड़ा होना बेहतर है, यह बनाता है
परिणामों की व्याख्या सहित सब कुछ आसान है।

मुझे आश्चर्य है कि अगर हम दोनों दुनिया में सबसे अच्छे हो सकते हैं: सामान्य कोड और
सहज परिणाम।

जोखिम में बहुत जटिल कोड होता है जो हमें रखरखाव के लिए धीमा कर देता है
एवं विकास। Scikit-learn वजन उठा रहा है।

अगर आप सिर्फ यह स्वीकार करते हैं कि इसका हमेशा बड़ा होना बेहतर है

कि उसने क्या कहा :)

अधिक गंभीरता से, मुझे लगता है कि एक कारण यह लोगों को भ्रमित कर रहा है क्योंकि cross_val_score का उत्पादन मैट्रिक्स के अनुरूप नहीं है। यदि हम आपके तर्क का अनुसरण करते हैं, तो sklearn.metrics में सभी मैट्रिक्स को "बड़ा बेहतर है" का पालन करना चाहिए।

कि उसने क्या कहा :)

अच्छा है!

अधिक गंभीरता से, मुझे लगता है कि लोगों को भ्रमित करने का एक कारण यह है
cross_val_score का आउटपुट मेट्रिक्स के अनुरूप नहीं है। हम अगर
अपने तर्क का पालन करें, sklearn.metrics में सभी मैट्रिक्स को "बड़ा" का पालन करना चाहिए
बेहतर है"।

माना। इसलिए मुझे नाम बदलने का विचार पसंद है: यह पॉप अप होगा
लोगों की नजरों में।

अधिक गंभीरता से, मुझे लगता है कि एक कारण यह लोगों को भ्रमित कर रहा है क्योंकि cross_val_score का आउटपुट मैट्रिक्स के अनुरूप नहीं है।

और यह बदले में scoring अधिक रहस्यमय लगता है।

रैखिक प्रतिगमन करने की कोशिश करते समय 0.16.1 में आज इसके द्वारा काटे गए। जबकि स्कोर का संकेत स्पष्ट रूप से क्लासिफायर के लिए अब और फ़्लिप नहीं किया गया है, यह अभी भी रैखिक प्रतिगमन के लिए फ़्लिप किया गया है। भ्रम में जोड़ने के लिए, LinearRegression.score () स्कोर का एक गैर-फ़्लिप संस्करण देता है।

मेरा सुझाव है कि इसे सभी संगत बनाएं और रैखिक मॉडल के लिए गैर-साइन-फ़्लिप किए गए स्कोर को भी लौटाएं।

उदाहरण:

from sklearn import linear_model
from sklearn.naive_bayes import GaussianNB
from sklearn import cross_validation
from sklearn import datasets
iris = datasets.load_iris()
nb = GaussianNB()
scores = cross_validation.cross_val_score(nb, iris.data, iris.target)
print("NB score:\t  %0.3f" % scores.mean() )

iris_reg_data = iris.data[:,:3]
iris_reg_target = iris.data[:,3]
lr = linear_model.LinearRegression()
scores = cross_validation.cross_val_score(lr, iris_reg_data, iris_reg_target)
print("LR score:\t %0.3f" % scores.mean() )

lrf = lr.fit(iris_reg_data, iris_reg_target)
score = lrf.score(iris_reg_data, iris_reg_target)
print("LR.score():\t  %0.3f" % score )

यह देता है:

NB score:     0.934    # sign is not flipped
LR score:    -0.755    # sign is flipped
LR.score():   0.938    # sign is not flipped

क्रॉस-सत्यापन मॉडल के सभी संकेतों को फ़्लिप करता है जहां अधिक बेहतर होता है। मैं अब भी इस फैसले से असहमत हूं। मुझे लगता है कि इसके मुख्य प्रस्तावक @GaelVaroquaux थे और शायद @mblondel [मुझे याद था कि आप स्कोरर कोड को पुनःप्राप्त कर रहे थे]।

ओह, कोई बात नहीं, सभी चर्चा ऊपर है।
मुझे लगता है कि mse और r2 में डिफ़ॉल्ट रूप से साइन को फ्लिप करना और भी कम सहज है: - /

@Huitzilo GaussianNB एक क्लासिफायरियर है और डिफ़ॉल्ट स्कोरर के रूप में सटीकता का उपयोग करता है। LinearRegression एक regressor है और डिफ़ॉल्ट स्कोरर के रूप में r2 स्कोर का उपयोग करता है। दूसरा स्कोर नकारात्मक है, लेकिन याद रखें कि r2 स्कोर _can_ नकारात्मक हो। इसके अलावा, आईरिस एक बहुकोशिकीय डेटासेट है। इसलिए लक्ष्य स्पष्ट हैं। आप एक प्रतिगामी का उपयोग नहीं कर सकते।

सही है, मैं थोड़ा उलझन में था कि क्या होता है, r2 फ़्लिप नहीं होता है ... केवल mse होगा।

हो सकता है कि पूरी समस्या का हल negmse चीज़ के नाम पर हो?

@mblondel बेशक आप सही हैं, क्षमा करें। मैं बस जल्दी से एक प्रतिगमन के लिए एक उदाहरण के साथ एक साथ थप्पड़ मार रहा था, और आईरिस डेटा पर अपने अति आत्मविश्वास में मुझे लगा कि दूसरों से सुविधा # 4 की भविष्यवाणी करना सकारात्मक पी 2 के साथ काम करेगा। लेकिन, यह नकारात्मक R2 नहीं था। यहाँ कोई संकेत नहीं है। ठीक। मेरी गलती।

फिर भी, साइन को MSE में फ़्लिप किया जाता है मुझे cross_val_score ।

शायद यह सिर्फ मुझे है, लेकिन मुझे यह असंगतता बहुत भ्रामक लगती है (जो मुझे इस मुद्दे पर मिली)। MSE को साइन-फ़्लिप क्यों किया जाना चाहिए, लेकिन R2 नहीं?

शायद यह सिर्फ मुझे है, लेकिन मुझे यह असंगतता बहुत भ्रामक लगती है (जो मुझे इस मुद्दे पर मिली)। MSE को साइन-फ़्लिप क्यों किया जाना चाहिए, लेकिन R2 नहीं?

क्योंकि स्कोर का शब्दार्थ बेहतर है। हाई एमएसई खराब है।

शायद नीलम समस्या का समाधान होगा

@amueller मैं सहमत हूं, स्कोरिंग पैरामीटर के नाम पर साइन फ़्लिपिंग को स्पष्ट करने से निश्चित रूप से भ्रम से बचने में मदद मिलेगी।

हो सकता है कि [१] पर प्रलेखन भी अधिक स्पष्ट हो सकता है कि कुछ अंकों के लिए संकेत कैसे फ़्लिप कर रहे हैं। मेरे मामले में, मुझे जल्दी से जानकारी की आवश्यकता थी और केवल 3.1.1.1 के तहत तालिका देखी, लेकिन पाठ को नहीं पढ़ा (जो बताता है कि "बड़ा बेहतर है" सिद्धांत)। IMHO, 3.1.1.1 के तहत तालिका में mse, माध्यिका और औसत निरपेक्ष त्रुटि के लिए एक टिप्पणी जोड़ते हुए, उनकी उपेक्षा का संकेत देते हुए, वास्तविक कोड में कोई भी बदलाव किए बिना, पहले से ही बहुत मदद करेगा।

[१] http://scikit-learn.org/stable/modules/model_evaluation.html#scoring- पैरामीटर

मैं एक बहुत ही दिलचस्प मामले में आया हूँ:

from sklearn.cross_validation import cross_val_score
model = LinearRegression()
scores = cross_val_score(model, X, target, cv=2, scoring='r2')
scores

का परिणाम

array([-0.17026282, -2.21315179])

निम्नलिखित कोड समान डेटासेट के लिए

model = LinearRegression()
model.fit(X, target)
prediction = model.predict(X)
print r2_score(target, prediction)

एक उचित मूल्य में परिणाम

0.353035789318

रैखिक प्रतिगमन मॉडल के लिए AFAIK (अवरोधन के साथ) कोई R ^ 2> 1 या R ^ 2 <0 प्राप्त नहीं कर सकता है

इस प्रकार, सीवी परिणाम एक फ़्लिप किए गए संकेत के साथ R ^ 2 की तरह नहीं दिखता है। क्या मैं किसी बिंदु पर गलत हूं?

r2 नकारात्मक (खराब मॉडल के लिए) हो सकता है। यह 1 से बड़ा नहीं हो सकता।

आप शायद ओवरफिट कर रहे हैं। प्रयत्न:

from sklearn.cross_validation import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, target, test_size=0.2, random_state=0)
model = LinearRegression()
model.fit(X_train, y_train)
pred_train = model.predict(X_train)
print("train r2: %f" % r2_score(y_train, pred_train))

pred_test = model.predict(X_test)
print("test r2: %f" % r2_score(y_test, pred_test))

यादृच्छिक विभाजन को नियंत्रित करने वाले random_state पूर्णांक बीज के लिए विभिन्न मूल्यों के साथ प्रयास करें।

शायद नीलम समस्या का समाधान होगा

+1 'negative_mse' के लिए (मुझे लगता है कि अंडरस्कोर चीजों को अधिक पठनीय बनाता है)।

क्या वह सभी समस्याओं को हल करता है? क्या अन्य स्कोर बेहतर थे बेहतर नहीं है?

वहां:

• log_loss
• mean_absolute_error
• median_absolute_error

doc/modules/model_evaluation.rst , यह उन सभी को होना चाहिए।

और hinge_loss मुझे लगता है?

उन सभी नुकसानों में neg_ उपसर्ग जोड़ना अजीब लगता है।

एक विचार मूल अंक (बिना साइन फ्लिप के) वापस करने के लिए होगा, लेकिन एक ndarray को वापस करने के बजाय, हम एक वर्ग लौटाते हैं जो ndarray को best() , arg_best() , best_sorted() जैसे तरीकों से विस्तारित करता है

काज हानि के लिए कोई स्कोरर नहीं है (और मैंने इसे कभी मूल्यांकन के लिए इस्तेमाल नहीं किया है)।

स्कोरर एक सुव्यवस्थित सरणी नहीं लौटाता है, यह एक फ्लोट देता है, है ना?
हम एक स्कोर ऑब्जेक्ट वापस कर सकते हैं जिसमें एक कस्टम ">" है लेकिन फ्लोट की तरह दिखता है।
पिछले समाधान की तुलना में यह मेरे लिए अधिक विरोधाभास महसूस करता है, जो स्कोरर को एक बूल "लोअर_इस_बेट्टर" के साथ टैग कर रहा था, जिसे तब ग्रिडसर्च सीवी में इस्तेमाल किया गया था।

cross_val_score एक सरणी देता है।

वास्तव में स्कोर cross_val_score आमतौर पर छांटे जाने की जरूरत नहीं है, बस औसतन।

एक अन्य विचार sorted पद्धति को _BaseScorer जोड़ना है।

my_scorer = make_scorer(my_metric, greater_is_better=False)
scores = my_scorer.sorted(scores)  # takes into account my_scorer._sign
best = scores[0]

cross_val_score एक सरणी देता है, लेकिन स्कोरर एक फ्लोट लौटाते हैं। मुझे लगता है कि cross_val_score में विशिष्ट तर्क रखना अजीब होगा क्योंकि आप GridSearchCV और अन्य सभी CV ऑब्जेक्ट में समान व्यवहार करना चाहेंगे।

आपको एक argsort विधि की भी आवश्यकता होगी, क्योंकि GridSearchCV में आप सबसे अच्छा स्कोर और सर्वश्रेष्ठ सूचकांक चाहते हैं।

"नियंत्रण के सवालों से श्रमिकों की त्रुटियों के साधन और संस्करण का अनुमान कैसे लगाया जाए, इसे लागू करने के लिए, फिर स्किकिट-लर्न द्वारा भविष्यवाणियों के लिए अनुमानित पूर्वाग्रह को हटाने के बाद भारित औसत की गणना करें"?

IIRC हमने स्प्रिंट (पिछली गर्मियों में!) में इस पर चर्चा की और neg_mse (या यह neg-mse ) के साथ जाने का फैसला किया और सभी स्कोरर / स्ट्रिंग्स को खाली कर दिया, जहां हमारे पास अभी नकारात्मक समय है।
क्या यह अभी भी आम सहमति है? हमें 0.18 से पहले ऐसा करना चाहिए।
पिंग @GaelVaroquaux @agramfort @jnothman @ogrisel @raghavrv

हाँ हम neg_mse AFAIK पर सहमत हुए

यह neg_mse

हमें भी जरूरत है:

• neg_log_loss
• neg_mean_absolute_error
• neg_median_absolute_error

मॉडल = अनुक्रमिक ()
keras.layers.Flatten ()
model.add (Dense (11, input_dim = 3, kernel_initializer = keras.initializers.he_normal (बीज = 2))
कर्नेल_अग्रेटर = regularizers.l2 (2)))
keras.layers.LeakyReLU (अल्फा = 0.1)
model.add (Dense (8, kernel_initializer = keras.initializers.he_normal (बीज = 2 अंक))
keras.layers.LeakyReLU (अल्फा = 0.1)
model.add (Dense (4, kernel_initializer = keras.initializers.he_normal (बीज = 2 अंक))
keras.layers.LeakyReLU (अल्फा = 0.1)
model.add (Dense (1, kernel_initializer = keras.initializers.he_normal (बीज = 2 अंक))
keras.layers.LeakyReLU (अल्फा = 0.2)
adag = RMSprop (lr = 0.0002)
model.compile (नुकसान = losses.mean_squared_error,
अनुकूलक = एडीएजी
)
इतिहास = मॉडल.फिट (X_train, Y_train, युगों = 2000,
बैच_साइज = 20, फेरबदल = सच)

उपरोक्त कोड को कैसे पार करें? मैं चाहता हूं कि इसमें इस्तेमाल होने वाला एक क्रॉस वैरिफिकेशन तरीका छोड़ दिया जाए।

@shreyassks यह आपके प्रश्न के लिए सही जगह नहीं है, लेकिन मैं इसकी जाँच करूंगा: https://keras.io/scikit-learn-api । अपने नेटवर्क को scikit-learn अनुमानक में लपेटें फिर w / model_selection.cross_val_score

हाँ। मैं पूरी तरह सहमत हूँ! यह Brier_score_loss के साथ भी हुआ, यह Brier_score_loss का उपयोग करके पूरी तरह से ठीक काम करता है, लेकिन जब यह GridSearchCV से आता है, तो यह भ्रामक हो जाता है, नकारात्मक Brier_score_loss देता है। कम से कम, यह बेहतर उत्पादन होगा जैसे कुछ, क्योंकि Brier_score_loss एक नुकसान (कम बेहतर) है, स्कोरिंग फ़ंक्शन यहां इसे नकारात्मक बनाने के लिए संकेत फ्लिप करता है।

विचार यह है कि cross_val_score को परिणाम के पूर्ण मूल्य पर पूरी तरह से ध्यान केंद्रित करना चाहिए। मेरे ज्ञान में, cross_val_score में MSE (मतलब चुकता त्रुटि) के लिए प्राप्त नकारात्मक चिन्ह (-) का महत्व फिर से परिभाषित नहीं है। चलो स्केलेर के अद्यतन संस्करण की प्रतीक्षा करें जहां इस मुद्दे पर ध्यान दिया जाता है।

प्रतिगमन usecase के लिए:
model_score = cross_val_score (मॉडल, df_input, df_target, स्कोरिंग = 'negative_mean_squared_error', cv = 3)
मुझे इस प्रकार मान मिल रहा है:

SVR:
[-6.20938025 -1.397376 -1.94519]
-3.183982080147279

रेखीय प्रतिगमन:
[-5.94898085 -9.30931808 -1.15760676]
-5.4719685646934275

लैसो:
[-7.22363814 -10.47734135 -2.20807684]
-6.6363521107522345

कटक:
[-5.95990385 -4.17946756 -1.36885809]
-3.8360764993832004

तो कौन सा सबसे अच्छा है?
एसवीआर?

प्रतिगमन usecase के लिए:
जब मैं उपयोग करता हूं तो मुझे अलग परिणाम मिल रहे हैं
(1) स्कोरिंग के साथ "cross_val_score" = 'negative_mean_squared_error'
तथा
(2) उसी इनपुट के लिए जब मैं "GridSearchCV" का उपयोग करता हूं और 'best_score_' की जांच करता हूं

प्रतिगमन मॉडल के लिए कौन सा बेहतर है?

• स्कोरिंग के साथ "cross_val_score" = 'negative_mean_squared_error'
  (या)
• "GridSearchCV" का उपयोग करें और 'best_score_' जांचें

@pritishban
आप एक उपयोग प्रश्न पूछ रहे हैं। मुद्दा ट्रैकर मुख्य रूप से बग और नई सुविधाओं के लिए है। उपयोग के सवालों के लिए, स्टैक ओवरफ्लो या मेलिंग सूची की कोशिश करने की सिफारिश की जाती है।