Evalml: डायमंड डेटासेट पर खराब प्रदर्शन

को निर्मित 5 अक्तू॰ 2020 · 3टिप्पणियाँ · स्रोत: alteryx/evalml

संकट
Automl नकारात्मक R2 के साथ मॉडल उत्पन्न करता है।

रेप्रो
यहाँ डेटासेट।

import evalml
import pandas as pd
import numpy as np
df = pd.read_csv('stones_encoded_small.csv')
y = df.pop('total_sales_price')
automl = evalml.automl.AutoMLSearch(problem_type='regression')
automl.search(df, y)

अत्यधिक शून्य/एकल-मान कॉलम के कारण डेटा जांच विफल हो जाएगी। आप उन्हें data_checks='disabled' अक्षम कर सकते हैं। या, उन्हें संबोधित करने और जारी रखने के लिए:

cols_to_drop = ['culet_condition', 'fancy_color_dominant_color', 'fancy_color_intensity', 'fancy_color_overtone', 'fancy_color_secondary_color', 'fluor_color', 'image_file_url', 'diamond_id', 'currency_code', 'currency_symbol', 'fancy_color_dominant_color', 'fancy_color_intensity', 'fancy_color_overtone', 'fancy_color_secondary_color', 'has_sarineloupe']
df.drop(columns=cols_to_drop, inplace=True)
automl = evalml.automl.AutoMLSearch(problem_type='regression')
automl.search(df, y)

परिणाम किसी भी तरह से बहुत समान हैं: सभी मॉडलों के लिए नकारात्मक R2 मान, अर्थात मॉडल सार्थक परिणाम नहीं दे सकते हैं।

मीट्रिक को MSE और MAE में बदलने से समान रूप से खराब मॉडल प्राप्त होते हैं।

विचार-विमर्श
मेरा पहला संदेह यह है कि सुविधाओं को सही प्रकार नहीं मिल रहा है। जब मैं पांडा द्वारा अनुमानित dtypes को देखता हूं, तो मुझे लगता है कि कई float64 रूप में सेट हैं, लेकिन केवल कुछ अद्वितीय मान हैं, यानी उन्हें श्रेणीबद्ध के रूप में सेट किया जाना चाहिए। मैंने इसे एक शॉट दिया लेकिन ऐसा लगता है कि मॉडल के परिणाम नहीं बदलते हैं, इसलिए कहानी के लिए और भी कुछ है।

bug

स्रोत

dsherry

सभी 3 टिप्पणियाँ

हाय टीम,

मेरा मानना है कि यह लक्ष्य चर द्वारा क्रमबद्ध इनपुट डेटा सेट और 3-गुना क्रॉस सत्यापन के लिए उपयोग की जाने वाली नमूना विधि से संबंधित है। इस डेटा सेट को न्यूनतम से उच्चतम तक मूल्य के आधार पर क्रमबद्ध किया जाता है। मुझे संदेह है कि क्रॉस सत्यापन क्रम में रिकॉर्ड को विभाजित कर रहा है, इसलिए विभाजन लक्ष्य चर से बंधे हैं - जिसका अर्थ है कि R2 मान वास्तव में कम हैं क्योंकि उन्हें लक्ष्य चर मानों के विरुद्ध परीक्षण किया जा रहा है जो प्रशिक्षण डेटा में शामिल नहीं थे। इस व्यवहार को खोज में फीड करने से पहले पूरे डेटा सेट पर फेरबदल करके हल किया जाता है।

SydneyAyx 5 अक्तू॰ 2020

👀2 🚀1

जैसा कि @SydneyAyx ने उल्लेख किया है, डेटासेट में फेरबदल करने के बाद आपको एक बेहतर R2 स्कोर मिलता है।

import evalml
import pandas as pd
import numpy as np
from evalml.data_checks import EmptyDataChecks

df = pd.read_csv('stones_encoded_small.csv')

# shuffles data
df = df.sample(frac=1)

y = df.pop('total_sales_price')
automl = evalml.automl.AutoMLSearch(problem_type='regression')
automl.search(df, y, data_checks=EmptyDataChecks()))

gsheni 5 अक्तू॰ 2020

👀1

धन्यवाद @SydneyAyx @gsheni ! वहाँ महान जासूसी का काम, प्रतिभाशाली :)

हां, निश्चित। ऐसा प्रतीत होता है कि ऑटोएमएल में हमारे डिफ़ॉल्ट डेटा स्प्लिटर वर्तमान में shuffle=True सेट नहीं करते हैं।

@SydneyAyx @gsheni एक वर्कअराउंड automl चलाने से पहले फेरबदल करना है जैसा कि @gsheni ने ऊपर दिखाया है। अपना खुद का डेटा स्प्लिटर सेट करना एक और कामकाज है, जैसे:

import evalml
import pandas as pd
import numpy as np
import sklearn.model_selection
df = pd.read_csv('stones_encoded_small.csv')
y = df.pop('total_sales_price')

data_splitter = sklearn.model_selection.KFold(n_splits=3, random_state=0, shuffle=True)
automl = evalml.automl.AutoMLSearch(problem_type='regression', data_split=data_splitter)
automl.search(df, y, data_checks='disabled')

मैं evalml फिक्स के साथ एक पीआर प्राप्त करूंगा।

dsherry 6 अक्तू॰ 2020

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Evalml: डायमंड डेटासेट पर खराब प्रदर्शन

सभी 3 टिप्पणियाँ

संबंधित मुद्दों