Evalml: एक हॉट एनकोडर: दो श्रेणियों वाली सुविधाओं के लिए डिफ़ॉल्ट रूप से एक अनावश्यक सुविधा को छोड़ दें

💯 % हमें नेगेटिव-केस कॉलम को छोड़ देना चाहिए।

यदि हम पहले ओएचई स्वयं करते हैं, तो उम्मीद है कि स्केलेर उनका विस्तार नहीं करेगा। जैसा कि फ्रेडी ने कहा था, आप इसे दो स्तंभों को उत्पन्न करने के बारे में सोच सकते हैं जिनमें पूर्ण समरूपता है।

बाइनरी को एक के बजाय दो कॉलम में विस्तारित करने में मुझे दो समस्याएं दिखाई देती हैं:

1. फीचर कॉललाइनरिटी के अन्य रूपों की तरह यह व्याख्यात्मकता में बहुत सी चीजों को गड़बड़ कर देता है, क्योंकि एक मूल स्रोत कॉलम का प्रभाव दो ओएचई कॉलम के बीच विभाजित होता है। फ़्रेडी के नए SHAP रोलअप स्पष्ट रूप से इसे संबोधित करते हैं, लेकिन फ़ीचर महत्व और आंशिक निर्भरता प्लॉट जैसी चीज़ों में अभी भी समस्या होगी।
2. रैंडम फ़ॉरेस्ट और GBM जैसे ट्री मॉडल बेतरतीब ढंग से अपनी इनपुट सुविधाओं का नमूना लेते हैं। इस मामले में स्रोत कॉलम को बेतरतीब ढंग से दो बार नमूना लिया जाएगा जितनी बार यह वास्तव में होना चाहिए, इसलिए इसका मॉडल पर एक बाहरी प्रभाव हो सकता है।

@freddyaboulton Q: डेटाफ़्रेम उन्हें फ़्लोट के रूप में दिखाता है। क्या ये सच में सच है?

@ रपेक हाँ!

@freddyaboulton Whatthe? वह अजीब है। मैंने सच्चे बूलियन, या 0/1 पूर्णांक के अलावा कुछ भी नहीं देखा है। मुझे आश्चर्य है कि ट्री मॉडल वास्तव में इसे कैसे संभालते हैं। इसमें मेरे लिए एक बुरी गंध है।

संहिता का तीसरा नियम: आप नहीं करेंगे == फ्लोट्स के साथ तुलना

(ठीक है, जब तक कि यह Math.NaN के साथ न हो)

हम्म, मुझे लगा कि हम यह कर रहे हैं!

मैं सहमत हूं कि हमें चाहिए। मैंने सोचा था कि यह सिर्फ एक झंडा था जिसे हमें अंतर्निहित निहितार्थ में स्थापित करना था।

@dsherry @freddyaboulton ऐसा लगता है कि हमारे पास इसके लिए हमारे drop पैरामीटर के माध्यम से समर्थन है, लेकिन केवल उपयोगकर्ता इनपुट को ध्यान में रखता है और हमारे impl द्वारा उपयोग नहीं किया जाता है, इसलिए यह समस्या केवल drop लिए डिफ़ॉल्ट सेटिंग को ट्रैक करती है किसी और के अलावा कुछ नहीं?

https://github.com/alteryx/evalml/blob/91775ffc26c47205adc0fb255832d828ead6e7c9/evalml/pipelines/components/transformers/encoders/onehot_encoder.py#L28

https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.OneHotEncoder.html

हम या तो first या if_binary , यह सुनिश्चित नहीं है कि सही कॉल क्या है।

@ Angela97lin आप सही कह रहे हैं कि डिफ़ॉल्ट मान बदलना पर्याप्त होगा! मुझे लगता है कि first जाने का रास्ता है क्योंकि हमें श्रेणियों की संख्या> 2. होने पर भी पूरी तरह से समरेख सुविधाओं से बचना चाहिए। आपको क्या लगता है @rpeck ?

इसे थोड़ा पढ़ रहा था और इस लिंक को पाया: https://inmachineswetrust.com/posts/drop-first-columns/

चाबी छीनना:

• नियमितीकरण के बिना ओएलएस मॉडल बनाते समय केवल कॉलम छोड़ना आवश्यक है (मेरा मानना ​​​​है कि रैखिक प्रतिगामी इस श्रेणी में आता है: https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LinearRegression.html, https:// scikit-learn.org/stable/modules/linear_model.html#ordinary-least-squares)
• एक-हॉट एन्कोडेड कॉलम को छोड़ने से एक रेखीय प्रतिगमन मॉडल के मापदंडों और भविष्यवाणियों में परिवर्तन होता है, जिससे मॉडल वापस आ जाता है। फिर भी, मेरे लिए यह तय करना मुश्किल है कि यह बेहतर के लिए है या नहीं।

आरई @rpeck की पहली टिप्पणी: "फीचर

यह द्विआधारी मामलों के लिए समझ में आता है, लेकिन उस मामले में जहां हमारे पास कई श्रेणियां हैं, एक कर्नल को छोड़ने से अभी भी यह समस्या होगी।

शायद हमें डिफ़ॉल्ट रूप से ऐसा नहीं करना चाहिए, लेकिन अगर अनुमानक एक रैखिक प्रतिगामी है तो पैरामीटर के रूप में first साथ OHE बनाने के लिए make_pipeline को अपडेट करना चाहिए?

काश, मुझे निर्णय लेने के लिए अंतर्निहित गणित पर एक मजबूत समझ नहीं है, इसलिए मुझे आपके विचार सुनना अच्छा लगेगा , @freddyaboulton @rpeck @dsherry

चर्चा के बाद @freddyaboulton @rpeck @dsherry @chukarsten @jeremyliweishih के साथ

• हम इसे केवल बाइनरी मामलों के लिए करेंगे।
• द्विआधारी मामले में एक "अच्छा-से-हैव" का उपयोग करना है, अल्पसंख्यक वर्ग है, लेकिन अन्यथा केवल दो श्रेणियों में से एक को चुनना पर्याप्त होना चाहिए।

@ एंजेला 97 लिन अच्छा आरई डिफ़ॉल्ट व्यवहार लगता है। एक और अच्छा है: घटक पैरा के माध्यम से उस डिफ़ॉल्ट व्यवहार को ओवरराइड करने की क्षमता

@dsherry अगर मैं सही ढंग से समझ रहा हूं, क्योंकि हम drop (एक पैरामीटर) के डिफ़ॉल्ट मान को अपडेट कर रहे हैं, तो उपयोगकर्ता घटक पैरामीटर को मैन्युअल रूप से सेट करके इसे ओवरराइड करने की क्षमता रखेंगे?

यह देखने के लिए चारों ओर खोदा गया कि इसे लागू करने के लिए क्या आवश्यक था। विशेष रूप से, मैं उत्सुक था कि द्विआधारी मामले में अल्पसंख्यक वर्ग को हमेशा हटाना कितना मुश्किल होगा।

उस खुदाई का परिणाम है:

• स्किकिट-लर्न के साथ, यह चुनना काफी मुश्किल है कि किस श्रेणी को हटाना है। प्रलेखन से, यह drop पैरामीटर (https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.OneHotEncoder.html) के लिए सरणी विकल्प के माध्यम से व्यवहार्य लगता है। हालाँकि, इसे आज़माने के बाद, यह आवश्यक है कि प्रत्येक कॉलम के लिए एक अनुक्रमणिका मान निर्दिष्ट किया जाए। इसलिए, निम्नलिखित, जो कॉलम 0 के लिए इंडेक्स 0 पर निर्दिष्ट श्रेणी को हटाने की कोशिश कर रहा है और कॉलम 1 और 2 त्रुटियों के लिए कोई अन्य मान नहीं है:

import pandas as pd
import numpy as np
from sklearn.preprocessing import OneHotEncoder

X = pd.DataFrame({'col_1': ["a", "b", "b", "a", "b"],
                      'col_2': ["a", "b", "a", "c", "b"],
                      'col_3': ["a", "a", "a", "a", "a"]})

indices_to_drop = np.array([0, None, None])

ohe = OneHotEncoder(drop=indices_to_drop)
ohe.fit(X)

ValueError                                Traceback (most recent call last)
<ipython-input-4-a099fa2fc4a7> in <module>
----> 1 ohe.fit(X)

~/Desktop/venv/lib/python3.7/site-packages/sklearn/preprocessing/_encoders.py in fit(self, X, y)
    417         self._fit(X, handle_unknown=self.handle_unknown,
    418                   force_all_finite='allow-nan')
--> 419         self.drop_idx_ = self._compute_drop_idx()
    420         return self
    421 

~/Desktop/venv/lib/python3.7/site-packages/sklearn/preprocessing/_encoders.py in _compute_drop_idx(self)
    394                                 ["Category: {}, Feature: {}".format(c, v)
    395                                     for c, v in missing_drops])))
--> 396                 raise ValueError(msg)
    397             return np.array(drop_indices, dtype=object)
    398 

ValueError: The following categories were supposed to be dropped, but were not found in the training data.
Category: 0, Feature: 0
Category: 1, Feature: None
Category: 2, Feature: None

मेरा मानना ​​​​है कि यह भी इस मुद्दे का आधा हिस्सा है: https://github.com/scikit-learn/scikit-learn/issues/16511

इसका समर्थन करने के लिए हम जो एक विकल्प कर सकते हैं, वह यह है कि फिटिंग के दौरान हम कौन से कॉलम और किन मूल्यों को छोड़ना चाहते हैं, इसका मैन्युअल रूप से ट्रैक रखें। डेटा को स्किकिट-लर्न में पास करें। फिर, उन स्तंभों को छाँटें जिन्हें हमने संग्रहीत और निर्दिष्ट किया था जिन्हें हम छोड़ना चाहते थे। हालाँकि, इसके लिए रूपांतरित स्तंभ नाम से मूल (सुविधा, मान) निर्धारित करने के लिए कुछ तर्क प्रबंधन की आवश्यकता होती है। (हमारे पास यह तर्क get_feature_names लेकिन इससे हमें कॉलम नामों को जोड़ने में मदद मिलती है, यह मानते हुए कि कुछ भी नहीं छोड़ा जाना चाहिए ...)

यह सब कहने के लिए है, शायद केवल डिफ़ॉल्ट स्किकिट-लर्न का उपयोग करना if_binary अभी के लिए पर्याप्त होगा, और हम हमेशा अल्पसंख्यक वर्ग का उपयोग करने के लिए एक अलग मुद्दा दर्ज कर सकते हैं। ईमानदारी से स्किकिट-लर्न के ओएचई कार्यान्वयन से दूर जाने के पक्ष में यह देखते हुए कि हमें इसके आसपास कितना काम करना पड़ा है।

उपयोगी संसाधन:
OHE दस्तावेज़: https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.OneHotEncoder.html
स्किकिट-लर्न में कोड अनम्यता पैदा करता है: https://github.com/scikit-learn/scikit-learn/blob/95119c13af77c76e150b753485c662b7c52a41a2/sklearn/preprocessing/_encoders.py#L338
संबंधित समस्या: https://github.com/scikit-learn/scikit-learn/issues/16511

if_binary का उपयोग करने के लिए: scikit-learn के लिए आवश्यक है कि handle_unknown error । यह हमारे top_n मापदंडों के साथ अच्छा नहीं खेलता है, जो शीर्ष एन श्रेणियों को छोड़कर सब कुछ छोड़ देता है क्योंकि डेटा को बदलने के लिए यह नहीं पता होगा कि नई श्रेणियों के साथ क्या करना है। जैसा कि बेक्का ने https://github.com/alteryx/evalml/pull/830 में उल्लेख किया है, हमें इन मापदंडों के काम करने के लिए top_n से कोई नहीं सेट करना होगा।

इसे ध्यान में रखते हुए, शायद यह सबसे अच्छा है कि हम अपना खुद का इम्प्लांट . रोल करें