Scikit-learn: कॉलमट्रांसफॉर्मर के बाद फीचर नाम नहीं मिल सकता है

को निर्मित 6 नव॰ 2018 · 13टिप्पणियाँ · स्रोत: scikit-learn/scikit-learn

जब मैं पाइपलाइन के साथ विभिन्न कॉलम (संख्यात्मक, श्रेणी, टेक्स्ट शामिल) को प्रीप्रोसेस करने के लिए कॉलमट्रांसफॉर्मर का उपयोग करता हूं, तो मुझे अंतिम रूपांतरित डेटा के फीचर नाम नहीं मिल सकते हैं, जो डिबगिंग के लिए कठिन है।

यहाँ कोड है:

titanic_url = ('https://raw.githubusercontent.com/amueller/'
               'scipy-2017-sklearn/091d371/notebooks/datasets/titanic3.csv')

data = pd.read_csv(titanic_url)

target = data.pop('survived')

numeric_columns = ['age','sibsp','parch']
category_columns = ['pclass','sex','embarked']
text_columns = ['name','home.dest']

numeric_transformer = Pipeline(steps=[
    ('impute',SimpleImputer(strategy='median')),
    ('scaler',StandardScaler()
    )
])
category_transformer = Pipeline(steps=[
    ('impute',SimpleImputer(strategy='constant',fill_value='missing')),
    ('ohe',OneHotEncoder(handle_unknown='ignore'))
])
text_transformer = Pipeline(steps=[
    ('cntvec',CountVectorizer())
])

preprocesser = ColumnTransformer(transformers=[
    ('numeric',numeric_transformer,numeric_columns),
    ('category',category_transformer,category_columns),
    ('text',text_transformer,text_columns[0])
])

preprocesser.fit_transform(data)

preprocesser.get_feature_names() त्रुटि मिलेगी:
AttributeError: Transformer numeric (type Pipeline) does not provide get_feature_names.
ColumnTransformer ， text_transformer केवल एक स्ट्रिंग (जैसे 'सेक्स') को संसाधित कर सकता है, लेकिन text_columns रूप में स्ट्रिंग की सूची नहीं

स्रोत

pjgao

👍9 👀1

सबसे उपयोगी टिप्पणी

यह कॉलमट्रांसफॉर्मर के बारे में कोई मुद्दा नहीं है।
पाइपलाइन के बारे में है। ध्यान दें कि eli5 एक फीचर नाम फ़ंक्शन को लागू करता है जो पाइपलाइन का समर्थन कर सकता है।
2 रुपये। शायद आप सही कह रहे हैं कि यह अमित्र है कि हमारे पास प्रत्येक कॉलम पर टेक्स्ट वेक्टराइज़र लागू करने का एक साफ तरीका नहीं है। मुझे यकीन नहीं है कि यह कैसे साफ-सुथरा हासिल किया जा सकता है, जब तक कि हम काउंटवेक्टर आदि में इनपुट के कई कॉलम का समर्थन करना शुरू नहीं करते।

अपना जवाब देने के लिए धन्यवाद!
जैसा कि मुझे पता है, जब मैं विधियों का उपयोग करके एक कॉलम को प्रीप्रोसेस करता हूं जो एक कॉलम को मल्टी-कॉलम जैसे OneHotEncoder , CountVectorizer , तो मैं पाइपलाइन से नए डेटा कॉलम नाम प्राप्त कर सकता हूं अंतिम चरण के ट्रांसफॉर्मर द्वारा फ़ंक्शन get_feature_names , उन विधियों का उपयोग करते समय जो नए कॉलम नहीं बनाते हैं, केवल कच्चे कॉलम नाम सेट कर सकते हैं।

def get_column_names_from_ColumnTransformer(column_transformer):    
    col_name = []
    for transformer_in_columns in column_transformer.transformers_[:-1]:#the last transformer is ColumnTransformer's 'remainder'
        raw_col_name = transformer_in_columns[2]
        if isinstance(transformer_in_columns[1],Pipeline): 
            transformer = transformer_in_columns[1].steps[-1][1]
        else:
            transformer = transformer_in_columns[1]
        try:
            names = transformer.get_feature_names()
        except AttributeError: # if no 'get_feature_names' function, use raw column name
            names = raw_col_name
        if isinstance(names,np.ndarray): # eg.
            col_name += names.tolist()
        elif isinstance(names,list):
            col_name += names    
        elif isinstance(names,str):
            col_name.append(names)
    return col_name

उपरोक्त कोड का उपयोग करके, मैं अपने preprocesser के कॉलम नाम प्राप्त कर सकता हूं।
क्या ये कोड इस प्रश्न को हल करते हैं?
eli5 के अनुसार, मुझे वह फ़ंक्शन नहीं मिला, क्या आप मुझे स्पष्ट उदाहरण के लिए एक लिंक दे सकते हैं या eli5 के लिए एपीआई?

pjgao 6 नव॰ 2018

👍19 😄2

सभी 13 टिप्पणियाँ

यह कॉलमट्रांसफॉर्मर के बारे में कोई मुद्दा नहीं है।

पाइपलाइन के बारे में है। ध्यान दें कि eli5 एक फीचर नाम फ़ंक्शन को लागू करता है जो पाइपलाइन का समर्थन कर सकता है।

2 रुपये। शायद आप सही कह रहे हैं कि यह अमित्र है कि हमारे पास प्रत्येक कॉलम पर टेक्स्ट वेक्टराइज़र लागू करने का एक साफ तरीका नहीं है। मुझे यकीन नहीं है कि यह कैसे साफ-सुथरा हासिल किया जा सकता है, जब तक कि हम काउंटवेक्टर आदि में इनपुट के कई कॉलम का समर्थन करना शुरू नहीं करते।

jnothman 6 नव॰ 2018

👍1

यह कॉलमट्रांसफॉर्मर के बारे में कोई मुद्दा नहीं है।
पाइपलाइन के बारे में है। ध्यान दें कि eli5 एक फीचर नाम फ़ंक्शन को लागू करता है जो पाइपलाइन का समर्थन कर सकता है।
2 रुपये। शायद आप सही कह रहे हैं कि यह अमित्र है कि हमारे पास प्रत्येक कॉलम पर टेक्स्ट वेक्टराइज़र लागू करने का एक साफ तरीका नहीं है। मुझे यकीन नहीं है कि यह कैसे साफ-सुथरा हासिल किया जा सकता है, जब तक कि हम काउंटवेक्टर आदि में इनपुट के कई कॉलम का समर्थन करना शुरू नहीं करते।

def get_column_names_from_ColumnTransformer(column_transformer):    
    col_name = []
    for transformer_in_columns in column_transformer.transformers_[:-1]:#the last transformer is ColumnTransformer's 'remainder'
        raw_col_name = transformer_in_columns[2]
        if isinstance(transformer_in_columns[1],Pipeline): 
            transformer = transformer_in_columns[1].steps[-1][1]
        else:
            transformer = transformer_in_columns[1]
        try:
            names = transformer.get_feature_names()
        except AttributeError: # if no 'get_feature_names' function, use raw column name
            names = raw_col_name
        if isinstance(names,np.ndarray): # eg.
            col_name += names.tolist()
        elif isinstance(names,list):
            col_name += names    
        elif isinstance(names,str):
            col_name.append(names)
    return col_name

pjgao 6 नव॰ 2018

👍19 😄2

eli5 के संबंध में, transform_feature_names देखें (explain_weights द्वारा प्रयुक्त)

jnothman 6 नव॰ 2018

1 #6425 का डुप्लिकेट है, है ना? मैं उस पर एक नींद लिखना चाहता हूं।
मुझे लगता है कि ColumnTransformer साथ एकाधिक टेक्स्ट कॉलम का समर्थन करना बहुत आसान है। यह सबसे सुंदर कोड नहीं है, लेकिन आप प्रत्येक टेक्स्ट कॉलम के लिए केवल एक काउंट वेक्टराइज़र जोड़ सकते हैं।

और आपका स्निपेट वास्तव में समस्या का समाधान नहीं करता है क्योंकि नहीं get_feature_names मतलब यह नहीं है कि आप केवल कॉलम नामों का उपयोग कर सकते हैं।

amueller 7 नव॰ 2018

1 #6425 का डुप्लिकेट है, है ना? मैं उस पर एक नींद लिखना चाहता हूं।
मुझे लगता है कि ColumnTransformer साथ एकाधिक टेक्स्ट कॉलम का समर्थन करना बहुत आसान है। यह सबसे सुंदर कोड नहीं है, लेकिन आप प्रत्येक टेक्स्ट कॉलम के लिए केवल एक काउंट वेक्टराइज़र जोड़ सकते हैं।
और आपका स्निपेट वास्तव में समस्या का समाधान नहीं करता है क्योंकि नहीं get_feature_names मतलब यह नहीं है कि आप केवल कॉलम नामों का उपयोग कर सकते हैं।

हाँ, एक पांडा डेटाफ़्रेम एक प्रीप्रोसेस पाइपलाइन में फ़ीड करने के बाद, फीचर नाम प्राप्त करना बेहतर होता है ताकि पता चल सके कि वास्तव में उत्पन्न डेटा से क्या हुआ था।

pjgao 7 नव॰ 2018

👍1

ठीक है, डुप्लिकेट के रूप में बंद हो रहा है।

amueller 7 नव॰ 2018

यह कॉलमट्रांसफॉर्मर के बारे में कोई मुद्दा नहीं है।
पाइपलाइन के बारे में है। ध्यान दें कि eli5 एक फीचर नाम फ़ंक्शन को लागू करता है जो पाइपलाइन का समर्थन कर सकता है।
2 रुपये। शायद आप सही कह रहे हैं कि यह अमित्र है कि हमारे पास प्रत्येक कॉलम पर टेक्स्ट वेक्टराइज़र लागू करने का एक साफ तरीका नहीं है। मुझे यकीन नहीं है कि यह कैसे साफ-सुथरा हासिल किया जा सकता है, जब तक कि हम काउंटवेक्टर आदि में इनपुट के कई कॉलम का समर्थन करना शुरू नहीं करते।
अपना जवाब देने के लिए धन्यवाद!
जैसा कि मुझे पता है, जब मैं विधियों का उपयोग करके एक कॉलम को प्रीप्रोसेस करता हूं जो एक कॉलम को मल्टी-कॉलम जैसे OneHotEncoder , CountVectorizer , तो मैं पाइपलाइन से नए डेटा कॉलम नाम प्राप्त कर सकता हूं अंतिम चरण के ट्रांसफॉर्मर द्वारा फ़ंक्शन get_feature_names , उन विधियों का उपयोग करते समय जो नए कॉलम नहीं बनाते हैं, केवल कच्चे कॉलम नाम सेट कर सकते हैं।
def get_column_names_from_ColumnTransformer(column_transformer):    
    col_name = []
    for transformer_in_columns in column_transformer.transformers_[:-1]:#the last transformer is ColumnTransformer's 'remainder'
        raw_col_name = transformer_in_columns[2]
        if isinstance(transformer_in_columns[1],Pipeline): 
            transformer = transformer_in_columns[1].steps[-1][1]
        else:
            transformer = transformer_in_columns[1]
        try:
            names = transformer.get_feature_names()
        except AttributeError: # if no 'get_feature_names' function, use raw column name
            names = raw_col_name
        if isinstance(names,np.ndarray): # eg.
            col_name += names.tolist()
        elif isinstance(names,list):
            col_name += names    
        elif isinstance(names,str):
            col_name.append(names)
    return col_name
उपरोक्त कोड का उपयोग करके, मैं अपने preprocesser के कॉलम नाम प्राप्त कर सकता हूं।
क्या ये कोड इस प्रश्न को हल करते हैं?
eli5 के अनुसार, मुझे वह फ़ंक्शन नहीं मिला, क्या आप मुझे स्पष्ट उदाहरण के लिए एक लिंक दे सकते हैं या eli5 के लिए एपीआई?

मैंने onehot रूपों के लिए rawname_value जैसे नाम को वापस पाने के लिए एक छोटी सी वृद्धि की है:

def get_column_names_from_ColumnTransformer(column_transformer):    
    col_name = []
    for transformer_in_columns in column_transformer.transformers_[:-1]:#the last transformer is ColumnTransformer's 'remainder'
        raw_col_name = transformer_in_columns[2]
        raw_col_name_reverse = raw_col_name[::-1]
        if isinstance(transformer_in_columns[1],Pipeline): 
            transformer = transformer_in_columns[1].steps[-1][1]
        else:
            transformer = transformer_in_columns[1]
        try:
            names = transformer.get_feature_names()
            exchange_name = [(_.split("_")) for _ in preprocessor.transformers_[:-1][0][1].steps[-1][1].get_feature_names()]
            last_pre_name = ""
            last_raw_name = ""
            for pre_name,value in exchange_name:
                if pre_name==last_pre_name:
                    col_name.append(last_raw_name+"_"+value)
                if pre_name!=last_pre_name:
                    last_pre_name=pre_name
                    last_raw_name=raw_col_name_reverse.pop()
                    col_name.append(last_raw_name+"_"+value)
        except AttributeError: # if no 'get_feature_names' function, use raw column name
            names = raw_col_name
        if isinstance(names,np.ndarray): # eg.
            col_name += names.tolist()
        elif isinstance(names,list):
            col_name += names    
        elif isinstance(names,str):
            col_name.append(names)
    return col_name

miemiekurisu 21 मई 2020

यह कॉलमट्रांसफॉर्मर के बारे में कोई मुद्दा नहीं है।
पाइपलाइन के बारे में है। ध्यान दें कि eli5 एक फीचर नाम फ़ंक्शन को लागू करता है जो पाइपलाइन का समर्थन कर सकता है।
2 रुपये। शायद आप सही कह रहे हैं कि यह अमित्र है कि हमारे पास प्रत्येक कॉलम पर टेक्स्ट वेक्टराइज़र लागू करने का एक साफ तरीका नहीं है। मुझे यकीन नहीं है कि यह कैसे साफ-सुथरा हासिल किया जा सकता है, जब तक कि हम काउंटवेक्टर आदि में इनपुट के कई कॉलम का समर्थन करना शुरू नहीं करते।
अपना जवाब देने के लिए धन्यवाद!
जैसा कि मुझे पता है, जब मैं विधियों का उपयोग करके एक कॉलम को प्रीप्रोसेस करता हूं जो एक कॉलम को मल्टी-कॉलम जैसे OneHotEncoder , CountVectorizer , तो मैं पाइपलाइन से नए डेटा कॉलम नाम प्राप्त कर सकता हूं अंतिम चरण के ट्रांसफॉर्मर द्वारा फ़ंक्शन get_feature_names , उन विधियों का उपयोग करते समय जो नए कॉलम नहीं बनाते हैं, केवल कच्चे कॉलम नाम सेट कर सकते हैं।
def get_column_names_from_ColumnTransformer(column_transformer):    
    col_name = []
    for transformer_in_columns in column_transformer.transformers_[:-1]:#the last transformer is ColumnTransformer's 'remainder'
        raw_col_name = transformer_in_columns[2]
        if isinstance(transformer_in_columns[1],Pipeline): 
            transformer = transformer_in_columns[1].steps[-1][1]
        else:
            transformer = transformer_in_columns[1]
        try:
            names = transformer.get_feature_names()
        except AttributeError: # if no 'get_feature_names' function, use raw column name
            names = raw_col_name
        if isinstance(names,np.ndarray): # eg.
            col_name += names.tolist()
        elif isinstance(names,list):
            col_name += names    
        elif isinstance(names,str):
            col_name.append(names)
    return col_name
उपरोक्त कोड का उपयोग करके, मैं अपने preprocesser के कॉलम नाम प्राप्त कर सकता हूं।
क्या ये कोड इस प्रश्न को हल करते हैं?
eli5 के अनुसार, मुझे वह फ़ंक्शन नहीं मिला, क्या आप मुझे स्पष्ट उदाहरण के लिए एक लिंक दे सकते हैं या eli5 के लिए एपीआई?

यदि आप एक पाइपलाइन में add_indicator के साथ simpleimputer लागू करते हैं तो क्या होगा? यह तरीका काम नहीं करेगा।

nickcorona 31 मई 2020

यदि आप एक पाइपलाइन में add_indicator के साथ simpleimputer लागू करते हैं तो क्या होगा? यह तरीका काम नहीं करेगा।

इस कॉन्फ़िगरेशन के लिए get_feature_names विधि होना अच्छा होगा।

kylegilde 1 जून 2020

यदि आप एक पाइपलाइन में add_indicator के साथ simpleimputer लागू करते हैं तो क्या होगा? यह तरीका काम नहीं करेगा।

यहाँ अल्पकालिक समाधान में मेरा योगदान है। यह सभी अलग-अलग सरणी प्रकारों को सूचियों में शामिल करता है, और यह SimpleImputer(add_indicate=True) के मामले को संभालता है। यह थोड़ा और वर्बोज़ भी है।

def get_column_names_from_ColumnTransformer(column_transformer):    
    col_name = []

    for transformer_in_columns in column_transformer.transformers_[:-1]: #the last transformer is ColumnTransformer's 'remainder'
        print('\n\ntransformer: ', transformer_in_columns[0])

        raw_col_name = list(transformer_in_columns[2])

        if isinstance(transformer_in_columns[1], Pipeline): 
            # if pipeline, get the last transformer
            transformer = transformer_in_columns[1].steps[-1][1]
        else:
            transformer = transformer_in_columns[1]

        try:
          if isinstance(transformer, OneHotEncoder):
            names = list(transformer.get_feature_names(raw_col_name))

          elif isinstance(transformer, SimpleImputer) and transformer.add_indicator:
            missing_indicator_indices = transformer.indicator_.features_
            missing_indicators = [raw_col_name[idx] + '_missing_flag' for idx in missing_indicator_indices]

            names = raw_col_name + missing_indicators

          else:
            names = list(transformer.get_feature_names())

        except AttributeError as error:
          names = raw_col_name

        print(names)    

        col_name.extend(names)

    return col_name

kylegilde 8 जून 2020

👍4

एफवाईआई, मैंने जटिल पाइपलाइनों और कॉलमट्रांसफॉर्मर्स से फीचर नाम निकालने के तरीके के बारे में कुछ कोड और ब्लॉग लिखा था। कोड मेरी पिछली पोस्ट पर एक सुधार है। https://towardsdatascience.com/extracting-plotting-feature-names-importance-from-scikit-learn-pipelines-eb5bfa6a31f4

kylegilde 10 सित॰ 2020

👍4

@kylegilde महान लेख और कोड के लिए धन्यवाद। जादू की तरह काम करता है। वैश्विक स्पष्टीकरण के लिए मैं कुछ घंटों के लिए कर्नेलशैप और ऐलिबी के साथ कुश्ती कर रहा था, लेकिन मेरा वनहॉट ट्रांसफार्मर handle_unkown='ignore' बिना काम नहीं कर रहा था

jobvisser03 21 सित॰ 2020

👍1

यहां @pjgao के स्निपेट का एक और संस्करण दिया गया है जिसमें रिमाइंडर के कॉलम शामिल हैं:

def get_columns_from_transformer(column_transformer, input_colums):    
    col_name = []

    for transformer_in_columns in column_transformer.transformers_[:-1]: #the last transformer is ColumnTransformer's 'remainder'
        raw_col_name = transformer_in_columns[2]
        if isinstance(transformer_in_columns[1],Pipeline): 
            transformer = transformer_in_columns[1].steps[-1][1]
        else:
            transformer = transformer_in_columns[1]
        try:
            names = transformer.get_feature_names(raw_col_name)
        except AttributeError: # if no 'get_feature_names' function, use raw column name
            names = raw_col_name
        if isinstance(names,np.ndarray): # eg.
            col_name += names.tolist()
        elif isinstance(names,list):
            col_name += names    
        elif isinstance(names,str):
            col_name.append(names)

    [_, _, reminder_columns] = column_transformer.transformers_[-1]

    for col_idx in reminder_columns:
        col_name.append(input_colums[col_idx])

    return col_name

कोर कोडबेस के समान फ़ंक्शन को जोड़ने के बारे में आप क्या सोचते हैं?

roma-glushko 14 दिस॰ 2020

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Scikit-learn: कॉलमट्रांसफॉर्मर के बाद फीचर नाम नहीं मिल सकता है

सबसे उपयोगी टिप्पणी

सभी 13 टिप्पणियाँ

संबंधित मुद्दों