Lors de la régression linéaire et de l'encodage de variables catégorielles, une colinéarité parfaite peut être un problème. Pour contourner ce problème, l'approche suggérée consiste à utiliser n-1 colonnes. Ce serait utile si pd.get_dummies()
avait un paramètre booléen qui renvoie n-1 pour chaque colonne catégorielle qui est encodée.
Exemple:
>>> df
Account Network Device
0 Account1 Search Smartphone
1 Account1 Display Tablet
2 Account2 Search Smartphone
3 Account3 Display Smartphone
4 Account2 Search Tablet
5 Account3 Search Smartphone
>>> pd.get_dummies(df)
Account_Account1 Account_Account2 Account_Account3 Network_Display \
0 1 0 0 0
1 1 0 0 1
2 0 1 0 0
3 0 0 1 1
4 0 1 0 0
5 0 0 1 0
Network_Search Device_Smartphone Device_Tablet
0 1 1 0
1 0 0 1
2 1 1 0
3 0 1 0
4 1 0 1
5 1 1 0
Au lieu de cela, j'aimerais avoir un paramètre tel que drop_first=True
dans get_dummies()
et cela fait quelque chose comme ceci :
>>> new_df = pd.DataFrame(index=df.index)
>>> for i in df:
new_df = new_df.join(pd.get_dummies(df[i]).iloc[:, 1:])
>>> new_df
Account2 Account3 Search Tablet
0 0 0 1 0
1 0 0 0 1
2 1 0 1 0
3 0 1 0 0
4 1 0 1 1
5 0 1 1 0
Sources
http://fastml.com/converting-categorical-data-into-numbers-with-pandas-and-scikit-learn/
http://stackoverflow.com/questions/31498390/how-to-get-pandas-get-dummies-to-emit-n-1-variables-to-avoid-co-lineraity
http://dss.princeton.edu/online_help/analysis/dummy_variables.htm
Cela vous semble intéressant, vous souhaitez soumettre une pull request ?
:+1:
Il serait avantageux d'autoriser la suppression d'une valeur spécifique, pas seulement la « première ».
La catégorie omise (groupe de référence) influence l'interprétation des coefficients.
Par exemple, une bonne pratique consiste à omettre la valeur « la plus grande » comme catégorie de référence ;
````
chaud = df[['vol_k', 'activation']]
cat_vars = list(df.select_dtypes(include=['category']).columns)
pour var dans cat_vars :
nouveau = pd.get_dummies(df[var])
hot = hot.join(nouveau)
#drop most frequent variable for ref category
drop_col = df.groupby([var]).size().idxmax()
hot.drop(drop_col, axis=1, inplace=True)
print(var + " dropping " + drop_col)
print(df.groupby([var]).size())`
```
Commentaire le plus utile
Il serait avantageux d'autoriser la suppression d'une valeur spécifique, pas seulement la « première ».
La catégorie omise (groupe de référence) influence l'interprétation des coefficients.
Par exemple, une bonne pratique consiste à omettre la valeur « la plus grande » comme catégorie de référence ;
````
chaud = df[['vol_k', 'activation']]
cat_vars = list(df.select_dtypes(include=['category']).columns)
pour var dans cat_vars :
nouveau = pd.get_dummies(df[var])
hot = hot.join(nouveau)
```