Pandas: Pandas get_dummies () e n-1 Opção de codificação categórica para evitar colinearidade?

Criado em 15 jan. 2016 · 3Comentários · Fonte: pandas-dev/pandas

Ao fazer regressão linear e codificar variáveis categóricas, a colinearidade perfeita pode ser um problema. Para contornar isso, a abordagem sugerida é usar n-1 colunas. Seria útil se pd.get_dummies() tivesse um parâmetro booleano que retornasse n-1 para cada coluna categórica codificada.

Exemplo:

>>> df
    Account  Network      Device
0  Account1   Search  Smartphone
1  Account1  Display      Tablet
2  Account2   Search  Smartphone
3  Account3  Display  Smartphone
4  Account2   Search      Tablet
5  Account3   Search  Smartphone

>>> pd.get_dummies(df)
   Account_Account1  Account_Account2  Account_Account3  Network_Display  \
0                 1                 0                 0                0   
1                 1                 0                 0                1   
2                 0                 1                 0                0   
3                 0                 0                 1                1   
4                 0                 1                 0                0   
5                 0                 0                 1                0   

   Network_Search  Device_Smartphone  Device_Tablet  
0               1                  1              0  
1               0                  0              1  
2               1                  1              0  
3               0                  1              0  
4               1                  0              1  
5               1                  1              0

Em vez disso, gostaria de ter algum parâmetro como drop_first=True em get_dummies() e ele faz algo assim:

>>> new_df = pd.DataFrame(index=df.index)
>>> for i in df:
    new_df = new_df.join(pd.get_dummies(df[i]).iloc[:, 1:])


>>> new_df
   Account2  Account3  Search  Tablet
0         0         0       1       0
1         0         0       0       1
2         1         0       1       0
3         0         1       0       0
4         1         0       1       1
5         0         1       1       0

Fontes
http://fastml.com/converting-categorical-data-into-numbers-with-pandas-and-scikit-learn/
http://stackoverflow.com/questions/31498390/how-to-get-pandas-get-dummies-to-emit-n-1-variables-to-avoid-co-lineraity
http://dss.princeton.edu/online_help/analysis/dummy_variables.htm

Reshaping

Fonte

jaradc

Comentários muito úteis

Seria vantajoso permitir descartar um valor específico, não apenas o 'primeiro'.

A categoria omitida (grupo de referência) influencia a interpretação dos coeficientes.

Por exemplo, uma prática recomendada é omitir o valor 'maior' como a categoria de referência;

`` ``

hot = df [['vol_k', 'ativação']]

cat_vars = list (df.select_dtypes (include = ['categoria']). colunas)
para var em cat_vars:
new = pd.get_dummies (df [var])
hot = hot.join (novo)

#drop most frequent variable for ref category
drop_col = df.groupby([var]).size().idxmax()
hot.drop(drop_col, axis=1, inplace=True)

print(var + " dropping " + drop_col)
print(df.groupby([var]).size())`

`` `

jcress em 9 nov. 2017

👍7

Todos 3 comentários

Parece bom, interessado em enviar uma solicitação de pull?

TomAugspurger em 15 jan. 2016

: +1:

StephenKappel em 19 jan. 2016