Pandas: 공선성을 피하기 위한 Pandas get_dummies() 및 n-1 범주형 인코딩 옵션?

선형 회귀를 수행하고 범주형 변수를 인코딩할 때 완벽한 공선성이 문제가 될 수 있습니다. 이 문제를 해결하기 위해 제안된 접근 방식은 n-1개의 열을 사용하는 것입니다. pd.get_dummies() 인코딩되는 각 범주형 열에 대해 n-1을 반환하는 부울 매개변수가 있으면 유용합니다.

예시:

>>> df
    Account  Network      Device
0  Account1   Search  Smartphone
1  Account1  Display      Tablet
2  Account2   Search  Smartphone
3  Account3  Display  Smartphone
4  Account2   Search      Tablet
5  Account3   Search  Smartphone

>>> pd.get_dummies(df)
   Account_Account1  Account_Account2  Account_Account3  Network_Display  \
0                 1                 0                 0                0   
1                 1                 0                 0                1   
2                 0                 1                 0                0   
3                 0                 0                 1                1   
4                 0                 1                 0                0   
5                 0                 0                 1                0   

   Network_Search  Device_Smartphone  Device_Tablet  
0               1                  1              0  
1               0                  0              1  
2               1                  1              0  
3               0                  1              0  
4               1                  0              1  
5               1                  1              0 

대신 drop_first=True 에 get_dummies() drop_first=True 와 같은 매개변수가 있고 다음과 같이 작동합니다.

>>> new_df = pd.DataFrame(index=df.index)
>>> for i in df:
    new_df = new_df.join(pd.get_dummies(df[i]).iloc[:, 1:])


>>> new_df
   Account2  Account3  Search  Tablet
0         0         0       1       0
1         0         0       0       1
2         1         0       1       0
3         0         1       0       0
4         1         0       1       1
5         0         1       1       0

출처
http://fastml.com/converting-categorical-data-into-numbers-with-pandas-and-scikit-learn/
http://stackoverflow.com/questions/31498390/how-to-get-pandas-get-dummies-to-emit-n-1-variables-to-avoid-co-lineraity
http://dss.princeton.edu/online_help/analysis/dummy_variables.htm