Pandas: BUG: concat이 다르면 DataFrame 열 이름을 원하지 않게 정렬합니다.

이것을 간단히 _생각_ 하면 독스트링이 다음과 같이 명시되어 있는 Index.intersection에서 유래합니다.

두 인덱스 개체의 교차를 형성합니다. 결과의 정렬이 보장되지 않습니다.

어떤 경우에 표시/정렬되는지 확실하지 않지만 열이 동일한 경우(첫 번째 열에서)는 동일한 결과를 반환하는 특수한 경우입니다...

@smcierney 대신 어떤 순서를 기대하시겠습니까?

나는 루프의 빈 프레임에 프레임을 연결하려고 시도했기 때문에(예: 목록에 요소 추가) 자동 정렬이 약간 성가시다는 것을 알았습니다. 그런 다음 열 순서가 변경되었음을 깨달았습니다. 축=1을 따라 연결하는 경우 이 변경 사항은 인덱스에도 적용됩니다.

@smcinerney 의 경우와 유사한 경우

따라서 나는 "hack"을 썼습니다 (좀 바보 같지만)

sorted = pd.concat(frameList, axis=axis, join=join, join_axes=join_axes, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False)

if join_axes:
    return sorted
elif sort:
    return sorted
else:
    # expand all original orders in each frame
    sourceOrder = []
    for frame in frameList:
        sourceOrder.extend(frame.Columns()) if axis == 0 else sourceOrder.extend(frame.Indices())
    sortedOrder = sorted.Columns() if axis == 0 else sorted.Indices()

    positions = []
    positionsSorted = []
    for i in sortedOrder:
        positions.append(sourceOrder.index(i))
        positionsSorted.append(sourceOrder.index(i))
    positionsSorted.sort()

    unsortedOrder = []
    for i in positionsSorted:
        unsortedOrder.append(sortedOrder[positions.index(i)])

    return sorted.ReorderCols(unsortedOrder) if axis == 0 else sorted.ReorderRows(unsortedOrder)

이 기능은 kungfu!라는 개인 모듈에 포함되어 있습니다. 누구나 위의 알고리즘을 채택하거나 https://github.com/jerryzhujian9/kungfu 에서 내 모듈을 볼 수

마지막으로 이 훌륭한 모듈에 대한 개발 팀의 노고에 깊은 감사를 드립니다!

이 동작은 실제로 매우 예상치 못한 것이며 저도 우연히 발견했습니다.

 >>> df = pd.DataFrame()

>>> df['b'] = [1,2,3]
>>> df['c'] = [1,2,3]
>>> df['a'] = [1,2,3]
>>> print(df)
   b  c  a
0  1  1  1
1  2  2  2
2  3  3  3

[3 rows x 3 columns]
>>> df2 = pd.DataFrame({'a':[4,5]})
>>> df3 = pd.concat([df, df2])

순진하게도 열의 순서가 유지될 것으로 예상할 수 있습니다. 대신 열이 정렬됩니다.

>>> print(df3)
   a   b   c
0  1   1   1
1  2   2   2
2  3   3   3
0  4 NaN NaN
1  5 NaN NaN

[5 rows x 3 columns]

이것은 다음과 같이 원래 열을 다시 색인화하여 수정할 수 있습니다.

>>> df4 = df3.reindex_axis(df.columns, axis=1)
>>> print(df4)
    b   c  a
0   1   1  1
1   2   2  2
2   3   3  3
0 NaN NaN  4
1 NaN NaN  5

[5 rows x 3 columns]

여전히 이 자동 정렬이 수행되고 내가 아는 한 비활성화할 수 없다는 것이 직관적이지 않은 것 같습니다.

나도 방금 이것을 접했다.

new_data = pd.concat([churn_data, numerical_data])

DataFrame 생성:

     churn  Var1  Var10  Var100  Var101 
0      -1   NaN    NaN     NaN     NaN     
1      -1   NaN    NaN     NaN     NaN

숫자 DataFrame이 먼저 정렬되지 않고 연결되는 것이 더 자연스러워 보일 것입니다!!

글쎄, 이것은 수정해야 할 약간의 작업입니다. 하지만 풀 리퀘스트가 허용됩니다!

DataFrames 연결할 때 이와 동일한 문제가 발생했습니다. 이 문제에 대해 모르는 경우 약간 성가시지만 실제로 빠른 해결 방법이 있습니다.

dfs 이 연결하려는 DataFrames 의 목록이라고 가정하면 원래 열 순서를 가져와서 다시 입력할 수 있습니다.

df = pd.concat(dfs, axis=0)
df = df[dfs[0].columns]

참고로 append 가 동일한 동작을 유발한다고 생각합니다.

이는 전반적으로 기본 동작입니다. 예를 들어, 함수 f를 다양한 수의 열을 반환하는 groupby()에 적용하면 장면 뒤에서 발생하는 연결도 열을 자동 정렬합니다.

df.groupby(some_ts).apply(f)

열의 알려진 순서가 해석될 수 있기 때문일 수 있습니다.

그러나 이것은 MultiIndices 및 MultiIndices의 모든 계층에서도 발생합니다. 따라서 level0 열과 모든 막대가 하나의 level1 열에 일치하는 데이터 프레임을 연결할 수 있으며 MultiIndices의 모든 수준은 하나의 level0 열 내에서 하나의 불일치로 인해 자동 정렬됩니다. 나는 그것이 바람직하다고 생각하지 않습니다.

도와드리고 싶지만 불행히도 이 문제를 해결하는 것은 제 능력 밖입니다. 모두들 노고에 감사드립니다.

이 기능에 대해 +1

동의합니다, +1. 예기치 않은 정렬이 항상 발생합니다.

+1, 이것은 불쾌한 놀라움이었습니다!

+1, 나는 append 다음에 열을 정렬하는 것을 싫어합니다.

나에게도 +1.

연결 후에 수동으로 재정렬하고 싶었더라도 내 데이터 프레임에서 60개 이상의 열 이름과 위치를 인쇄하려고 할 때:

 for id, value in enumerate(df.columns):
      print id, value

60개 이상의 모든 열은 데이터 프레임에서의 실제 위치가 아니라 알파벳 순서로 출력됩니다.

즉, 연결 후 재정렬하려면 60개 열 목록을 수동으로 입력해야 합니다. 아야.

내가 여기에 있는 동안 내가 누락된 열 이름과 위치를 인쇄할 수 있는 사람이 있습니까?

이 기능에 대해 +1, 방금 동일한 거래를 만났습니다.

@summerela 열 인덱스를 가져온 다음 원래 열 인덱스를 사용하여 새 데이터 프레임을 다시 인덱싱합니다.

# assuming you have two dataframes, `df_train` & `df_test` (with the same columns) 
# that you want to concatenate

# get the columns from one of them
all_columns = df_train.columns

# concatenate them
df_concat = pd.concat([df_train,
                       df_test])

# finally, re-index the new dataframe using the original column index
df_concat = df_concat.ix[:, all_columns]

반대로, 열의 더 작은 하위 집합을 다시 인덱싱해야 하는 경우 내가 만든 이 함수를 사용할 수 있습니다. 상대 인덱스로도 작동할 수 있습니다. 예를 들어 열을 데이터 프레임의 끝으로 이동하고 싶지만 스크립트의 이전 처리 단계 후에 남아 있는 열의 수가 확실하지 않은 경우(예: 분산이 없는 열을 삭제하는 경우) 상대 인덱스 위치를 new_indices --> new_indices = [-1] 전달할 수 있으며 나머지는 알아서 처리합니다.

def reindex_columns(dframe=None, columns=None, new_indices=None):
    """
    Reorders the columns of a dataframe as specified by
    `reorder_indices`. Values of `columns` should align with their
    respective values in `new_indices`.

    `dframe`: pandas dataframe.

    `columns`: list,pandas.core.index.Index, or numpy array; columns to
    reindex.

    `reorder_indices`: list of integers or numpy array; indices
    corresponding to where each column should be inserted during
    re-indexing.
    """
    print("Re-indexing columns.")
    try:
        df = dframe.copy()

        # ensure parameters are of correct type and length
        assert isinstance(columns, (pd.core.index.Index,
                                    list,
                                    np.array)),\
        "`columns` must be of type `pandas.core.index.Index` or `list`"

        assert isinstance(new_indices,
                          list),\
        "`reorder_indices` must be of type `list`"

        assert len(columns) == len(new_indices),\
        "Length of `columns` and `reorder_indices` must be equal"

        # check for negative values in `new_indices`
        if any(idx < 0 for idx in new_indices):

            # get a list of the negative values
            negatives = [value for value
                         in new_indices
                         if value < 0]

            # find the index location for each negative value in
            # `new_indices`
            negative_idx_locations = [new_indices.index(negative)
                                      for negative in negatives]

            # zip the lists
            negative_zipped = list(zip(negative_idx_locations,
                                       negatives))

            # replace the negatives in `new_indices` with their
            # absolute position in the index
            for idx, negative in negative_zipped:
                new_indices[idx] = df.columns.get_loc(df.columns[
                                                          negative])

        # re-order the index now
        # get all columns
        all_columns = df.columns

        # drop the columns that need to be re-indexed
        all_columns = all_columns.drop(columns)

        # now re-insert them at the specified locations
        zipped_columns = list(zip(new_indices,
                                  columns))

        for idx, column in zipped_columns:
            all_columns = all_columns.insert(idx,
                                             column)
        # re-index the dataframe
        df = df.ix[:, all_columns]

        print("Successfully re-indexed dataframe.")

    except Exception as e:
        print(e)
        print("Could not re-index columns. Something went wrong.")

    return df

편집: 사용법은 다음과 같습니다.

# move 'Column_1' to the end, move 'Column_2' to the beginning
df = reindex_columns(dframe=df,
                     columns=['Column_1', 'Column_2'],
                     new_indices=[-1, 0])

언급되지 않은 극단적인 경우(각각 고유한 열을 포함하는 데이터 프레임 결합)에서 이 문제(0.13.1 포함)가 발생했습니다. 열 이름의 순진한 재할당이 작동하지 않았습니다.

dat = pd.concat([out_dust, in_dust, in_air, out_air])
dat.columns = [out_dust.columns + in_dust.columns + in_air.columns + out_air.columns]

열은 여전히 ​​정렬됩니다. 목록을 사용하면 중간에 해결되지만:

편집 : 너무 빨리 말했어..

후속 조치: fwiw, 단일 객체에 대한 .join 호출로 열 순서를 유지할 수 있습니다.

df1.join([df2, df3]) # sorts columns
df1.join(df2).join(df3) # column order retained

열 순서 지정에 대한 dataFrame을 생성할 때 매개변수가 있을 수 있습니까? 주문처럼=거짓. 정말 감사합니다

사전에서 데이터 프레임을 생성하는 동안 방금 이 문제가 발생했습니다. 나를 완전히 놀라게 하고 반직관적이었고 내 모든 목적을 좌절시켰습니다...

열 이름은 명확성을 위해 사용해야 하며 서로 가까운 열의 위치는 일관성을 유지하기 위해 사용자가 조직적으로 선택하는 것입니다.

@patricktokeeff
join 에 대한 포인터를 주셔서 감사합니다. Series 객체에는 해당 메서드가 없으므로 결국 함수를 작성하게 되었습니다.

def concat_fixed(ndframe_seq, **kwargs):
    """Like pd.concat but fixes the ordering problem.

    Converts Series objects to DataFrames to access join method
    Use kwargs to pass through to repeated join method
    """
    indframe_seq = iter(ndframe_seq)
    # Use the first ndframe object as the base for the final
    final_df = pd.DataFrame(next(indframe_seq))
    for dataframe in indframe_seq:
        if isinstance(dataframe, pd.Series):
            dataframe = pd.DataFrame(dataframe)
        # Iteratively build final table
        final_df = final_df.join(dataframe, **kwargs)
    return final_df

이에 대한 효율성은 어떻습니까?

2017년 8월 30일 수요일 오후 1시 58분, Bryce Guinta [email protected]
썼다:

@patricktokeeffe https://github.com/patricktokeeffe
가입할 포인터를 주셔서 감사합니다. 시리즈 객체에는 해당 메소드가 없으므로
나는 결국 함수를 작성했다.

def concat_fixed(ndframe_seq, **kwargs):
"""pd.concat과 비슷하지만 주문 문제를 수정합니다.

Converts Series objects to DataFrames to access join method
Use kwargs to pass through to repeated join method
"""
indframe_seq = iter(ndframe_seq)
# Use the first ndframe object as the base for the final
final_df = pd.DataFrame(next(indframe_seq))
for dataframe in indframe_seq:
    if isinstance(dataframe, pd.Series):
        # Convert Series objects into DataFrames since
        # series objects do not have a join method
        dataframe = pd.DataFrame(dataframe)
    # Iteratively build final table
    final_df = final_df.join(dataframe, **kwargs)
return final_df

—
당신이 댓글을 달았기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/pandas-dev/pandas/issues/4588#issuecomment-326086636 ,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AG999MucF-NH5vHuKe-Zczq-jy9ziYkRks5sdbDogaJpZM4A6TeA
.

@MikeTam1021

나는 그것을 atm으로 벤치마킹하지 않을 것이지만, 나는 그것이 당신의 ndframes의 크기, 그 양의 함수일 것이라고 생각합니다. 각 ndframe에 대해 새 데이터 프레임을 생성하므로 pd.concat 보다 훨씬 덜 효율적이라고 생각합니다.

내 목적에는 잘 작동하지만 각 ndframe(약 10 ² )에 대해 소량의 ndframes (약 10 ¹ ) 및 비교적 적은 양의 records 를 사용하고 있습니다.

내 목표는 모든 ndframe에 지정된 레코드에 대한 데이터가 포함되어 있지 않더라도 해당 레코드의 순서를 유지하면서 모든 데이터 프레임의 모든 레코드를 포함하는 것입니다.

열 순서를 최대한 유지하는 것이 concat()의 기본 동작이 아닌 이유를 알 수 없습니다.

내 해결 방법은 Itertools Recipes의 unique_everseen 를 사용합니다.

columns = unique_everseen([column for df in dfs for column in df.columns])
df = pd.concat(dfs)[columns]

이 스레드의 상태에 대한 업데이트가 있습니까? 현재 버전 0.22.0을 사용하고 있으며 여전히 적절한 솔루션이 없는 것 같습니다. 여기에서 미루는 것이 꽤 문제인 것 같습니다...

또한 axis=1 와 같이 열을 연결할 때 유사한 동작을 찾을 수 있지만 사전에 데이터 프레임을 전달할 때만 찾을 수 있다는 점에 주목하고 싶습니다.

>>> df4a = DataFrame(columns=['C','B','D','A'], data=np.random.randn(3,4))
>>> df4b = DataFrame(columns=['C','B','D','A'], data=np.random.randn(3,4))
>>> df5  = DataFrame(columns=['C','B','E','D','A'], data=np.random.randn(3, 5))

>>> pd.concat([df4a, df5], axis=1).columns
Index(['C', 'B', 'D', 'A', 'C', 'B', 'E', 'D', 'A'], dtype='object')
>>> pd.concat({'df4a': df4a, 'df4b': df4b}, axis=1).columns.levels
FrozenList([['df4a', 'df4b'], ['C', 'B', 'D', 'A']])
>>> pd.concat({'df4a': df4a, 'df5': df5}, axis=1).columns.levels
FrozenList([['df4a', 'df5'], ['A', 'B', 'C', 'D', 'E']])

이 스레드의 상태에 대한 업데이트가 있습니까?

아직 열려 있습니다.

여기에서 미루는 것이 꽤 문제인 것 같습니다...

미루다? 우리에게는 많은 미해결 문제가 있습니다. 다음 릴리스에서 이 문제가 해결되도록 하려면 PR을 작성하는 것이 가장 좋습니다. 시작하는 데 도움이 필요하면 알려주십시오.

@jtratner : 맨 위의 예에서 명확하지 않은 경우 순서는 다음과 같을 것으로 예상합니다.

• 공유 열, 정렬되지 않음
• df1에 고유한 열, 정렬되지 않음(즉, df1에서 발생하는 순서대로)
• df2에 고유한 열, 정렬되지 않음(즉, df2에서 발생하는 순서대로)

이것은 SQL과 같은 다른 패키지나 언어에서 얻을 수 있는 것입니다. 원치 않는 자동 정렬이 있어서는 안 됩니다. 사용자가 열 이름을 정렬하려는 경우 수동으로 정렬하도록 하십시오.

얘들아, 2가지. 1) 팬더에 오신 것을 환영합니다! 사전과 같은 더 많은 파이썬 기본 유형을 사용하는 것이 좋습니다. 파이썬(또는 모든 언어)을 SQL로 바꾸려는 시도를 중단하십시오. 2) 이것은 기술적으로 버그가 아닙니다. 그것은 단지 코드의 원치 않는 효과일 뿐입니다. 패키지의 컨텍스트 외부에서 쉽게 극복할 수 있으며 여기에서 누군가가 스스로 해결하지 않는 한 이것이 정답이라고 생각합니다.

@MikeTam1021 패키지 컨텍스트 외부에서 이를 극복하는 방법을 설명해주세요. 감사 해요.

이 스레드의 사람들이 논의한 내용이 바로 이것이라고 확신합니다. 위의 많은 좋은 솔루션이 작동해야 합니다.

@MikeTam1021 팬더를 SQL로 바꾸는 것은 아니지만(천국 금지!) 다음과 같이 더 동의할 수 없습니다.

원치 않는 자동 정렬이 있어서는 안 됩니다. 사용자가 열 이름을 정렬하려는 경우 수동으로 정렬하도록 하십시오.

DataFrames를 연결하는 것은 "서로 나란히 쓰기"와 같은 효과를 가져야 하며, 그 암시적 정렬은 확실히 최소 놀라움의 원칙을 위반합니다.

나는 동의한다. 그러면 안됩니다. 또한 순수한 컴퓨터 과학이 아닌 SQL 방식의 열에 대한 순서를 가정합니다. 데이터가 어디에 있는지 정확히 알아야 합니다.

나는 이것과 다른 많은 문제를 발견한 후에 더 이상 팬더를 거의 사용하지 않습니다. 그것은 나를 더 나은 프로그래머로 만들었다.

이것에 +1

이것은 나를 위해 작동합니다.

cols = list(df1)+list(df2)
df1 = pd.concat([df1, df2])
df1 = df1.loc[:, cols]

이 패치가 어떻게 배포되는지에 대해 개소리를 해야 합니다. concat 의 기능 서명을 동시에 변경하고 사용법에 대한 경고를 도입했습니다. 모두 동일한 커밋 내에 있습니다.

그것의 문제는 우리가 여러 서버에서 판다를 사용하고 모든 서버에 항상 똑같은 판다 버전이 있다고 보장할 수 없다는 것입니다. 따라서 이제 우리는 이전에 본 적이 없는 프로그램의 경고를 보는 기술적인 사용자가 줄어들었고 경고가 문제의 징후인지 확실하지 않습니다.

경고가 발생한 위치를 쉽게 식별할 수 있지만 이전 버전의 팬더를 실행하는 서버에서 프로그램이 중단될 수 있으므로 제안된 옵션 중 하나를 추가할 수 없습니다.

정렬 기능을 0.23에 넣고 이후 버전에 경고를 추가했다면 더 좋았을 것입니다. 그 고통을 알고 있지만 사용자가 모든 배포를 최신 코드로 즉시 업데이트할 수 있다고 가정하는 것은 다소 불쾌합니다.

이 경고에 대한 전역 필터를 설정한 다음
모두가 업그레이드되면 드롭하십시오.

기능적으로는 똑같죠?

2018년 10월 4일 목요일 오전 9:18 DavidEscott [email protected]에서 다음과 같이 썼습니다.

이 패치가 어떻게 배포되는지에 대해 개소리를 해야 합니다. 당신은
concat의 기능 서명을 동시에 변경하고 도입했습니다.
사용법에 대한 경고. 모두 동일한 커밋 내에 있습니다.

문제는 우리가 여러 서버에서 pandas를 사용하고
모든 서버에 완전히 동일한 버전의 팬더가 있음을 보장합니다.
타임스. 따라서 이제 프로그램에서 경고가 표시되는 기술 사용자가 줄어듭니다.
그들은 전에 본 적이 없으며 경고가 경고의 표시인지 불확실합니다.
문제.

경고가 발생하는 위치를 쉽게 식별할 수 있지만 추가할 수는 없습니다.
제안된 옵션 중 하나를 선택하면 프로그램이 중단될 수 있으므로
이전 버전의 팬더를 실행하는 서버.

정렬 기능을 추가했다면 더 좋았을 것입니다.
0.23 및 일부 이후 버전에 경고를 추가했습니다. 그 고통을 알지만
사용자가 모든 항목을 즉시 업데이트할 수 있다고 가정하는 것은 다소 불쾌합니다.
최신 코드에 배포합니다.

—
열기/닫기 상태를 수정했기 때문에 이 메시지가 표시됩니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/pandas-dev/pandas/issues/4588#issuecomment-427036391 ,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/ABQHItEhYfv5kqB-R-pDX4zyIh45hF7kks5uhhiWgaJpZM4A6TeA
.

@TomAugspurger 우리 측에서 이를 처리할 수 있는 다양한 방법이 있습니다. 확실히 필터링 경고는 하나입니다. 경고 필터의 메커니즘이 약간 못생겼기 때문에 좋지 않습니다...

1. 여러 프로그램에 필터를 추가해야 합니다.
2. 필터링할 특정 경고를 지정하는 좋은 방법은 아닙니다.
   
   
   
   • 모듈과 lineno로 필터링할 수 있지만 안정적인 참조는 아닙니다.
   
   
   • 모듈 및 FutureWarning 필터링할 수 있지만 팬더에서 전혀 경고를 받지 않고 다른 변경 사항에 놀랄 것입니다.
   
   
   • 또는 긴 여러 줄 메시지로 필터링할 수 있습니다.
   
   
3. 그런 다음 모든 것이 업그레이드되어 더 이상 중요하지 않을 때 해당 필터를 제거하는 것을 잊지 마십시오.

어쨌든 warnings 모듈의 결함은 확실히 내가 pandas 팀의 발아래 놓을 수 있는 것이 아닙니다.

우리가 쉽게 업그레이드할 수 없는 오래된 서버를 가지고 있는 것도 당신의 잘못이 아닙니다. 그래서 그것이 제가 할 수 있는 다른 일입니다(그냥 모든 망할 배포를 업그레이드하십시오). 궁극적으로 저는 그렇게 해야 하며 배포를 긴밀하게 유지하려고 노력하는 것이 제 책임이라는 것을 알고 있습니다.

이전에 지정되지 않은 API에 이 정렬 옵션을 추가했지만 동시에 프로그래머에게 경고를 던지면서 사용자가 볼 수 있는 최종 동작의 가능한 변경 사항에 대해 우려하고 있다는 것이 제게는 조금 이상하게 보입니다. 둘 다 경고와 정렬 동작의 제안된 변경은 내 책에서 심각도가 다른 "사용자가 볼 수 있는 동작"을 구성합니다.

SO 에 대한 관련 질문에 답변했습니다.