Pandas: Pandas의 DataFrame을 행 단위로 반복하는 가장 효율적인 방법은 무엇입니까?

파이썬에서 행을 반복하는 것은 벡터화 작업을 수행하는 것보다 (훨씬) 느릴 것입니다.

두 번째 방법에서 유형이 변환되는 이유는 numpy 배열 ( df.values 이 무엇인지)이 작동하는 방식이기 때문입니다. DataFrame은 열 기반이므로 여러 dtype이있는 단일 DataFrame을 가질 수 있습니다. 행 방식으로 반복하면 모든 것이 모든 것을 보유하는보다 일반적인 유형으로 업 캐스트되어야합니다. 귀하의 경우 int는 float64 합니다.

최소한의 작업 예제로 문제를 설명하면 벡터화하는 데 도움을 드릴 수 있습니다. pandas 태그로 StackOverflow에서 운이 좋을 수도 있습니다.

기본적으로 다음을 수행하고 싶습니다.

row_handler = RowHandler(sample_df)  # learn how to handle row from sample data
transformed_data = []
for row in df.values:
    transformed_data.append(row_handler.handle(row))
return transformed_data

나는 RowHandler 클래스를 소유하고 있지 않으므로 행 단위로만 작업 할 수 있습니다.

또 다른 유사한 예는 행 수준에서만 예측 API가있는 모델이있는 기계 학습에 있습니다.

도움이 되기에는 여전히 너무 모호합니다. 그러나 RowHandler 이 정말로 당신의 통제를 벗어난다면 당신은 운이 없을 것입니다. FWIW 모든 scikit-learn의 API는 배열 (여러 행)에서 작동합니다.

나는 그것이 어떻게 더 명확해질 수 있는지 모르겠습니다. 예, RowHandler 은 (는) 제어 할 수 없습니다. 운이 없다는 것은 무엇을 의미합니까? 내 질문은 각 요소의 dtype 를 그대로 유지하면서 행을 반복하는 가장 효율적인 방법입니다. df.iterrows() 또는 다른 것을 제안하고 있습니까?

sklearn 는 PD의 DataFrame 에서 기본적으로 작동하는 예외이며 표준이 아닙니다. DataFrame 에서 작동하는 API가있는 기계 학습 라이브러리는 많지 않습니다.

나는 df.itertuples() 이 당신이 찾고있는 것이라고 생각합니다-그것은 반복보다 훨씬 빠릅니다 :

In [10]: x = pd.DataFrame({'x': range(10000)})

In [11]: %timeit list(x.iterrows())
1 loops, best of 3: 383 ms per loop

In [12]: %timeit list(x.itertuples())
1000 loops, best of 3: 1.39 ms per loop

감사합니다 @shoyer! 그게 내가 필요한 것입니다.