Pandas: पंडों के डेटाफ़्रेम पंक्ति पर पंक्ति से पुनरावृति करने का सबसे कुशल तरीका क्या है?

को निर्मित 12 जून 2015 · 6टिप्पणियाँ · स्रोत: pandas-dev/pandas

मैंने फ़ंक्शन df.iterrows() की कोशिश की है लेकिन इसका प्रदर्शन भयानक है। यह आश्चर्य की बात नहीं है कि iterrows() Series पूर्ण

दूसरी विधि जो मैंने कोशिश की है वह for row in df.values , जो कि काफी तेज है। हालांकि, मैंने हाल ही में महसूस किया है कि df.values DataFrame का आंतरिक डेटा संग्रहण नहीं है, क्योंकि df.values सभी dtypes को एक आम dtype परिवर्तित करता है। उदाहरण के लिए, मेरे एक कॉलम में int64 का dtype है लेकिन df.values का dtype सभी float64 । इसलिए मुझे संदेह है कि df.values वास्तव में आंतरिक डेटा की एक और प्रतिलिपि बनाता है।

इसके अलावा, एक और आवश्यकता यह है कि पंक्ति पुनरावृत्ति उन मानों की सूची लौटाए, जो डेटा के मूल dtype को संरक्षित करते हैं।

Usage Question

स्रोत

zer0n

सबसे उपयोगी टिप्पणी

मुझे लगता है कि df.itertuples() वह है जो आप ढूंढ रहे हैं - यह इट्रोज़ की तुलना में तेज़ है:

In [10]: x = pd.DataFrame({'x': range(10000)})

In [11]: %timeit list(x.iterrows())
1 loops, best of 3: 383 ms per loop

In [12]: %timeit list(x.itertuples())
1000 loops, best of 3: 1.39 ms per loop

shoyer 13 जून 2015

👍21 😄2

सभी 6 टिप्पणियाँ

अजगर में, पंक्तियों पर पुनरावृत्ति होने वाली है (बहुत) सदिश संचालन करने की तुलना में धीमी।

आपके दूसरे तरीके में प्रकारों को परिवर्तित किया जा रहा है, क्योंकि यह कैसे खस्ता सरणियों है (जो कि df.values है) काम है। DataFrames स्तंभ आधारित होते हैं, इसलिए आपके पास एक से अधिक dtypes के साथ एक एकल DataFrame हो सकता है। एक बार जब आप पंक्ति-वार होते हैं, तो हर चीज को अधिक सामान्य प्रकार के लिए ऊपर रखना पड़ता है, जो सब कुछ रखती है। आपके मामले में चींटियाँ float64 ।

यदि आप अपनी समस्या का वर्णन कम से कम काम करने वाले उदाहरण के साथ करते हैं, तो हम आपकी मदद कर सकते हैं। आप पांडा टैग के साथ StackOverflow पर किस्मत भी देख सकते हैं।

TomAugspurger 12 जून 2015

👍2

मूल रूप से, मैं निम्नलिखित करना चाहता हूं:

row_handler = RowHandler(sample_df)  # learn how to handle row from sample data
transformed_data = []
for row in df.values:
    transformed_data.append(row_handler.handle(row))
return transformed_data

मैं RowHandler वर्ग का मालिक नहीं हूं और इसलिए केवल पंक्ति द्वारा पंक्ति संचालित कर सकता हूं।

एक अन्य समान उदाहरण मशीन लर्निंग में है, जहां आपके पास एक मॉडल हो सकता है जिसमें केवल पंक्ति स्तर पर एपीआई की भविष्यवाणी की गई है।

zer0n 12 जून 2015

फिर भी थोड़ा बहुत मददगार होने के लिए अस्पष्ट है। लेकिन अगर RowHandler वास्तव में आपके नियंत्रण से बाहर है तो आप भाग्य से बाहर हो जाएंगे। एफडब्ल्यूआईडब्ल्यू स्किकिट-लर्न के सभी एपीआई सरणियों (इसलिए कई पंक्तियों) पर काम करते हैं।

TomAugspurger 13 जून 2015

मैं नहीं देखता कि यह कैसे साफ हो सकता है। हां, RowHandler मेरे नियंत्रण से बाहर है। भाग्य से क्या मतलब है? मेरा प्रश्न प्रत्येक तत्व के dtype को बरकरार रखते हुए पंक्तियों पर पुनरावृति करने के सबसे कुशल तरीके के लिए है। क्या आप df.iterrows() , या कुछ और सुझा रहे हैं?

sklearn एक अपवाद है, आदर्श नहीं, जो मूल रूप से PD के DataFrame पर संचालित होता है। बहुत से मशीन लर्निंग लाइब्रेरी में API नहीं है जो DataFrame पर काम करते हैं।

zer0n 13 जून 2015

In [10]: x = pd.DataFrame({'x': range(10000)})

In [11]: %timeit list(x.iterrows())
1 loops, best of 3: 383 ms per loop

In [12]: %timeit list(x.itertuples())
1000 loops, best of 3: 1.39 ms per loop

shoyer 13 जून 2015

👍21 😄2

धन्यवाद @shoyer! मुझे इसी की जरूरत थी।

zer0n 13 जून 2015

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Pandas: पंडों के डेटाफ़्रेम पंक्ति पर पंक्ति से पुनरावृति करने का सबसे कुशल तरीका क्या है?

सबसे उपयोगी टिप्पणी

सभी 6 टिप्पणियाँ

संबंधित मुद्दों