Pandas: to_sql बहुत धीमा है

को निर्मित 1 फ़र॰ 2017 · 24टिप्पणियाँ · स्रोत: pandas-dev/pandas

कोड नमूना,

df_name.to_sql('table_name',
                          schema = 'public',
                          con = engine,
                          index = False,
                          if_exists = 'replace')

समस्या का विवरण

Im एक 500,000 पंक्ति डेटाफ्रेम को AWS डेटाबेस को पोस्ट करने के लिए लिख रहा है और डेटा को पुश करने के लिए एक बहुत, बहुत लंबा समय लगता है।

यह एक काफी बड़ा SQL सर्वर है और मेरा इंटरनेट कनेक्शन उत्कृष्ट है, इसलिए मैंने उन लोगों को समस्या में योगदान करने से इनकार कर दिया है।

तुलना में, csv2sql या कमांड लाइन पर psql में बिल्ली और पाइपिंग का उपयोग करना बहुत तेज है।

IO SQL Usage Question

स्रोत

dean12

सबसे उपयोगी टिप्पणी

इस कोड को engine = create_engine(connection_string) नीचे जोड़ें:

from sqlalchemy import event

@event.listens_for(e, 'before_cursor_execute')
def receive_before_cursor_execute(conn, cursor, statement, params, context, executemany):
    if executemany:
        cursor.fast_executemany = True
        cursor.commit()

मेरे कोड में, to_sql फ़ंक्शन को निष्पादित करने में 7 मिनट लग रहे थे, और अब इसमें केवल 5 सेकंड लगते हैं);

llautert 29 नव॰ 2018

👍14 ❤3 😄3 🚀2 🎉2

सभी 24 टिप्पणियाँ

यहाँ देखें: http://stackoverflow.com/questions/33816918/write-large-pandas-dataframes-to-sql-server-database

SQLServer के साथ आपको दक्षता के लिए भारी अपलोड के साथ csv के माध्यम से आयात करने की आवश्यकता है

jreback 1 फ़र॰ 2017

👍2

आपको यह उपयोगी लग सकता है: http://odo.pydata.org/en/latest/perf.html

jreback 1 फ़र॰ 2017

ODO मेरे लिए काम नहीं करेगा, यह उन त्रुटियों को उत्पन्न करता है जिन्हें मैं ठीक करने में सक्षम नहीं था, लेकिन d6tstack ने ठीक से काम किया https://github.com/d6t/d6tstack/blob/master/examples-sql.ipynb। आप पंडों के साथ प्रीप्रोसेस कर सकते हैं और आयात को शीघ्रता से करने के लिए यह पोस्टपीज COPY FROM का उपयोग करता है। आरडीएस के साथ अच्छी तरह से काम करता है।

citynorman 14 अक्तू॰ 2018

इस कोड को engine = create_engine(connection_string) नीचे जोड़ें:

from sqlalchemy import event

@event.listens_for(e, 'before_cursor_execute')
def receive_before_cursor_execute(conn, cursor, statement, params, context, executemany):
    if executemany:
        cursor.fast_executemany = True
        cursor.commit()

llautert 29 नव॰ 2018

👍14 ❤3 😄3 🚀2 🎉2

धन्यवाद @ मोहतरमा!
इससे बहुत मदद मिली!

# dont forget to import event
from sqlalchemy import event, create_engine

engine = create_engine(connection_string)

@event.listens_for(engine, 'before_cursor_execute')
def receive_before_cursor_execute(conn, cursor, statement, params, context, executemany):
    if executemany:
        cursor.fast_executemany = True
        cursor.commit()

dean12 30 नव॰ 2018

👍2 🎉1

मैंने इस सुधार को चलाने का प्रयास किया है, लेकिन एक त्रुटि संदेश में चला गया है:

AttributeError: 'psycopg2.extensions.cursor' object has no attribute 'fast_executemany'

किसी को पता है क्या हो रहा है?

tim-sauchuk 12 दिस॰ 2018

👍19

अरे @ टिम-सौचुक, एक ही त्रुटि में भी चल रहा है, हालांकि मुझे एक समाधान मिला जो बहुत अच्छा काम कर रहा है जिसमें pandas.io.sql.py फ़ाइल में थोड़ा संपादन शामिल है (बस फिर से आयात करने से पहले __pyc___ से .pyc फ़ाइल को हटा दें। यह सुनिश्चित करने के लिए कि यह संपीड़ित फ़ाइल का नया संस्करण लिखता है)

https://github.com/pandas-dev/pandas/issues/8953

bsaunders23 20 दिस॰ 2018

अरे @ टिम-सौचुक, एक ही त्रुटि में भी चल रहा है, हालांकि मुझे एक समाधान मिला जो बहुत अच्छा काम कर रहा है जिसमें pandas.io.sql.py फ़ाइल में थोड़ा सा संपादन शामिल है (बस pycache से .pyc फ़ाइल को फिर से पहले हटाएं। यह सुनिश्चित करने के लिए कि यह संपीड़ित फ़ाइल का नया संस्करण लिखता है)
8953

अंक # 8953 जो @ bsaunders23 का उल्लेख करता है, वह "मंकी पैच" का रास्ता दिखाता है (इसे रन टाइम पर ठीक करें)। मैंने इसे आज़माया, और एक 20k डेटासेट जो अपलोड करने में 10+ मिनट लेता है, तब केवल 4 सेकंड लगते हैं।

scottcode 7 जन॰ 2019

धन्यवाद @ मोहतरमा!
इससे बहुत मदद मिली!

# dont forget to import event
from sqlalchemy import event, create_engine

engine = create_engine(connection_string)

@event.listens_for(engine, 'before_cursor_execute')
def receive_before_cursor_execute(conn, cursor, statement, params, context, executemany):
    if executemany:
        cursor.fast_executemany = True
        cursor.commit()

क्या किसी को पता है कि मैं आत्म समाधान के साथ एक वर्ग के अंदर इस समाधान को कैसे लागू कर सकता हूं?

vitalious 14 फ़र॰ 2019

क्या किसी को पता है कि मैं आत्म समाधान के साथ एक वर्ग के अंदर इस समाधान को कैसे लागू कर सकता हूं?

self.engine संदर्भ देकर मेरे लिए काम करता है

उदाहरण:

    self.engine = sqlalchemy.create_engine(connectionString, echo=echo)
    self.connection = self.engine.connect()

    @event.listens_for(self.engine, 'before_cursor_execute')
    def receive_before_cursor_execute(conn, cursor, statement, params, context, executemany):
        print("Listen before_cursor_execute - executemany: %s" % str(executemany))
        if executemany:
            cursor.fast_executemany = True
            cursor.commit()

DanielOverdevest 15 फ़र॰ 2019

👍2

मेरे लिए काम नहीं करता है। आप किस पांडा और स्केलेकलकेमी संस्करण का उपयोग कर रहे हैं?

xnejed07 20 फ़र॰ 2019

मैंने इसे sqlalchemy चलाने की कोशिश की: 1.2.4-py35h14c3975_0 और 1.2.11-py35h7b6447c_0

लेकिन मुझे मिल रहा है

गुण: 'psycopg2.extensions.cursor' ऑब्जेक्ट में कोई विशेषता नहीं है 'fast_executemany'

pedrovgp 31 मार्च 2019

👍1

@ dean12 @ मोहतरमा

इस संदर्भ में फ़ंक्शन कॉल कैसा दिखता है? या दूसरे शब्दों में, तालिका को सफलतापूर्वक अपलोड करने के लिए आप किस तर्क का उपयोग कर रहे हैं?

<# dont forget to import event
from sqlalchemy import event, create_engine

engine = create_engine(connection_string)

@event.listens_for(engine, 'before_cursor_execute')
def receive_before_cursor_execute(conn, cursor, statement, params, context, executemany):
    if executemany:
        cursor.fast_executemany = True
        cursor.commit()>``

davefanch87 23 अप्रैल 2019

यहाँ देखें: https://stackoverflow.com/questions/48006551/speeding-up-pandas-dataframe-to-sql-with-fast-executemany-of-pyodbc

lllong33 14 मई 2019

🎉3 👍3

मैंने इसे sqlalchemy चलाने की कोशिश की: 1.2.4-py35h14c3975_0 और 1.2.11-py35h7b6447c_0
लेकिन मुझे मिल रहा है
गुण: 'psycopg2.extensions.cursor' ऑब्जेक्ट में कोई विशेषता नहीं है 'fast_executemany'

आप psycopg2 का उपयोग कर रहे हैं, जो एक पोस्टग्रैस्कल ड्राइवर है। यह समस्या और pyodbc ड्राइवर का उपयोग करके Microsoft SQL सर्वर से संबंधित समस्या को ठीक करता है।

vaneseltine 4 जून 2019

'dtype' पैरामीटर को जोड़ने के बारे में क्या

SincerelyUnique 26 जून 2019

क्या किसी को पता है कि मैं आत्म समाधान के साथ एक वर्ग के अंदर इस समाधान को कैसे लागू कर सकता हूं?
self.engine संदर्भ देकर मेरे लिए काम करता है
उदाहरण:
    self.engine = sqlalchemy.create_engine(connectionString, echo=echo)
    self.connection = self.engine.connect()

    @event.listens_for(self.engine, 'before_cursor_execute')
    def receive_before_cursor_execute(conn, cursor, statement, params, context, executemany):
        print("Listen before_cursor_execute - executemany: %s" % str(executemany))
        if executemany:
            cursor.fast_executemany = True
            cursor.commit()

क्या आपको पता चला है कि कैसे?

FukoH 8 जुल॰ 2019

मुझे लगता है कि सही उत्तर का उपयोग https://docs.sqlalchemy.org/en/13/dialects/postgresql.html#psycopg2 -batch-mode-fast-निष्पादन के लिए किया जाना चाहिए, यदि आप pandas dataframe बचाने का प्रयास कर रहे हैं। postgres

pankgeorg 8 अग॰ 2019

पंडों के एक नए संस्करण में method पैरामीटर होता है जिसे 'बहु' चुना जा सकता है। इससे कोड बहुत तेजी से चलता है।

KamranMK 12 अग॰ 2019

👍8

fast_executemany अब एक ही चरण में किया जा सकता है (sqlalchemy> = 1.3.0):

engine = sqlalchemy.create_engine(connection_string, fast_executemany=True)

हो सकता है कि यह डॉक्स में कहीं उल्लेख के लायक है या किसी उदाहरण के साथ? यह पंडों से संबंधित नहीं एक विशेष मामला है, लेकिन यह एक छोटा सा जोड़ है जो कई मामलों में प्रदर्शन को बेहतर बना सकता है।

giuliobeseghi 9 जन॰ 2020

👍9

पंडों के एक नए संस्करण में method पैरामीटर होता है जिसे 'बहु' चुना जा सकता है। इससे कोड बहुत तेजी से चलता है।

आपको लगता है कि chunksize पैरामीटर सेट करना to_sql बैच सम्मिलित करने के लिए पर्याप्त होगा, लेकिन नहीं।

json2d 15 मार्च 2020

👍2

MS SQL उपयोगकर्ताओं के लिए एक विकल्प turbodbc.Cursor.insertmanycolumns उपयोग करना भी है, मैंने समझाया है कि लिंक किए गए StackOverflow पोस्ट में: https://stackoverflow.com/a/62671681/1689261

xhochy 1 जुल॰ 2020

इस पर भविष्य के पाठकों के लिए, to_sql के लिए 'batch_mode' का उपयोग करने के दो विकल्प हैं। निम्नलिखित दो संयोजन हैं:

create_engine(connection_string, executemany_mode='batch', executemany_batch_page_size=x)

या

create_engine(connection_string, executemany_mode='values', executemany_values_page_size=x)

इन तर्कों पर विवरण यहां पाया जा सकता है: https://docs.sqlalchemy.org/en/13/dialects/postgresql.html#psycopg2 -fast-निष्पादक-सहायक

jpuerto-psc 24 अग॰ 2020

👍1

उपयोगकर्ताओं को पोस्टग्रेज करने के लिए, मैं कॉल करने के लिए method सेट करने की सलाह देता हूं:

सिग्नेचर (pd_table, con, keys, data_iter) के साथ कॉल करने योग्य: इसका उपयोग विशिष्ट बैकएंड बोली विशेषताओं के आधार पर अधिक परफॉर्मेंट इंसर्शन विधि को लागू करने के लिए किया जा सकता है।

और फ़ंक्शन को उदाहरण कोड से यहां https://pandas.pydata.org/pandas-docs/stable/user_guide/io.html#insertion -method और कॉल करें

COPY FROM का उपयोग करना वास्तव में बहुत तेज़ है $

feluelle 27 अग॰ 2020

👍2

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Pandas: to_sql बहुत धीमा है

कोड नमूना,

समस्या का विवरण

सबसे उपयोगी टिप्पणी

सभी 24 टिप्पणियाँ

8953

संबंधित मुद्दों