여기를 참조하십시오 : http://stackoverflow.com/questions/33816918/write-large-pandas-dataframes-to-sql-server-database

SQLServer를 사용하면 효율성을 위해 대량 업로드와 함께 csv를 통해 가져와야합니다.

유용 할 것입니다 : http://odo.pydata.org/en/latest/perf.html

ODO는 나를 위해 작동하지 않고 수정할 수 없었던 오류를 생성하지만 d6tstack은 https://github.com/d6t/d6tstack/blob/master/examples-sql.ipynb 에서 잘 작동했습니다

engine = create_engine(connection_string) 아래에이 코드를 추가하십시오.

from sqlalchemy import event

@event.listens_for(e, 'before_cursor_execute')
def receive_before_cursor_execute(conn, cursor, statement, params, context, executemany):
    if executemany:
        cursor.fast_executemany = True
        cursor.commit()

내 코드에서 to_sql 함수를 실행하는 데 7 분이 걸리고 이제는 5 초 밖에 걸리지 않습니다.)

감사합니다 @llautert!
많은 도움이되었습니다!

# dont forget to import event
from sqlalchemy import event, create_engine

engine = create_engine(connection_string)

@event.listens_for(engine, 'before_cursor_execute')
def receive_before_cursor_execute(conn, cursor, statement, params, context, executemany):
    if executemany:
        cursor.fast_executemany = True
        cursor.commit()

이 수정 프로그램을 실행하려고했지만 오류 메시지가 표시됩니다.

AttributeError: 'psycopg2.extensions.cursor' object has no attribute 'fast_executemany'

무슨 일인지 아는 사람 있나요?

안녕하세요 @ tim-sauchuk, 동일한 오류가 발생했습니다. pandas.io.sql.py 파일을 약간 편집하는 등 훌륭하게 작동하는 솔루션을 찾았지만 다시 가져 오기 전에 __pycache__에서 .pyc 파일을 삭제하십시오. 압축 파일에 새 버전을 기록하는지 확인)

https://github.com/pandas-dev/pandas/issues/8953

안녕하세요 @ tim-sauchuk, 동일한 오류가 발생했습니다. pandas.io.sql.py 파일을 약간 편집하는 등 훌륭하게 작동하는 솔루션을 찾았지만 다시 가져 오기 전에 pycache 에서 .pyc 파일을 삭제하십시오. 압축 파일에 새 버전을 기록하는지 확인)

8953

@ bsaunders23이 언급 한 이슈 # 8953은 "원숭이 패치"(런타임에 수정) 방법을 보여줍니다. 나는 그것을 시도했고, 업로드하는 데 10 분 이상 걸리는 20k 데이터 세트는 4 초 밖에 걸리지 않았습니다.

감사합니다 @llautert!
많은 도움이되었습니다!

# dont forget to import event
from sqlalchemy import event, create_engine

engine = create_engine(connection_string)

@event.listens_for(engine, 'before_cursor_execute')
def receive_before_cursor_execute(conn, cursor, statement, params, context, executemany):
    if executemany:
        cursor.fast_executemany = True
        cursor.commit()

self.engine 인스턴스가있는 클래스 내에서이 솔루션을 구현하는 방법을 아는 사람이 있습니까?

self.engine 인스턴스가있는 클래스 내에서이 솔루션을 구현하는 방법을 아는 사람이 있습니까?

self.engine 를 참조하여 나를 위해 작동합니다.

예:

    self.engine = sqlalchemy.create_engine(connectionString, echo=echo)
    self.connection = self.engine.connect()

    @event.listens_for(self.engine, 'before_cursor_execute')
    def receive_before_cursor_execute(conn, cursor, statement, params, context, executemany):
        print("Listen before_cursor_execute - executemany: %s" % str(executemany))
        if executemany:
            cursor.fast_executemany = True
            cursor.commit()

나를 위해 작동하지 않습니다. 어떤 pandas와 sqlalchemy 버전을 사용하고 있습니까?

sqlalchemy : 1.2.4-py35h14c3975_0 및 1.2.11-py35h7b6447c_0 실행 해 보았습니다.

하지만 나는 점점

AttributeError : 'psycopg2.extensions.cursor'개체에 'fast_executemany'속성이 없습니다.

트윗 담아 가기

이 컨텍스트에서 함수 호출은 어떻게 생겼습니까? 즉, 테이블을 성공적으로 업로드하기 위해 인수로 무엇을 사용하고 있습니까?

<# dont forget to import event
from sqlalchemy import event, create_engine

engine = create_engine(connection_string)

@event.listens_for(engine, 'before_cursor_execute')
def receive_before_cursor_execute(conn, cursor, statement, params, context, executemany):
    if executemany:
        cursor.fast_executemany = True
        cursor.commit()>``

여기를보십시오 : https://stackoverflow.com/questions/48006551/speeding-up-pandas-dataframe-to-sql-with-fast-executemany-of-pyodbc

sqlalchemy : 1.2.4-py35h14c3975_0 및 1.2.11-py35h7b6447c_0 실행 해 보았습니다.

하지만 나는 점점

AttributeError : 'psycopg2.extensions.cursor'개체에 'fast_executemany'속성이 없습니다.

postgresql 드라이버 인 psycopg2를 사용하고 있습니다. 이 문제 및 수정은 pyodbc 드라이버를 사용하는 Microsoft SQL Server와 관련이 있습니다.

'dtype'매개 변수 추가는 어떻습니까?

self.engine 인스턴스가있는 클래스 내에서이 솔루션을 구현하는 방법을 아는 사람이 있습니까?

self.engine 를 참조하여 나를 위해 작동합니다.

예:

    self.engine = sqlalchemy.create_engine(connectionString, echo=echo)
    self.connection = self.engine.connect()

    @event.listens_for(self.engine, 'before_cursor_execute')
    def receive_before_cursor_execute(conn, cursor, statement, params, context, executemany):
        print("Listen before_cursor_execute - executemany: %s" % str(executemany))
        if executemany:
            cursor.fast_executemany = True
            cursor.commit()

방법을 알아 냈습니까?

pandas dataframe 를 저장하려는 경우 정답은 https://docs.sqlalchemy.org/en/13/dialects/postgresql.html#psycopg2 -batch-mode-fast-execution을 사용하는 것입니다. pandas dataframe ~ postgres

새 버전의 Pandas에는 '멀티'로 선택할 수있는 method 매개 변수가 포함되어 있습니다. 이렇게하면 코드가 훨씬 빠르게 실행됩니다.

fast_executemany 는 이제 단일 단계로 수행 할 수 있습니다 (sqlalchemy> = 1.3.0) :

engine = sqlalchemy.create_engine(connection_string, fast_executemany=True)

문서의 어딘가에서 또는 예제와 함께 언급 할 가치가 있습니까? 판다와 관련이없는 특별한 경우이지만 많은 경우 성능을 크게 향상시킬 수있는 작은 추가입니다.

새 버전의 Pandas에는 '멀티'로 선택할 수있는 method 매개 변수가 포함되어 있습니다. 이렇게하면 코드가 훨씬 빠르게 실행됩니다.

chunksize 매개 변수를 설정하면 to_sql 일괄 삽입을 수행하는 데 충분하다고 생각할 수 있습니다.

MS SQL 사용자를위한 대안은 turbodbc.Cursor.insertmanycolumns 도 사용하는 것입니다. 링크 된 StackOverflow 게시물에서 설명했습니다. https://stackoverflow.com/a/62671681/1689261

이에 대해 향후 독자를 위해 to_sql에 'batch_mode'를 사용하는 두 가지 옵션이 있습니다. 다음은 두 가지 조합입니다.

create_engine(connection_string, executemany_mode='batch', executemany_batch_page_size=x)

또는

create_engine(connection_string, executemany_mode='values', executemany_values_page_size=x)

이러한 인수에 대한 자세한 내용은 https://docs.sqlalchemy.org/en/13/dialects/postgresql.html#psycopg2 -fast-execution-helpers에서 찾을 수 있습니다.

postgres 사용자의 경우 method 를 콜러 블로 설정하는 것이 좋습니다.

서명으로 호출 가능 (pd_table, conn, keys, data_iter) : 특정 백엔드 언어 기능을 기반으로보다 성능이 뛰어난 삽입 방법을 구현하는 데 사용할 수 있습니다.

여기 https://pandas.pydata.org/pandas-docs/stable/user_guide/io.html#insertion -method 및 예제 코드에서 함수를 호출합니다.

COPY FROM 이 정말 훨씬 빠릅니다 🚀