Pandas: to_sql()을 사용할 때 중복 기본 키가 감지되면 계속하시겠습니까?

이것은 또한 "중복 업데이트" 모드도 지원해야 합니다.

@rosstripi 이 아이디어는 확실히 받아들여질 것이라고 생각하지만 AFAIK의 주요 병목 현상은 sql/sqlalchemy를 풍미에 구애받지 않는 방식으로 사용하여 구현하는 것입니다. 이 작업을 수행할 수 있는 방법에 대한 일부 탐색은 확실히 환영합니다!

안녕하세요 이에 대한 해결 방법을 알아냈습니까? 알려주세요

이 구현에 대한 업데이트가 있습니까?

저는 이제 PostgreSQL 및 SQLAlchemy에서 이 문제에 직면해 있으며 "중복 업데이트 시"를 원합니다.

작업에 감사드립니다

해결 방법은 데이터베이스에서 고유 인덱스를 제거하는 것입니다.

sqlquery="ALTER 'TABLE DATABASE'.'TABLE' DROP INDEX 'idx_name'"
나중에
df.to_sql('TableNameHere', engine, if_exists='append', chunksize=900, index=False)
실행할 수 있습니다.

MySQL 서버가 인덱스를 다시 추가하고 중복을 삭제하도록 하십시오.
sqlquery="ALTER IGNORE TABLE 'DATABASE'.'TABLE' ADD UNIQUE INDEX 'idx_name' ('column_name1' ASC, 'column_name2' ASC, 'column_name3' '[ASC | DESC]')"

특정 응용 프로그램에 따라 도움이 될 수 있습니다.
어쨌든 $# append_skipdupes if_exists 옵션이 훨씬 더 좋습니다.

append_skipdupes 는 이것을 처리하는 완벽한 방법입니다.

예, append_skipdupes +1

df.to_sql() 의 옵션을 사용하여 이 문제를 해결할 수 있다는 데 동의했습니다.

다음은 sqlite에서 사용하는 해결 방법입니다.

CREATE TABLE IF NOT EXISTS my_table_name (
    some_kind_of_id INT PRIMARY KEY ON CONFLICT IGNORE,
    ...

그런 다음 중복 항목을 삽입하면 자동으로 무시되고 중복되지 않은 항목이 올바르게 처리됩니다. 제 경우에는 데이터가 정적 이어야 하므로 업데이트할 필요가 없습니다. 데이터 피드의 형식이 무시할 수 없는 중복을 얻을 수 있다는 것뿐입니다.

MariaDb 및 MySql의 다른 해결 방법:
df.to_csv("test.csv")
다음을 사용하십시오.
LOAD DATA INFILE 'test.csv' IGNORE INTO TABLE mytable 또는
LOAD DATA INFILE 'test.csv' REPLACE INTO TABLE mytable .

LOAD DATA는 INSERT보다 매우 빠릅니다.

완전한 코드:

csv_path = str(Path(application_path) / "tmp" / "tmp.csv").replace("\\", "\\\\")
df.to_csv(csv_path, index=False, sep='\t', quotechar="'", na_rep=r'\N')
rq = """LOAD DATA LOCAL INFILE '{file_path}' REPLACE INTO TABLE {db}.{db_table}
        LINES TERMINATED BY '\\r\\n'
        IGNORE 1 LINES
         ({col});
        """.format(db=db,
                   file_path=csv_path,
                   db_table=table_name,
                   col=",".join(df.columns.tolist()))

나는 이것이 #14553을 주소로 하는 upsert_ignore 인수로 #29636에서 해결되고 있다고 믿습니다.

append_skipdupes +1

append_skipdupes의 경우 +1

'append_skipdupes'를 추가해야 합니다.

예, 부탁합니다. 기본 키 열뿐만 아니라 'append_skipdupes'를 추가해야 합니다. 다른 고유 열 간에 중복이 있는 경우 새 중복 행 추가를 건너뛰어야 합니다.

append_skipdupes의 경우 +1

append_skipdupes +1

append_skipdupes +1

append_skipdupes의 경우 +1

그동안 https://pypi.org/project/pangres/ 를 사용할 수 있습니다.