Pandas: to_sql（）を使用しているときに、重複する主キーが検出された場合は続行しますか？

これは、「重複更新時」モードもサポートする必要があります。

@rosstripiこれを採用するというアイデアは確かに受け入れられると思いますが、AFAIKの主なボトルネックは、フレーバーにとらわれない方法でsql / sqlalchemyを使用するこの実装です。 これをどのように行うことができるかについてのいくつかの調査は確かに歓迎されています！

こんにちは、これに対する回避策を見つけましたか？ 私にお知らせください

この実装に関する更新はありますか？

私は現在、PostgreSQLとSQLAlchemyでこの問題に直面しており、「重複更新時」に問題が発生することを望んでいます。

仕事をありがとう

回避策は、データベース内の一意のインデックスを削除することです。

sqlquery="ALTER 'TABLE DATABASE'.'TABLE' DROP INDEX 'idx_name'"
その後
df.to_sql('TableNameHere', engine, if_exists='append', chunksize=900, index=False)
実行することができます。

MySQLサーバーにインデックスを再度追加させ、重複を削除するだけです。
sqlquery="ALTER IGNORE TABLE 'DATABASE'.'TABLE' ADD UNIQUE INDEX 'idx_name' ('column_name1' ASC, 'column_name2' ASC, 'column_name3' '[ASC | DESC]')"

特定のアプリケーションによっては、これが役立つ場合があります。
とにかく、$＃ append_skipdupesのような$ if_existsオプションの方がはるかに優れています。

append_skipdupesは、これを処理するのに最適な方法です。

はい、append_skipdupes +1

df.to_sql()のオプションでこれに対処できるとよいことに同意しました。

sqliteで使用する回避策は次のとおりです。

CREATE TABLE IF NOT EXISTS my_table_name (
    some_kind_of_id INT PRIMARY KEY ON CONFLICT IGNORE,
    ...

次に、重複を挿入すると、それらは黙って無視され、非重複は正しく処理されます。 私の場合、データは静的である（つまり、静的である必要がある）ので、更新する必要はありません。 データフィードの形式は、無視できる重複を取得するようなものであるというだけです。

MariaDbとMySqlを使用したその他の回避策：
df.to_csv("test.csv")
次に使用します：
LOAD DATA INFILE 'test.csv' IGNORE INTO TABLE mytableまたは
LOAD DATA INFILE 'test.csv' REPLACE INTO TABLE mytable 。

LOADDATAはINSERTよりも非常に高速です。

完全なコード：

csv_path = str(Path(application_path) / "tmp" / "tmp.csv").replace("\\", "\\\\")
df.to_csv(csv_path, index=False, sep='\t', quotechar="'", na_rep=r'\N')
rq = """LOAD DATA LOCAL INFILE '{file_path}' REPLACE INTO TABLE {db}.{db_table}
        LINES TERMINATED BY '\\r\\n'
        IGNORE 1 LINES
         ({col});
        """.format(db=db,
                   file_path=csv_path,
                   db_table=table_name,
                   col=",".join(df.columns.tolist()))

これは＃29636で、＃14553に対応するupsert_ignore引数で対処されていると思います。

append_skipdupes +1

append_skipdupesの場合は+1

同意する 'append_skipdupes'を追加する必要があります。

はい、お願いします。 主キー列だけでなく、「append_skipdupes」を追加する必要があります。 他の一意の列の間に重複がある場合も、それらの新しい重複行の追加をスキップする必要があります。

append_skipdupesの場合は+1

append_skipdupes +1

append_skipdupes +1

append_skipdupesの場合は+1

その間、このhttps://pypi.org/project/pangres/を使用できます