Pandas: 使用to_sql()时，如果检测到重复的主键，是否继续？

这也应该支持“重复更新”模式。

@rostripi我认为这个想法肯定会被接受，但AFAIK的主要瓶颈是使用sql / sqlalchemy以一种与风格无关的方式实现这一点。 一些探索如何做到这一点当然是受欢迎的！

嗨，你有没有找到任何解决方法？ 请告诉我

此实施的任何更新？

我现在正面临 PostgreSQL 和 SQLAlchemy 的这个问题，并且希望能够“重复更新”。

感谢您的工作

一种解决方法是删除数据库中的唯一索引：

sqlquery="ALTER 'TABLE DATABASE'.'TABLE' DROP INDEX 'idx_name'"
然后
df.to_sql('TableNameHere', engine, if_exists='append', chunksize=900, index=False)
可以执行。

只需让您的 MySQL 服务器再次添加索引并删除重复项。
sqlquery="ALTER IGNORE TABLE 'DATABASE'.'TABLE' ADD UNIQUE INDEX 'idx_name' ('column_name1' ASC, 'column_name2' ASC, 'column_name3' '[ASC | DESC]')"

根据您的具体应用，这可能会有所帮助。
无论如何，像append_skipdupes这样的if_exists选项会好得多。

append_skipdupes将是处理此问题的完美方法。

是的，append_skipdupes +1

同意能够使用df.to_sql()中的选项来处理这个问题会很好。

这是我在 sqlite 中使用的解决方法：

CREATE TABLE IF NOT EXISTS my_table_name (
    some_kind_of_id INT PRIMARY KEY ON CONFLICT IGNORE,
    ...

然后，当我插入重复项时，它们会被默默地忽略，并且正确处理非重复项。 就我而言，数据是（即应该是）静态的，所以我不需要更新。 只是数据馈送的形式是这样的，我会得到可忽略的重复项。

MariaDb 和 MySql 的另一种解决方法：
df.to_csv("test.csv")
然后使用：
LOAD DATA INFILE 'test.csv' IGNORE INTO TABLE mytable或
LOAD DATA INFILE 'test.csv' REPLACE INTO TABLE mytable 。

LOAD DATA 比 INSERT 快得多。

完整代码：

csv_path = str(Path(application_path) / "tmp" / "tmp.csv").replace("\\", "\\\\")
df.to_csv(csv_path, index=False, sep='\t', quotechar="'", na_rep=r'\N')
rq = """LOAD DATA LOCAL INFILE '{file_path}' REPLACE INTO TABLE {db}.{db_table}
        LINES TERMINATED BY '\\r\\n'
        IGNORE 1 LINES
         ({col});
        """.format(db=db,
                   file_path=csv_path,
                   db_table=table_name,
                   col=",".join(df.columns.tolist()))

我相信这是在 #29636 中使用upsert_ignore参数解决的，该参数解决了 #14553。

append_skipdupes +1

+1 为 append_skipdupes

同意应该添加“append_skipdupes”。

是的，请。 应该添加“append_skipdupes”，而不仅仅是主键列。 如果其他唯一列之间存在重复，它也应该跳过附加那些新的重复行。

+1 为 append_skipdupes

append_skipdupes +1

append_skipdupes +1

+1 为 append_skipdupes

同时你可以使用这个https://pypi.org/project/pangres/