Pandas: عند استخدام to_sql () ، هل تريد المتابعة إذا تم اكتشاف مفاتيح أساسية مكررة؟

يجب أن يدعم هذا أيضًا وضع "عند التحديث المكرر".

rosstripi أعتقد أن فكرة الحصول على هذا ستكون مقبولة بالتأكيد ، لكن AFAIK العقبة الرئيسية هي تنفيذ لهذا باستخدام sql / sqlalchemy بطريقة حيادية النكهة. بعض الاستكشاف كيف يمكن القيام بذلك هو بالتأكيد موضع ترحيب!

مرحبا هل اكتشفت أي حل لهذا؟ أخبرونى من فضلكم

أي تحديث على هذا التنفيذ؟

أواجه الآن هذه المشكلة مع PostgreSQL و SQLAlchemy وأرغب في الحصول على "تحديث مكرر".

شكرا على العمل

يتمثل الحل البديل في إزالة الفهرس الفريد في قاعدة البيانات:

sqlquery="ALTER 'TABLE DATABASE'.'TABLE' DROP INDEX 'idx_name'"
عقب ذلك مباشرة
df.to_sql('TableNameHere', engine, if_exists='append', chunksize=900, index=False)
يمكن تنفيذها.

ما عليك سوى السماح لـ MySQL Server بإضافة الفهرس مرة أخرى وإسقاط التكرارات.
sqlquery="ALTER IGNORE TABLE 'DATABASE'.'TABLE' ADD UNIQUE INDEX 'idx_name' ('column_name1' ASC, 'column_name2' ASC, 'column_name3' '[ASC | DESC]')"

اعتمادًا على التطبيق المحدد الخاص بك ، يمكن أن يكون هذا مفيدًا.
على أي حال ، فإن الخيار if_exists مثل append_skipdupes سيكون أفضل بكثير.

سيكون append_skipdupes الطريقة المثلى للتعامل مع هذا الأمر.

نعم ، append_skipdupes +1

متفق عليه أنه سيكون من الجيد أن تكون قادرًا على التعامل مع هذا مع الخيارات المتاحة في df.to_sql() .

هذا هو الحل الذي أستخدمه في sqlite:

CREATE TABLE IF NOT EXISTS my_table_name (
    some_kind_of_id INT PRIMARY KEY ON CONFLICT IGNORE,
    ...

بعد ذلك ، عندما أقوم بإدراج التكرارات ، يتم تجاهلها بصمت ، وتتم معالجة النسخ غير المكررة بشكل صحيح. في حالتي ، تكون البيانات (أي يجب أن تكون ) ثابتة ، لذا لست بحاجة إلى التحديث. إنه مجرد شكل موجز البيانات هو أنني سأحصل على نسخ مكررة يمكن تجاهلها.

حل بديل آخر باستخدام MariaDb و MySql:
df.to_csv("test.csv")
ثم استخدام :
LOAD DATA INFILE 'test.csv' IGNORE INTO TABLE mytable أو
LOAD DATA INFILE 'test.csv' REPLACE INTO TABLE mytable .

يعد LOAD DATA أسرع جدًا من INSERT.

كود كامل:

csv_path = str(Path(application_path) / "tmp" / "tmp.csv").replace("\\", "\\\\")
df.to_csv(csv_path, index=False, sep='\t', quotechar="'", na_rep=r'\N')
rq = """LOAD DATA LOCAL INFILE '{file_path}' REPLACE INTO TABLE {db}.{db_table}
        LINES TERMINATED BY '\\r\\n'
        IGNORE 1 LINES
         ({col});
        """.format(db=db,
                   file_path=csv_path,
                   db_table=table_name,
                   col=",".join(df.columns.tolist()))

أعتقد أن هذا يتم تناوله في # 29636 باستخدام الوسيطة upsert_ignore ، التي تتناول # 14553.

append_skipdupes +1

+1 من أجل append_skipdupes

توافق على أنه يجب إضافة "append_skipdupes".

نعم من فضلك. يجب إضافة "append_skipdupes" وليس فقط لعمود المفتاح الأساسي. إذا كانت هناك تكرارات بين الأعمدة الفريدة الأخرى ، فيجب أيضًا تخطي إلحاق تلك الصفوف المكررة الجديدة.

+1 من أجل append_skipdupes

append_skipdupes +1

append_skipdupes +1

+1 من أجل append_skipdupes

في غضون ذلك ، يمكنك استخدام هذا https://pypi.org/project/pangres/