Pandas: to_sql() का उपयोग करते समय, जारी रखें यदि डुप्लिकेट प्राथमिक कुंजियों का पता चला है?

को निर्मित 13 अप्रैल 2017 · 19टिप्पणियाँ · स्रोत: pandas-dev/pandas

कोड नमूना, यदि संभव हो तो कॉपी-पेस्ट करने योग्य उदाहरण

df.to_sql('TableNameHere', engine, if_exists='append', chunksize=900, index=False)

समस्या विवरण

मैं एक SQL तालिका में एक बड़ा डेटाफ्रेम जोड़ने की कोशिश कर रहा हूं। डेटाफ़्रेम में कुछ पंक्तियाँ SQL तालिका में डुप्लिकेट हैं, कुछ नहीं हैं। लेकिन to_sql() एक भी डुप्लिकेट का पता चलने पर पूरी तरह से क्रियान्वित करना बंद कर देता है।

यह to_sql(if_exists='append') के लिए केवल उपयोगकर्ता को चेतावनी देने के लिए समझ में आता है कि किन पंक्तियों में डुप्लिकेट कुंजियाँ थीं और बस नई पंक्तियों को जोड़ना जारी रखें, पूरी तरह से निष्पादित करना बंद न करें। बड़े डेटासेट के लिए, आपके पास डुप्लीकेट होने की संभावना है, लेकिन आप उन्हें अनदेखा करना चाहते हैं।

शायद डुप्लिकेट को अनदेखा करने और क्रियान्वित करने के लिए एक तर्क जोड़ें? शायद एक अतिरिक्त if_exists विकल्प जैसे 'append_skipdupes' ?

`pd.show_versions()` . का आउटपुट

स्थापित संस्करण

प्रतिबद्ध: कोई नहीं
अजगर: 3.6.0.अंतिम.0
पायथन-बिट्स: 64
ओएस: विंडोज़
ओएस-रिलीज़: 10
मशीन: एएमडी 64
प्रोसेसर: Intel64 परिवार 6 मॉडल 60 स्टेपिंग 3, GenuineIntel
बाइटऑर्डर: थोड़ा
LC_ALL: कोई नहीं
लैंग: कोई नहीं
स्थान: अंग्रेज़ी_संयुक्त राज्य.1252

पांडा: 0.19.2
नाक: कोई नहीं
पिप: 9.0.1
सेटअपटूल: 28.8.0
साइथन: कोई नहीं
सुन्न: 1.12.0
scipy: कोई नहीं
statsmodels: कोई नहीं
xarray: कोई नहीं
आईपीथन: 5.3.0
स्फिंक्स: कोई नहीं
पात्सी: कोई नहीं
डेटुटिल: 2.6.0
पाइट्ज़: 2016.10
ब्लोस्क: कोई नहीं
अड़चन: कोई नहीं
टेबल: कोई नहीं
numexpr: कोई नहीं
मैटप्लोटलिब: कोई नहीं
ओपनपीएक्सएल: कोई नहीं
xlrd: कोई नहीं
xlwt: कोई नहीं
xlsxwriter: कोई नहीं
एलएक्सएमएल: कोई नहीं
बीएस4: कोई नहीं
html5lib: 0.999999999
httplib2: कोई नहीं
आवेदक: कोई नहीं
sqlalchemy: 1.1.9
pymysql: कोई नहीं
psycopg2: कोई नहीं
जिन्जा 2: 2.9.5
बोटो: कोई नहीं
pandas_datareader: कोई नहीं

Enhancement IO SQL

स्रोत

rosstripi

👍173

सबसे उपयोगी टिप्पणी

यह "डुप्लिकेट अपडेट पर" मोड का भी समर्थन करना चाहिए।

rockg 13 अप्रैल 2017

👍34

सभी 19 टिप्पणियाँ

यह "डुप्लिकेट अपडेट पर" मोड का भी समर्थन करना चाहिए।

rockg 13 अप्रैल 2017

👍34

@rosstripi मुझे लगता है कि यह विचार निश्चित रूप से स्वीकार किया जाएगा, लेकिन AFAIK मुख्य बाधा एक स्वाद अज्ञेयवादी तरीके से एसक्यूएल/स्क्लाल्केमी का उपयोग करके इसके लिए एक कार्यान्वयन है। यह कैसे किया जा सकता है कुछ अन्वेषण निश्चित रूप से स्वागत योग्य है!

jorisvandenbossche 13 अप्रैल 2017

नमस्ते क्या आपने इसके लिए कोई समाधान निकाला है? कृपया मुझे बताओ

muniswamy89 6 जून 2018

इस कार्यान्वयन पर कोई अपडेट?

मैं अब PostgreSQL और SQLAlchemy के साथ इस समस्या का सामना कर रहा हूं और इसे "डुप्लिकेट अपडेट पर" रखना अच्छा लगेगा।

काम के लिए धन्यवाद

AlvaroPica 10 दिस॰ 2018

डेटाबेस में अद्वितीय अनुक्रमणिका को हटाने के लिए एक समाधान होगा:

sqlquery="ALTER 'TABLE DATABASE'.'TABLE' DROP INDEX 'idx_name'"
बाद में
df.to_sql('TableNameHere', engine, if_exists='append', chunksize=900, index=False)
निष्पादित किया जा सकता है।

बस अपने MySQL सर्वर को फिर से इंडेक्स जोड़ने दें और डुप्लिकेट को छोड़ दें।
sqlquery="ALTER IGNORE TABLE 'DATABASE'.'TABLE' ADD UNIQUE INDEX 'idx_name' ('column_name1' ASC, 'column_name2' ASC, 'column_name3' '[ASC | DESC]')"

आपके विशिष्ट एप्लिकेशन के आधार पर, यह सहायक हो सकता है।
वैसे भी if_exists विकल्प जैसे append_skipdupes ज्यादा बेहतर होगा।

valewyss 16 अप्रैल 2019

👍6 👎4 😕2

append_skipdupes इसे संभालने का सही तरीका होगा।

cgi1 14 मई 2019

👍16

हाँ, append_skipdupes +1

macdet 28 जून 2019

👍4

सहमत थे कि df.to_sql() में विकल्पों के साथ इससे निपटने में सक्षम होना अच्छा होगा।

यहाँ मैं sqlite में उपयोग किया जाने वाला वर्कअराउंड है:

CREATE TABLE IF NOT EXISTS my_table_name (
    some_kind_of_id INT PRIMARY KEY ON CONFLICT IGNORE,
    ...

फिर, जब मैं डुप्लिकेट सम्मिलित करता हूं, तो वे चुपचाप अनदेखा हो जाते हैं, और गैर-डुप्लिकेट सही ढंग से संसाधित होते हैं। मेरे मामले में, डेटा स्थिर है (यानी होना चाहिए ), इसलिए मुझे अपडेट करने की आवश्यकता नहीं है। यह सिर्फ इतना है कि डेटा फ़ीड का रूप ऐसा है कि मुझे ऐसे डुप्लीकेट मिलेंगे जिन्हें अनदेखा किया जा सकता है।

jtkiley 6 अग॰ 2019

👍3

MariaDb और MySql के साथ एक अन्य समाधान:
df.to_csv("test.csv")
फिर उपयोग करें:
LOAD DATA INFILE 'test.csv' IGNORE INTO TABLE mytable या
LOAD DATA INFILE 'test.csv' REPLACE INTO TABLE mytable ।

INSERT की तुलना में LOAD DATA बहुत तेज है।

पूरा कोड:

csv_path = str(Path(application_path) / "tmp" / "tmp.csv").replace("\\", "\\\\")
df.to_csv(csv_path, index=False, sep='\t', quotechar="'", na_rep=r'\N')
rq = """LOAD DATA LOCAL INFILE '{file_path}' REPLACE INTO TABLE {db}.{db_table}
        LINES TERMINATED BY '\\r\\n'
        IGNORE 1 LINES
         ({col});
        """.format(db=db,
                   file_path=csv_path,
                   db_table=table_name,
                   col=",".join(df.columns.tolist()))

netchose 24 अक्तू॰ 2019

मेरा मानना है कि इसे #29636 में upsert_ignore तर्क के साथ संबोधित किया जा रहा है, जो #14553 को संबोधित करता है।

kjford 9 दिस॰ 2019

परिशिष्ट_स्किपडुप्स +1

iveteran 20 जून 2020

👍3

परिशिष्ट_स्किपडुप्स के लिए +1

grantog 23 अग॰ 2020

सहमत 'append_skipdupes' जोड़ा जाना चाहिए।

Arham-Aalam 26 अग॰ 2020

👍4

हाँ कृपया। 'append_skipdupes' जोड़ा जाना चाहिए न कि केवल प्राथमिक कुंजी कॉलम के लिए। यदि अन्य अद्वितीय स्तंभों में भी डुप्लिकेट हैं, तो उसे उन नई डुप्लिकेट पंक्तियों को जोड़ना छोड़ देना चाहिए।