Mimic-code: फ़ाइल चार्टइवेंट्स.सीएसवी अज्ञात त्रुटि को स्टेट नहीं कर सका

क्या आपने प्रोजेक्ट के लिए डाउनलोड पेज पर उपलब्ध कराई गई चेकसम फाइलों का उपयोग करके chartevents.csv की अपनी कॉपी की अखंडता की जांच की है? शायद यह डाउनलोड या डीकंप्रेसन के दौरान दूषित हो गया था।

हां, मैंने md5 checksum_md5_zipped.txt कमांड का उपयोग किया है और सभी तालिकाओं के साथ सब कुछ ठीक है ...

मैंने ज़िप्ड डेटा के साथ भी कोशिश की और postgres_load_data script_7zip चलाया। उस स्थिति में मुझे मिलता है: डेटा में मिली अनक्वॉटेड न्यूलाइन। संकेत: नई लाइन का प्रतिनिधित्व करने के लिए उद्धृत सीएसवी फ़ील्ड का उपयोग करें।

मैंने md5 checksum_md5_unzipped.txt भी चेक किया और सब कुछ ठीक है।

ऐसा लगता है कि आपके द्वारा चलाई जा रही स्क्रिप्ट और आपके पास मौजूद डेटा के बीच कोई मेल नहीं है। मैं सुनिश्चित करूँगा:

1. सभी फ़ाइलें एक ही निर्देशिका में हैं
2. सभी फाइलों में एक ही फाइल एक्सटेंशन है; उदाहरण के लिए वे सभी .csv.gz
3. आप postgres_load_data_7zip.sql फ़ाइल चला रहे हैं या तो (i) उसी फ़ोल्डर से या (ii) डेटा निर्देशिका को इंगित करने के लिए मिमिक_डेटा_दिर को कॉन्फ़िगर करने के बाद।

अतीत में, आपके फ़ोल्डर सेटअप के स्क्रीनशॉट, आपके सिस्टम की जानकारी, आपके द्वारा चलाए गए सटीक आदेशों और सटीक त्रुटि संदेश जैसी अधिक जानकारी के बिना दूरस्थ रूप से डीबग करना वास्तव में कठिन है।

नमस्ते,

आपके उत्तर के लिए धन्यवाद।

1. सभी फाइलें एक ही निर्देशिका में हैं
2. सभी फाइलों का एक ही फाइल एक्सटेंशन है csv
3. मैं डेटा निर्देशिका को इंगित करने के लिएmic_data_dir को कॉन्फ़िगर करने के बाद posgres_load_data.sql फ़ाइल चला रहा हूं।
   यहाँ मेरे सटीक आदेश और त्रुटि मुझे मिली है।
   
   
   

बढ़िया यह बहुत उपयोगी है, अतिरिक्त जानकारी के लिए धन्यवाद। मुझे लगता है कि यह उतना आसान है जितना फ़ाइल फ़ोल्डर में नहीं है। क्या आप दोबारा जांच सकते हैं कि आपके फ़ोल्डर C:/Users/Lejla/Desktop/MIMICIII में CHARTEVENTS.csv फ़ाइल है?

हो सकता है कि आपने सभी संपीड़ित फ़ाइलों को निकालने का प्रयास किया हो, लेकिन यह चार्टइवेंट के लिए विफल रहा और इसलिए आपके पास केवल .csv.gz फ़ाइल है (कारण यह हो सकता है कि निकाली गई फ़ाइल 33GB है और आप स्थान से बाहर भाग गए हैं, या आपका फाइल सिस्टम FAT32 (!) है, या कौन जानता है)। उस स्थिति में, आप लोड स्क्रिप्ट को सीधे .csv.gz से लोड करने के लिए संपादित करना चाह सकते हैं। आप इसे बदलकर ऐसा कर सकते हैं:

\copy CHARTEVENTS from 'CHARTEVENTS.csv' delimiter ',' csv header NULL ''

साथ

\copy CHARTEVENTS from PROGRAM '7z e -so CHARTEVENTS.csv.gz' delimiter ',' csv header NULL ''

उत्तर के लिए आपका बहुत-बहुत धन्यवाद। मैंने इस बार ज़िप फ़ाइल के साथ काम करने और इसके लिए स्क्रिप्ट चलाने की कोशिश की। इस बार मुझे अन्य मिला

संदेश... शायद यह मदद करेगा।

क्या आपको निर्देशिका की सामग्री दिखाने में कोई आपत्ति है?

मुझे कोई आपत्ति नहीं है। यहाँ मेरे फ़ोल्डर की सामग्री है

ठीक है, could not stat file "CHARTEVENTS.csv": Unknown error वास्तव में PostgreSQL 11 में एक बग है। हुड के तहत यह सुनिश्चित करने के लिए fstat() पर कॉल करता है कि फ़ाइल एक निर्देशिका नहीं है, और दुर्भाग्य से fstat() है एक 32-बिट प्रोग्राम जो चार्टइवेंट जैसी बड़ी फ़ाइलों को संभाल नहीं सकता है। मैंने PostgreSQL 10.5 के साथ विंडोज़ पर बिल्ड का परीक्षण किया और मुझे यह त्रुटि नहीं मिली इसलिए मुझे लगता है कि यह काफी नया है।

सबसे अच्छा समाधान यह है कि फाइलों को कंप्रेस्ड रखा जाए (यानी उन्हें .csv.gz फाइलों के रूप में रखा जाए) और सीधे कंप्रेस्ड फाइलों से डेटा लोड करने के लिए 7zip का उपयोग करें। परीक्षण में यह अभी भी काम करता प्रतीत होता था। इसे यहाँ कैसे करना है, इस पर एक विस्तृत विस्तृत ट्यूटोरियल है: https://mimic.physionet.org/tutorials/install-mimic-locally-windows/

उपरोक्त का संक्षिप्त संस्करण यह है कि आप .csv.gz फ़ाइलें रखते हैं, आप अपने विंडोज़ पर्यावरण पथ में 7zip बाइनरी जोड़ते हैं, और फिर आप डेटा में लोड करने के लिए postgres_load_data_7zip.sql फ़ाइल को कॉल करते हैं। यह सुनिश्चित करने के लिए कि आपने सभी डेटा को सही तरीके से लोड किया है, आप सब कुछ के बाद postgres_checks.sql फ़ाइल का उपयोग कर सकते हैं।

संपादित करें: आपकी बाद की त्रुटि के लिए, जहां आप इस 7zip दृष्टिकोण का उपयोग कर रहे हैं, मुझे यकीन नहीं है कि यह लोड क्यों नहीं हो रहा है। केवल ADMISSIONS.csv.gz फ़ाइल को फिर से डाउनलोड करने का प्रयास करें और देखें कि क्या यह अभी भी आपको वही त्रुटि देता है। हो सकता है कि 7zip का एक नया संस्करण है जिसके लिए मुझे स्क्रिप्ट या कुछ और अपडेट करने की आवश्यकता है!

नमस्ते,
विस्तार से स्पष्टीकरण के लिए धन्यवाद। मैंने PostgreSQL 10.5 स्थापित किया और अब प्रक्रिया चल रही है। मुझे लगता है कि सभी टेबल लोड करने में काफी समय लगेगा लेकिन मुझे अब "अज्ञात त्रुटि" नहीं मिलती है। सभी मदद के लिए बहुत-बहुत धन्यवाद।

महान!

ठीक है, could not stat file "CHARTEVENTS.csv": Unknown error वास्तव में PostgreSQL 11 में एक बग है। हुड के तहत यह सुनिश्चित करने के लिए fstat() पर कॉल करता है कि फ़ाइल एक निर्देशिका नहीं है, और दुर्भाग्य से fstat() है एक 32-बिट प्रोग्राम जो चार्टइवेंट जैसी बड़ी फ़ाइलों को संभाल नहीं सकता है। मैंने PostgreSQL 10.5 के साथ विंडोज़ पर बिल्ड का परीक्षण किया और मुझे यह त्रुटि नहीं मिली इसलिए मुझे लगता है कि यह काफी नया है।

सबसे अच्छा समाधान यह है कि फाइलों को कंप्रेस्ड रखा जाए (यानी उन्हें .csv.gz फाइलों के रूप में रखा जाए) और सीधे कंप्रेस्ड फाइलों से डेटा लोड करने के लिए 7zip का उपयोग करें। परीक्षण में यह अभी भी काम करता प्रतीत होता था। इसे यहाँ कैसे करना है, इस पर एक विस्तृत विस्तृत ट्यूटोरियल है: https://mimic.physionet.org/tutorials/install-mimic-locally-windows/

उपरोक्त का संक्षिप्त संस्करण यह है कि आप .csv.gz फ़ाइलें रखते हैं, आप अपने विंडोज़ पर्यावरण पथ में 7zip बाइनरी जोड़ते हैं, और फिर आप डेटा में लोड करने के लिए postgres_load_data_7zip.sql फ़ाइल को कॉल करते हैं। यह सुनिश्चित करने के लिए कि आपने सभी डेटा को सही तरीके से लोड किया है, आप सब कुछ के बाद postgres_checks.sql फ़ाइल का उपयोग कर सकते हैं।

संपादित करें: आपकी बाद की त्रुटि के लिए, जहां आप इस 7zip दृष्टिकोण का उपयोग कर रहे हैं, मुझे यकीन नहीं है कि यह लोड क्यों नहीं हो रहा है। केवल ADMISSIONS.csv.gz फ़ाइल को फिर से डाउनलोड करने का प्रयास करें और देखें कि क्या यह अभी भी आपको वही त्रुटि देता है। हो सकता है कि 7zip का एक नया संस्करण है जिसके लिए मुझे स्क्रिप्ट या कुछ और अपडेट करने की आवश्यकता है!

PostgreSQL 10.11 का उपयोग करने से मुझे मदद मिली... धन्यवाद

बढ़िया यह बहुत उपयोगी है, अतिरिक्त जानकारी के लिए धन्यवाद। मुझे लगता है कि यह उतना आसान है जितना फ़ाइल फ़ोल्डर में नहीं है। क्या आप दोबारा जांच सकते हैं कि आपके फ़ोल्डर C:/Users/Lejla/Desktop/MIMICIII में CHARTEVENTS.csv फ़ाइल है?

हो सकता है कि आपने सभी संपीड़ित फ़ाइलों को निकालने का प्रयास किया हो, लेकिन यह चार्टइवेंट के लिए विफल रहा और इसलिए आपके पास केवल .csv.gz फ़ाइल है (कारण यह हो सकता है कि निकाली गई फ़ाइल 33GB है और आप स्थान से बाहर भाग गए हैं, या आपका फाइल सिस्टम FAT32 (!) है, या कौन जानता है)। उस स्थिति में, आप लोड स्क्रिप्ट को सीधे .csv.gz से लोड करने के लिए संपादित करना चाह सकते हैं। आप इसे बदलकर ऐसा कर सकते हैं:

\copy CHARTEVENTS from 'CHARTEVENTS.csv' delimiter ',' csv header NULL ''

साथ

\copy CHARTEVENTS from PROGRAM '7z e -so CHARTEVENTS.csv.gz' delimiter ',' csv header NULL ''

धन्यवाद, यह मेरे लिए काम किया:
\ कॉपी my_table_name प्रोग्राम 'cmd /c type input_data.csv' delimiter ',' csv हैडर से;
input_data.csv 11GB आकार की तरह।

"बड़ी फ़ाइलों की प्रतिलिपि नहीं बना सकता" के साथ समस्या 11 और 12 संस्करणों के लिए है। लेकिन 10 के लिए ठीक है। डेटा-फाइलों को संपीड़ित किए बिना इसे ओवरराइड कैसे करें, लेकिन हो सकता है कि कुछ पोस्टग्रेस्क्ल-प्रोग्राम फ़ाइलों को v.10 से v 11 और 12 तक अपसर्ट/स्वैप करें?
समाधान:
कॉपी टी (सी, डी) प्रोग्राम से 'cmd / c "टाइप x: \ pathto \ file.txt"' (फॉर्मेट टेक्स्ट) के साथ;
- मेरी जरूरतों के लिए बहुत धीमा है। मुझे डिफ़ॉल्ट कॉपी कमांड की गति चाहिए

आप फ़ाइल को एकाधिक फ़ाइलों में विभाजित करने के लिए अन्य कमांड लाइन टूल का उपयोग करने पर विचार कर सकते हैं, और फिर अलग-अलग फ़ाइलों को एक बार में लोड कर सकते हैं। यूनिक्स सिस्टम पर यह split का उपयोग करके किया जा सकता है और आप इसका उपयोग करने के लिए विंडोज़ के लिए जीएनयू कोरुटिल स्थापित कर सकते हैं।

मुझे लगता है कि मुझे आपके जैसी ही समस्या का सामना करना पड़ा है, लेकिन मैं बिल्कुल नए संस्करण 12 का उपयोग कर रहा हूं। क्या इसे हल करने का कोई तरीका है? संपीड़ित फ़ाइलों का उपयोग करें?

हां, अगर मुझे ठीक से याद है कि संपीड़ित फ़ाइलें <4 जीबी हैं और आप संपीड़ित लोड स्क्रिप्ट (7z या gzip) का उपयोग करके इस त्रुटि से बचते हैं।

ठीक है, मैं अब इस विधि को आजमाऊंगा, आपके उत्तर के लिए बहुत-बहुत धन्यवाद

तो, कंप्रेसिंग या स्प्लिटिंग का उपयोग किए बिना कोई समाधान नहीं? 11, 12 इंजन के लिए Postgresql के COPY कमांड के 10 के संस्करण का उपयोग?
जैसा कि मैंने उल्लेख किया:
मुझे डिफ़ॉल्ट कॉपी कमांड की गति चाहिए लेकिन बड़ी फ़ाइलों के लिए + 12 का संस्करण
और यह मेरी जरूरतों के लिए महत्वपूर्ण है।

खैर, PostgreSQL खुला स्रोत है, इसलिए आप स्वयं को ठीक करने का प्रयास करने और योगदान करने के लिए स्वागत करते हैं :)

यहां प्रासंगिक चर्चा है: https://www.postgresql.org/message-id/20181104000405.GA1743%40paquier.xyz

अन्यथा आपके पास इस थ्रेड में प्रस्तावित तीन वर्कअराउंड हैं (संस्करण बदलें, संपीड़ित फ़ाइलों का उपयोग करें, फ़ाइल को कई भागों में विभाजित करें)। मुझे यकीन है कि अन्य कामकाज भी हैं।

क्या कॉपी कार्यक्षमता के v. 10 के कोड के कार्यशील भाग को 11 और 12 में माइग्रेट करना स्पष्ट नहीं है? या यह इतना हार्डकोडेड है, जो सभी के लिए क्रैश का कारण बनता है? :)

@ghYura यह एक समुदाय बनाए रखा संसाधन है, इसलिए यदि आपके पास कोडबेस में सुधार के लिए सुझाव हैं तो मैं एक पुल अनुरोध करने का सुझाव

मुझे CSV को 12.X और 13.X दोनों संस्करणों में तालिकाओं में लोड करते समय त्रुटि मिल रही थी, लेकिन यह PostgreSQL संस्करण 10.15.4 में एक आकर्षण की तरह काम करता है। मदद के लिए सभी का धन्यवाद :)