Pandas: टैब सीमांकित पाठ पढ़ने के लिए DataFrame.to_tsv () के लिए अनुरोध

केवल to_csv(sep='\t') होने के अलावा, to_tsv फ़ंक्शन को डिफ़ॉल्ट उद्धरण को बदलने पर विचार करना चाहिए, क्योंकि tsv फ़ाइलों के लिए उद्धरण कम आवश्यक है।

पांडा एपीआई पहले से ही शायद ही कभी इस्तेमाल की जाने वाली सुविधा विधियों की अधिकता से भरा हुआ है। मैं वास्तव में नहीं सोचता कि एक और जोड़ना एक अच्छा विचार है।

मैं यहां @shoyer से सहमत हूं। to_csv के भीतर ऐसा करने के लिए सभी कार्यक्षमताएं हैं, और यह देखते हुए कि हमारे पास पहले से ही कई विधियां हैं, मुझे लगता है कि एक नया जोड़ने का कारण अन्य डिफ़ॉल्ट प्रदान करने में सक्षम होने से अधिक मजबूत होना चाहिए।

मैं इसे बंद कर रहा हूं (हमारे पास बहुत सारे खुले मुद्दे हैं ..), लेकिन जरूरत पड़ने पर चर्चा निश्चित रूप से जारी रह सकती है।

+1। व्यवसायी के रूप में, मैं to_tab चीनी की अत्यधिक सराहना करूंगा।

मुझे लगता है कि एक नया जोड़ने का कारण अन्य डिफ़ॉल्ट प्रदान करने में सक्षम होने से अधिक मजबूत होना चाहिए।

आईएमओ सुविधा उचित औचित्य है (लोग कई टेक्स्ट फाइलें लिखते हैं, इसलिए to_csv को लगातार पैरामीटर के साथ पूरक होना पड़ता है)।

हालांकि, मेरी मुख्य प्रेरणा सीएसवी प्रारूप के लिए एक तिरस्कार है। मुझे यह देखकर दुख होता है कि लोग अभी भी TSV पर CSV का उपयोग कर रहे हैं। स्पष्ट रूप से एक्सेल/डेटाबेस समर्थन की भूमिका है। लेकिन पांडा जैसी परियोजना को सर्वोत्तम प्रथाओं को लागू करने में सबसे आसान बनाने का प्रयास करना चाहिए।

हालांकि यह वर्तमान में मेरे लिए एक प्रमुख मुद्दा नहीं है, csv यूएस/राष्ट्रमंडल प्रतिनिधित्व-केंद्रित और अंतरराष्ट्रीय स्तर पर अनजान है। UTF और अंतर्राष्ट्रीयकरण की स्वीकृति के सभी पाइथोनिक दर्शन के साथ, टैब-पृथक को csv / अर्धविराम-sv पर प्राथमिकता दी जानी चाहिए।

जबकि मैं @shoyer द्वारा सामने रखी गई भावना को समझ सकता हूं, मैं @dhimmel से सहमत हूं। यह मेरा अनुभव है कि सीएसवी की तुलना में टीएसवी डेटा विश्लेषण के लिए एक मानक प्रारूप से कहीं अधिक है। ऐसे कई उपयोग मामले हैं जहां टीएसवी प्रारूप एक आवश्यकता है, जबकि मैं सीएसवी प्रारूप के लिए किसी से परिचित नहीं हूं ( यहां सामान्य उपयोग के कुछ उदाहरण हैं)। TSV का एक फायदा यह भी है कि कच्चा पाठ आसानी से पठनीय है, और @dhimmel द्वारा बताए गए उद्धरण के साथ मुद्दों से बचा जाता है।

मैं केवल to_tsv जोड़ने का थोड़ा विरोध कर रहा हूं। मेरे अनुभव में (यूएस में) सीएसवी टीएसवी (कम से कम फ़ाइल प्रारूप के नाम पर) से अधिक आम है, लेकिन केवल थोड़ा सा। इसके लिए to_tsv का मुख्य गुण यह है कि नाम इसे तुरंत स्पष्ट कर देता है कि यह क्या करता है।

सीएसवी और टीएसवी दोनों अच्छी तरह से समर्थित हैं और डेटा विज्ञान में व्यापक रूप से उपयोग किए जाते हैं। सीएसवी एक विरासत प्रारूप से अधिक है, इस प्रकार कई पिछड़े-केंद्रित परियोजनाएं सीएसवी के लिए डिफ़ॉल्ट हैं। हालाँकि, मुझे लगता है कि आगे-केंद्रित परियोजनाओं को TSV के लिए डिफ़ॉल्ट होना चाहिए, क्योंकि यह डेटा विज्ञान के लिए बेहतर है। चूंकि पांडा में कोई डिफ़ॉल्ट to_text_delimited_file आउटपुट फ़ंक्शन नहीं है, to_csv वास्तविक डिफ़ॉल्ट है। चूंकि अधिकांश उपयोगकर्ता मैन्युअल रूप से sep='\t' निर्दिष्ट करने के लिए पर्याप्त परवाह नहीं करते हैं, पांडा टीएसवी पर सीएसवी के प्रसार में योगदान दे रहे हैं और बेहतर प्रारूप के उदय में देरी कर रहे हैं।

कृपया इस मामले पर मेरी अज्ञानता के लिए क्षमा करें, लेकिन एक मानव के रूप में पढ़ने में आसान होने के अलावा, यदि और केवल यदि कॉलम हेडर में उनके संबंधित डेटा के समान वर्ण होते हैं जो हमेशा ऐसा नहीं होता है, तो CSV पर TSV क्या लाभ प्रदान करता है? ईमानदारी से उत्सुक अगर दोनों के बीच एक प्रदर्शन अंतर है, मैं अभी TSV का उपयोग करता हूं लेकिन ईमानदारी से केवल इसलिए कि मैं जिस डेटा फ़ाइलों के साथ काम कर रहा हूं वह उस प्रारूप में आई थी इसलिए मैंने उन्हें उसी प्रारूप में छोड़ दिया।

टीएसवी सीएसवी पर क्या लाभ प्रदान करता है?

@ Starkiller4011 टैब स्तंभ डेटा के लिए अधिक प्राकृतिक विभाजक हैं। उन्हें कम उद्धरण की आवश्यकता होती है, क्योंकि मानों में शायद ही कभी टैब होते हैं लेकिन अक्सर अल्पविराम होते हैं।

ईमानदारी से उत्सुक अगर दोनों के बीच एक प्रदर्शन अंतर है

मुझे उम्मीद है कि प्रदर्शन अंतर छोटा है। हालांकि, डेटा विज्ञान में अधिकांश चीजों की तरह, वास्तविक प्रकार का प्रदर्शन जो मायने रखता है वह है प्रोग्रामर दक्षता। और मुझे लगता है कि टीएसवी सीएसवी की तुलना में काम करने के लिए अच्छे हैं।

हर कोई इस बात से सहमत नहीं है कि टैब पृथक्करण csv से बेहतर है - उदाहरण के लिए, मैं नहीं।

पायथन प्रोग्रामर के रूप में, हम जानते हैं कि व्हाट्सएप हमेशा कॉपी और पेस्ट करने जैसे विभिन्न कार्यों में संरक्षित नहीं होता है। हम में से जो SO पर बहुत सारे सवालों के जवाब देते हैं, उदाहरण के लिए, नियमित रूप से sep="\s\s+" का उपयोग टेक्स्ट को पार्स करने के लिए करना पड़ता है, जिसे लोगों ने व्हाइटस्पेस से अलग किए गए प्रारूप में डंप किया है, और हमें उम्मीद है कि उन्होंने पर्याप्त जगह डाल दी है काम करने के लिए कॉलम के बीच। अगर वे अल्पविराम, या अर्धविराम, या पाइप, या कुछ और का उपयोग कर रहे थे, तो यह कोई समस्या नहीं होगी। (और मैंने सिर्फ कैरेट के बारे में सोचा था, जो कुछ क्षेत्रों में काफी व्यापक रूप से उपयोग किया जाता था।)

अगर हम कुछ लोगों को खुश करने के लिए to_tsv उपनाम जोड़ना चाहते हैं, तो ठीक है। लेकिन आइए यह ढोंग न करें कि जब आप इसके साथ काम कर रहे हों तो TSV का अपना सिरदर्द नहीं होता है, और केवल एक ही फायदा जो मैं सोच सकता हूं वह है कम उद्धरण।

मुझे लगता है कि यह एक कदम पीछे हटने और यह पहचानने के लायक है कि to_csv जैसा एक फ़ंक्शन मूर्खतापूर्ण है, समाधान एक अधिक सामान्य to_table फ़ंक्शन होना चाहिए जिसके लिए एक सीमांकक निर्दिष्ट करने की आवश्यकता होती है, और कौन सा to_csv बस एक सुविधाजनक आवरण है। आर में यह कार्यक्षमता write.table() फ़ंक्शन में है, जो अधिक समझ में आता है।

रिकॉर्ड के लिए, मुझे लगता है कि सीएसवी और टीएसवी दोनों और स्वीकार्य और अच्छे प्रारूप हैं। उन दोनों का समर्थन किया जाना चाहिए। @ dsm054 गैर-व्हाट्सएप सीमांकक के लिए कुछ सम्मोहक लाभ लाता है।

मेरी राय में एक बड़ा मुद्दा .csv विस्तार का अंधाधुंध उपयोग करना है (उदाहरण के लिए जब TSV का जिक्र हो)। https://github.com/pandas-dev/pandas/pull/14587 पर चर्चा देखें। मैं @stevekm से सहमत हूं कि to_table एक सामान्य कार्य होना चाहिए जहां आपको अपना सीमांकक निर्दिष्ट करना चाहिए, जबकि to_csv या to_tsv को उन मानकों पर ध्यान देना चाहिए। इस बारे में पीछे की ओर संगत में जाने से कुछ पूर्वाभास हो जाएगा। लेकिन कम से कम पांडा 2 को रीडर की तर्ज पर फ़ंक्शन नामों पर विचार करना चाहिए।

R + tidyverse/readr से आने वाले पांडा डेटाफ़्रेम का उपयोग करना शुरू करना और पहली चीज़ जिससे मैं नकारात्मक रूप से प्रभावित हुआ, वह है लगातार पढ़ने/लिखने के तरीकों की कमी:

read_csv ()/write_csv (): अल्पविराम से अलग (CSV) फ़ाइलें
read_tsv ()/write_tsv (): टैब से अलग की गई फाइलें
read_delim ()/write_delim (): सामान्य सीमांकित फ़ाइलें
read_fwf ()/write_fwf (): निश्चित चौड़ाई वाली फ़ाइलें
read_table ()/write_table (): सारणीबद्ध फ़ाइलें जहां कॉलम को सफेद-स्थान द्वारा अलग किया जाता है।
read_log ()/write_log (): वेब लॉग फ़ाइलें

20 वर्षों में जीनोमिक्स में डेटा साइंस करते हुए मुझे कभी भी एक सीएसवी फ़ाइल का सामना नहीं करना पड़ा, अधिकांश डेटा tsv (या व्हाइट-स्पेस सीमांकित) प्रारूप में मौजूद है। एक tsv (या व्हाइट-स्पेस सीमांकित) फ़ाइल लिखने के लिए df.to_csv() का उपयोग करके sep और उद्धरण तर्क निर्दिष्ट करना कम से कम कहने के लिए असुविधाजनक है।

टैब-सीमांकित फ़ाइलों के लिए df.read_tsv() df.to_tsv() और व्हाइट-स्पेस सीमांकित फ़ाइलों के लिए df.read_table() df.to_table() होना R से पांडा में आने वाले लोगों के लिए बहुत मददगार होगा।

पांडा के रूप में 0.24, read_table अब पदावनत कर दिया गया है (देखें https://github.com/pandas-dev/pandas/issues/21948 / https://github.com/pandas-dev/pandas/pull/ 21954). चूंकि मैं read_table की कमी के विकल्प के रूप में $# read_tsv 1$#$ का उपयोग कर रहा हूं, अब मुझे कई मिल रहे हैं:

FutureWarning: read_table is deprecated, use read_csv instead, passing sep='\t'.

प्लस साइड पर, read_table read_tsv और to_tsv दोनों कार्यों को जोड़ना अधिक सरल हो जाता है, हालांकि https://github के अनुसार सुविधा कार्यों के खिलाफ ज्वार बदल रहा है