Pandas: OSError जब फ़ाइल पथ में लहजे के साथ फ़ाइल पढ़ते हैं

बस मेरे पैसे लायक हैं। मैक ओएसएक्स और उबंटू पर जल्दी से इसे बाहर करने की कोशिश की
समस्या। निचे देखो।

क्या यह पर्यावरण / मंच की समस्या हो सकती है? मैंने देखा कि LOCALE है
None.None सेट है। दुर्भाग्य से मेरे पास यह कोशिश करने के लिए एक विंडोज़ मशीन नहीं है
उदाहरण दें। बेशक यह समझाने नहीं होगा आप के बाद यह देखा है क्यों
python3.6 और पांडा 0.19.2 में अपग्रेड।

नोट: मैंने अभी एक virtualenv को python3.6 के साथ सेट किया है और पाइप का उपयोग करके 0.19.2 पांडा स्थापित किया है।

>>> import pandas as pd
>>> pd.read_csv('test_é.txt')
   a  b  c
0  1  2  3
1  4  5  6

Pd.show_versions () का आउटपुट

प्रतिबद्ध: कोई नहीं
अजगर: 3.6.0.final.0
पायथन-बिट्स: 64
ओएस: लिनक्स
ओएस-रिलीज़: 4.4.0-57-जेनेरिक
मशीन: x86_64
प्रोसेसर: x86_64
बाइटऑर्डर: थोड़ा
LC_ALL: कोई नहीं
लैंग: en_GB.UTF-8
LOCALE: en_GB.UTF-8

पांडा: 0.19.2
नाक: कोई नहीं
पाइप: 9.0.1
सेटप्टूल: 32.3.1
साइथन: कोई नहीं
सुन्न: 1.11.3
डरपोक: कोई नहीं
सांख्यिकीमॉडल: कोई नहीं
xarray: कोई नहीं
IPython: कोई नहीं
स्फिंक्स: कोई नहीं
patsy: कोई नहीं
दिनांक: 2.6.0
pytz: 2016.10
ब्लॉस्क: कोई नहीं
अड़चन: कोई नहीं
टेबल: कोई नहीं
numexpr: कोई नहीं
matplotlib: कोई नहीं
openpyxl: कोई नहीं
xlrd: कोई नहीं
xlwt: कोई नहीं
xlsxwriter: कोई नहीं
lxml: कोई नहीं
bs4: कोई नहीं
html5lib: कोई नहीं
canplib2: कोई नहीं
उदासीन: कोई नहीं
शल्कलचेमी: कोई नहीं
pymysql: कोई नहीं
मानस 2: कोई नहीं
jinja2: कोई नहीं
बोटो: कोई नहीं
pandas_datareader: कोई नहीं

मेरा मानना ​​है कि 3.6 फ़ाइल सिस्टम एन्कोडिंग को विंडोज़ पर स्विच करता है utf8 (ascii से)। इसके अलावा हमारे पास अभी तक 3.6 के लिए विंडोज़ पर परीक्षण सक्षम नहीं है (क्योंकि कुछ आवश्यक पैकेज अभी उपलब्ध हो रहे हैं)।

@ जैगटीन

इसलिए मैंने सिर्फ 3.6 के लिए ऐपवॉर (विंडोज़) पर बिल्ड सपोर्ट जोड़ा है, इसलिए यदि आप यह देखने के लिए अपने परीक्षणों को बढ़ाएंगे कि यह काम करता है, तो यह बहुत अच्छा होगा।

जब pd.read_csv (file_path) पर कार्यक्रम बंद हुआ तो मुझे भी उसी समस्या का सामना करना पड़ा। स्थिति मेरे समान है जब मैंने अपने अजगर को 3.6 में अपग्रेड किया था (मुझे यकीन नहीं है कि पिछली बार मैंने जो अजगर स्थापित किया था वह वास्तव में संस्करण है, शायद 3.5 ......)।

@jreback यहाँ एक फिक्स की ओर अगला कदम क्या है?
आपने एक पीआर का उल्लेख किया है जिसे 'उड़ा दिया गया' - इसका क्या मतलब है?

जब मैं विंडोज का उपयोग नहीं करता हूं, तो मैं मदद करने की कोशिश कर सकता हूं (बस अपने कोड के एक टुकड़े को डिबग करने के लिए वीएम मिला जो स्पष्ट रूप से खिड़कियों पर नहीं होता है)

BTW, एक वर्कअराउंड: एक नाम के बजाय एक फ़ाइल हैंडल पास करें
pd.read_csv(open('test_é.txt', 'r'))
(संबंधित मुद्दों में कई वर्कअराउंड हैं, लेकिन मैंने इसे नहीं देखा है)

@tpietruszka पीआर पर टिप्पणियाँ देखें: https://github.com/pandas-dev/pandas/pull/15092 (यह एक निजी कांटा से हटा दिया गया था, बहुत ज्यादा था)।

आपको मूल रूप से wnidows पर py3.6 (बनाम अन्य अजगर) पर अलग-अलग रास्तों को एनकोड करना होगा। मूल रूप से लागू करने की आवश्यकता है: https://docs.python.org/3/whatsnew/3.6.html#pep -529-change-windows-filesystem-एन्कोडिंग- utf-8

मेरा पुराना कोड (नहीं चल सकता):

import pandas as pd
import os
file_path='./dict/字典.csv'
df_name = pd.read_csv(file_path,sep=',' )

नया कोड (पर्याप्त):

import pandas as pd
import os
file_path='./dict/dict.csv'
df_name = pd.read_csv(file_path,sep=',' )

मुझे लगता है कि यह बग फ़ाइल नाम समस्या है।
मैं चीनी से फ़ाइल नाम को अंग्रेजी में बदलता हूं, यह अब चल सकता है।

अगर कोई भी मेरी तरह यहां आता है, क्योंकि वह / वह एक ही समस्या से टकराते हैं, तो यहां एक समाधान है जब तक कि पांडा 529 पीएपी के साथ काम करने के लिए तय नहीं किया जाता है (मूल रूप से आपके मार्ग में कोई भी गैर-एएससीआई चार्ट होगा या फ़ाइल नाम त्रुटियों में परिणाम होगा):

खिड़कियों पर पथों को संभालने के पुराने तरीके पर वापस लौटने के लिए अपने कोड की शुरुआत में निम्नलिखित दो लाइनें डालें:

import sys
sys._enablelegacywindowsfsencoding()

मैं उपरोक्त समाधान का उपयोग करता हूं और यह काम करता है। बहुत बहुत धन्यवाद @fotisj !
हालाँकि मैं अभी भी उलझन में हूं कि DataFrame.to_csv () में समान समस्या क्यों नहीं होती है। दूसरे शब्दों में, यूनिकोड फ़ाइल पथ के लिए, लिखना ठीक है, जबकि पढ़ा नहीं है।

पथ = os.path.join ('E: \,', 'sina.csv')
pd.read_csv (खुला (पथ, 'r', एन्कोडिंग = 'utf8'))

यह सफल है।

इस लाइन को बदलने पर क्या कोई प्रभावित सिस्टम की जांच कर सकता है

https://github.com/pandas-dev/pandas/blob/e8620abc12a4c468a75adb8607fd8e0eb1c472e7/pandas/io-common.py#L209

सेवा

 return _expand_user(os.fsencode(filepath_or_buffer)), None, compression

इसे ठीक करता है?

नहीं, यह नहीं है।
परिणाम: OSError: अपेक्षित फ़ाइल पथ नाम या फ़ाइल जैसी ऑब्जेक्ट, मिलाप्रकार
(विंडोज 10 पर)

    OSError                                   Traceback (most recent call last)
    <ipython-input-2-e8247998d6d4> in <module>()
      1 
----> 2 df = pd.read_csv(r'D:\mydata\Dropbox\uni\progrs\test öäau\n\teu.csv', sep='\t')

C:\conda\lib\site-packages\pandas\io\parsers.py in parser_f(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, escapechar, comment, encoding, dialect, tupleize_cols, error_bad_lines, warn_bad_lines, skipfooter, skip_footer, doublequote, delim_whitespace, as_recarray, compact_ints, use_unsigned, low_memory, buffer_lines, memory_map, float_precision)
    707                     skip_blank_lines=skip_blank_lines)
    708 
--> 709         return _read(filepath_or_buffer, kwds)
    710 
    711     parser_f.__name__ = name

C:\conda\lib\site-packages\pandas\io\parsers.py in _read(filepath_or_buffer, kwds)
    447 
    448     # Create the parser.
--> 449     parser = TextFileReader(filepath_or_buffer, **kwds)
    450 
    451     if chunksize or iterator:

C:\conda\lib\site-packages\pandas\io\parsers.py in __init__(self, f, engine, **kwds)
    816             self.options['has_index_names'] = kwds['has_index_names']
    817 
--> 818         self._make_engine(self.engine)
    819 
    820     def close(self):

C:\conda\lib\site-packages\pandas\io\parsers.py in _make_engine(self, engine)
   1047     def _make_engine(self, engine='c'):
   1048         if engine == 'c':
-> 1049             self._engine = CParserWrapper(self.f, **self.options)
   1050         else:
   1051             if engine == 'python':

C:\conda\lib\site-packages\pandas\io\parsers.py in __init__(self, src, **kwds)
   1693         kwds['allow_leading_cols'] = self.index_col is not False
   1694 
-> 1695         self._reader = parsers.TextReader(src, **kwds)
   1696 
   1697         # XXX

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader.__cinit__()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._setup_parser_source()

OSError: Expected file path name or file-like object, got <class 'bytes'> type

मुझे माफ करें। Fsdecode वहाँ काम करता है?

प्रेषक: फोटिस जानिदिस नोटिफिकेशन @github.com
प्रेषित: शनिवार, 3 फरवरी, 2018 8:00:13 पूर्वाह्न
को: पंडों-देव / पंडों को
Cc: टॉम ऑग्सपर्गर; टिप्पणी
विषय: पुन: [पंडों-देव / पंडों] OSError जब फ़ाइल पथ में उच्चारण के साथ फ़ाइल पढ़ते हैं (# १५० path६)

नहीं, यह नहीं है।
परिणाम: OSError: अपेक्षित फ़ाइल पथ नाम या फ़ाइल जैसी ऑब्जेक्ट, मिलाप्रकार

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपने टिप्पणी की है।
इस ईमेल का उत्तर सीधे दें, इसे GitHub https://github.com/pandas-dev/pandas/issues/15086#issuecomment-362809602 पर https: // github-notifications / पर म्यूट करें ABQHIplv8thHxpjsP3knUCpET0Fjy0kLks5tRGZsgaJpZM4LeTSB ।

सं। Fsdecode का उपयोग करने से वही त्रुटि उत्पन्न होती है जो हमारे पास मूल रूप से थी ( error_msg.txt )

कोशिश करने के लिए ठीक है धन्यवाद।

प्रेषक: फोटिस जानिदिस नोटिफिकेशन @github.com
प्रेषित: शनिवार, 3 फरवरी, 2018 8:57:07 पूर्वाह्न
को: पंडों-देव / पंडों को
Cc: टॉम ऑग्सपर्गर; टिप्पणी
विषय: पुन: [पंडों-देव / पंडों] OSError जब फ़ाइल पथ में उच्चारण के साथ फ़ाइल पढ़ते हैं (# १५० path६)

सं। Fsdecode का उपयोग करने से वही त्रुटि उत्पन्न होती है जो हमारे पास मूल रूप से थी (error_msg.txt https://github.com/pandas-dev/pandas/files/1691837/error_msg.txt )

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपने टिप्पणी की है।
इस ईमेल का उत्तर सीधे दें, इसे GitHub https://github.com/pandas-dev/pandas/issues/15086#issuecomment-362818153 पर https://github.com/hi आईयत / unsubscribe-auth करें ABQHIpeYsj9Bv3OsoHAsOufXzU3AYSBSks5tRHPCgaJpZM4LeTSB ।

स्टीव डावर के साथ आज बात की गई, और उन्हें संदेह है कि यह समस्याग्रस्त रेखा हो सकती है: https://github.com/pandas-dev/pandas/blob/e8f206d8192b409bc39da1ba2b2b5bcd8b65cc9f/pandas/_libs/src/parser.parser

IIUC, Windows filesystem API उन बाइट्स की MBCS में होने की उम्मीद कर रहा है, लेकिन हम utf-8 का उपयोग कर रहे हैं।

उपयोक्ता के पैंडस को पास करने से पहले एक उपयोगकर्ता-स्तर का समाधान स्पष्ट रूप से आपके फ़ाइल नाम को एनकोड करना है। https://www.python.org/dev/peps/pep-0529/#explicitly -using-mbcs

pd.read_csv(filename.encode('mbcs'))

किसी को भी उस समाधान का परीक्षण करने में सक्षम है?

इसे ठीक करने के लिए बस पार्सर कोड में एक छोटे से बदलाव की आवश्यकता है (एक पीआर ऐसा कर रहा था) लेकिन हटा दिया गया था

@TomAugspurger जो काम नहीं करता है। read_csv एक str अपेक्षा करता है और bytes मूल्य का नहीं। यह विफल रहता है

OSError: Expected file path name or file-like object, got <class 'bytes'> type

जाँच के लिए धन्यवाद।

शुक्र पर, अप्रैल 20, 2018 को दोपहर 3:43 बजे, जोआओ डी। फरेरा सूचनाएं @github.com
लिखा था:

@TomAugspurger https://github.com/TomAugspurger जो काम नहीं करता है।
read_csv एक str की अपेक्षा करता है और बाइट का नहीं। यह विफल रहता है

OSError: अपेक्षित फ़ाइल पथ नाम या फ़ाइल जैसी ऑब्जेक्ट, मिलाप्रकार

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपका उल्लेख किया गया था।
इस ईमेल का उत्तर सीधे दें, इसे GitHub पर देखें
https://github.com/pandas-dev/pandas/issues/15086#issuecomment-383217067 ,
या धागा म्यूट करें
https://github.com/notifications/unsubscribe-auth/ABQHIiOHyt3sT7B0pHJuY5lB-cJtT5JHks5tqkiEgaJpZM4eeTSB
।

बस इसे पिंग करना - मेरे पास एक ही मुद्दा है, मैं एक वर्कअराउंड का उपयोग कर रहा हूं लेकिन यह बहुत अच्छा होगा यदि इसकी आवश्यकता नहीं है।

यह एक सामुदायिक पैच की जरूरत है

मैं इस मुद्दे का सामना कर रहा हूं। मैं एक पैच बनाने की कोशिश और योगदान करना चाहता हूं किसी भी संकेत को कैसे ठीक करना शुरू करना है?

मुझे लगता है कि किसी भी अनुचर के पास ऐसी प्रणाली तक पहुंच नहीं है जो इसे पुन: उत्पन्न कर सके।

शायद इस मुद्दे में कुछ अन्य लोग एक साथ एक समाधान डाल सकते हैं।

नमस्ते, मुझे पंडों 1.0.3 अब यह समस्या है और sys._enablelegacywindowsfsencoding() वर्कआउट ने काम करना बंद कर दिया है। मेरे पास ą और ź फ़ाइल पथ में है।
मुझे यह त्रुटि पंडों 0.25.3 पर भी मिलती है, लेकिन 0.23.4 वर्कअराउंड का उपयोग करते समय ठीक काम करने लगती है (मैंने अन्य संस्करणों की जांच नहीं की)। मुझे कोई अतिरिक्त जानकारी प्रदान करने में खुशी होगी।

यदि आपकी फ़ाइल फ़ाइल के समान फ़ोल्डर नाम में संग्रहीत है, तो उसी फ़ोल्डर नाम से फ़ाइल निकालें।
बस उस फोल्डर से फाइल को हटा दें।
फ़ाइल को समान फ़ोल्डर नाम में संग्रहीत न करें।
फिर, यह काम करता है

@pranjulknit यदि मैं समझता हूं कि आप पथ में इन समस्याग्रस्त वर्णों के बिना फ़ाइल को फ़ोल्डर में स्थानांतरित करने का सुझाव देते हैं। यह हमेशा संभव नहीं है। यदि आप सुझाव देते हैं कि फ़ोल्डर के नाम और फ़ाइल नाम अलग-अलग होने चाहिए - यह वह समस्या नहीं है जिसका वर्णन यहाँ किया गया है, मुझे कभी भी इससे कोई समस्या नहीं थी।

दरअसल, मुझे jupyter नोटबुक से सीएसवी फ़ाइल पढ़ते समय यह समस्या है।