Pandas: 파일 경로에 악센트가있는 파일을 읽을 때 OSError

내 동전 가치가 있습니다. Mac OSX 및 Ubuntu에서 빠르게 사용해 보았습니다.
문제. 아래를 참조하십시오.

이것이 환경 / 플랫폼 문제일까요? LOCALE 가
None.None 합니다. 불행히도 나는 이것을 시도 할 Windows 시스템이 없습니다.
예. 인정 하듯이 당신이 후 본 적이 이유를 설명 할 것
python3.6 및 pandas 0.19.2로 업그레이드하십시오.

참고 : 방금 python3.6으로 virtualenv를 설정하고 pip를 사용하여 pandas 0.19.2를 설치했습니다.

>>> import pandas as pd
>>> pd.read_csv('test_é.txt')
   a  b  c
0  1  2  3
1  4  5  6

pd.show_versions ()의 출력

커밋 : 없음
파이썬 : 3.6.0.final.0
파이썬 비트 : 64
운영체제 : Linux
OS 릴리스 : 4.4.0-57- 일반
컴퓨터 : x86_64
프로세서 : x86_64
byteorder : 조금
LC_ALL : 없음
LANG : en_GB.UTF-8
로컬 : en_GB.UTF-8

판다 : 0.19.2
코 : 없음
핍 : 9.0.1
setuptools : 32.3.1
Cython : 없음
numpy : 1.11.3
scipy : 없음
statsmodels : 없음
xarray : 없음
IPython : 없음
스핑크스 : 없음
patsy : 없음
dateutil : 2.6.0
pytz : 2016.10
blosc : 없음
병목 현상 : 없음
테이블 : 없음
numexpr : 없음
matplotlib : 없음
openpyxl : 없음
xlrd : 없음
xlwt : 없음
xlsxwriter : 없음
lxml : 없음
bs4 : 없음
html5lib : 없음
httplib2 : 없음
apiclient : 없음
sqlalchemy : 없음
pymysql : 없음
psycopg2 : 없음
jinja2 : 없음
boto : 없음
pandas_datareader : 없음

3.6은 Windows의 파일 시스템 인코딩을 ascii에서 utf8로 전환한다고 생각합니다. 그 외에도 3.6 용 Windows에서는 아직 테스트를 사용할 수 없습니다 (필요한 패키지 중 일부는 이제 막 사용 가능하기 때문입니다).

뿡뿡

그래서 3.6에 대한 appveyor (windows)에 대한 빌드 지원을 추가 했으므로 테스트를 밀어서 작동하는지 확인하는 것이 좋습니다.

프로그램이 pd.read_csv (file_path)에서 중지되었을 때도 동일한 문제에 직면했습니다. 파이썬을 3.6으로 업그레이드 한 후의 상황은 저와 비슷합니다 (마지막으로 설치 한 파이썬이 정확히 어떤 버전인지, 아마도 3.5 ...인지 모르겠습니다.).

@jreback 여기서 수정을위한 다음 단계는 무엇입니까?
'날아간'PR에 대해 언급하셨습니다. 그게 무슨 뜻입니까?

Windows를 사용하지 않는 동안 도움을 줄 수 있습니다 (Windows에서 작동하지 않는 코드를 디버깅하는 VM이 ​​있습니다).

BTW, 해결 방법 : 이름 대신 파일 핸들 전달
pd.read_csv(open('test_é.txt', 'r'))
(관련 문제에는 몇 가지 해결 방법이 있지만이 문제는 보지 못했습니다)

@tpietruszka 는 PR에 대한 의견을 참조하십시오 : https://github.com/pandas-dev/pandas/pull/15092 (개인 포크에서 제거되었으며 거의 ​​거기에있었습니다).

기본적으로 wnidows의 py3.6 (다른 파이썬과 비교)에서 경로를 다르게 인코딩해야합니다. 기본적으로 구현해야합니다 : https://docs.python.org/3/whatsnew/3.6.html#pep -529-change-windows-filesystem-encoding-to-utf-8

내 이전 코드 (실행할 수 없음) :

import pandas as pd
import os
file_path='./dict/字典.csv'
df_name = pd.read_csv(file_path,sep=',' )

새 코드 (성공) :

import pandas as pd
import os
file_path='./dict/dict.csv'
df_name = pd.read_csv(file_path,sep=',' )

이 버그는 파일 이름 문제라고 생각합니다.
중국어에서 영어로 파일 이름을 변경하면 지금 실행할 수 있습니다.

누군가가 같은 문제를 겪었 기 때문에 여기에 오면 pandas가 pep 529와 함께 작동하도록 수정 될 때까지 해결책이 있습니다 (기본적으로 비 ASCII 문자는 경로에 있거나 파일 이름에 오류가 발생합니다)

코드 시작 부분에 다음 두 줄을 삽입하여 창에서 경로를 처리하는 이전 방식으로 되돌립니다.

import sys
sys._enablelegacywindowsfsencoding()

위의 솔루션을 사용하고 작동합니다. @fotisj 대단히 감사합니다!
그러나 DataFrame.to_csv ()가 동일한 문제가 발생하지 않는 이유에 대해 여전히 혼란 스럽습니다. 즉, 유니 코드 파일 경로의 경우 쓰기는 괜찮지 만 읽기는 그렇지 않습니다.

path = os.path.join ( 'E : 语料', 'sina.csv')
pd.read_csv (open (path, 'r', encoding = 'utf8'))

성공했습니다.

영향을받는 시스템을 가진 누군가가이 라인을 변경하는지 확인할 수 있습니까?

https://github.com/pandas-dev/pandas/blob/e8620abc12a4c468a75adb8607fd8e0eb1c472e7/pandas/io/common.py#L209

...에

 return _expand_user(os.fsencode(filepath_or_buffer)), None, compression

고쳐?

아니 그렇지 않아.
결과 : OSError : 예상 파일 경로 이름 또는 파일과 유사한 객체,유형
(Windows 10)

    OSError                                   Traceback (most recent call last)
    <ipython-input-2-e8247998d6d4> in <module>()
      1 
----> 2 df = pd.read_csv(r'D:\mydata\Dropbox\uni\progrs\test öäau\n\teu.csv', sep='\t')

C:\conda\lib\site-packages\pandas\io\parsers.py in parser_f(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, escapechar, comment, encoding, dialect, tupleize_cols, error_bad_lines, warn_bad_lines, skipfooter, skip_footer, doublequote, delim_whitespace, as_recarray, compact_ints, use_unsigned, low_memory, buffer_lines, memory_map, float_precision)
    707                     skip_blank_lines=skip_blank_lines)
    708 
--> 709         return _read(filepath_or_buffer, kwds)
    710 
    711     parser_f.__name__ = name

C:\conda\lib\site-packages\pandas\io\parsers.py in _read(filepath_or_buffer, kwds)
    447 
    448     # Create the parser.
--> 449     parser = TextFileReader(filepath_or_buffer, **kwds)
    450 
    451     if chunksize or iterator:

C:\conda\lib\site-packages\pandas\io\parsers.py in __init__(self, f, engine, **kwds)
    816             self.options['has_index_names'] = kwds['has_index_names']
    817 
--> 818         self._make_engine(self.engine)
    819 
    820     def close(self):

C:\conda\lib\site-packages\pandas\io\parsers.py in _make_engine(self, engine)
   1047     def _make_engine(self, engine='c'):
   1048         if engine == 'c':
-> 1049             self._engine = CParserWrapper(self.f, **self.options)
   1050         else:
   1051             if engine == 'python':

C:\conda\lib\site-packages\pandas\io\parsers.py in __init__(self, src, **kwds)
   1693         kwds['allow_leading_cols'] = self.index_col is not False
   1694 
-> 1695         self._reader = parsers.TextReader(src, **kwds)
   1696 
   1697         # XXX

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader.__cinit__()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._setup_parser_source()

OSError: Expected file path name or file-like object, got <class 'bytes'> type

아, 죄송합니다. fsdecode가 거기에서 작동합니까?

보낸 사람 : Fotis Jannidis [email protected]
전송 : 2018 년 2 월 3 일 토요일 오전 8:00:13
받는 사람 : pandas-dev / pandas
참조 : Tom Augspurger; 논평
제목 : Re : [pandas-dev / pandas] 파일 경로에 악센트가있는 파일을 읽을 때 OSError 발생 (# 15086)

아니 그렇지 않아.
결과 : OSError : 예상 파일 경로 이름 또는 파일과 유사한 객체,유형

—
댓글을 달았 기 때문에 수신 한 것입니다.
이 이메일에 직접 답장하거나 GitHub https://github.com/pandas-dev/pandas/issues/15086#issuecomment-362809602 에서 보거나 https://github.com/notifications/unsubscribe-auth/ 스레드를 음소거합니다.

아니요. fsdecode를 사용하면 원래 있었던 것과 동일한 오류가 발생합니다 ( error_msg.txt ).

시도해 주셔서 감사합니다.

보낸 사람 : Fotis Jannidis [email protected]
전송 : 2018 년 2 월 3 일 토요일 오전 8:57:07
받는 사람 : pandas-dev / pandas
참조 : Tom Augspurger; 논평
제목 : Re : [pandas-dev / pandas] 파일 경로에 악센트가있는 파일을 읽을 때 OSError 발생 (# 15086)

아니요. fsdecode를 사용하면 원래 있었던 것과 동일한 오류가 발생합니다 (error_msg.txt https://github.com/pandas-dev/pandas/files/1691837/error_msg.txt )

—
댓글을 달았 기 때문에 수신 한 것입니다.
이 이메일에 직접 답장하거나 GitHub https://github.com/pandas-dev/pandas/issues/15086#issuecomment-362818153 에서 보거나 https://github.com/notifications/unsubscribe-auth/ 스레드를 음소거합니다.

오늘 스티브 결혼 지참금과 이야기, 그는이 문제가 줄 수 있습니다 의심 : https://github.com/pandas-dev/pandas/blob/e8f206d8192b409bc39da1ba1b2c5bcd8b65cc9f/pandas/_libs/src/parser/io.c#L30

IIUC, Windows 파일 시스템 API는 이러한 바이트가 MBCS에있을 것으로 예상하지만 우리는 utf-8을 사용하고 있습니다.

사용자 수준의 해결 방법은 pandas에 바이트 문자열을 전달하기 전에 파일 이름을 mbcs로 명시 적으로 인코딩하는 것입니다. https://www.python.org/dev/peps/pep-0529/#explicitly -using-mbcs

pd.read_csv(filename.encode('mbcs'))

누구든지 그 해결 방법을 테스트 할 수 있습니까?

이 문제를 해결하기 위해 파서 코드에 약간의 변경이 필요하지만 (PR이이 작업을 수행했습니다) 삭제되었습니다.

작동하지 않는 @TomAugspurger . read_csv는 bytes 값이 아니라 str 예상합니다. 그것은 실패합니다

OSError: Expected file path name or file-like object, got <class 'bytes'> type

확인해 주셔서 감사합니다.

2018 년 4 월 20 일 금요일 오후 3:43, João D. Ferreira [email protected]
썼다 :

@TomAugspurger https://github.com/TomAugspurger 작동하지 않습니다.
read_csv는 바이트 값이 아닌 str을 예상합니다. 그것은 실패합니다

OSError : 예상되는 파일 경로 이름 또는 파일과 유사한 객체입니다.유형

—
당신이 언급 되었기 때문에 이것을 받고 있습니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/pandas-dev/pandas/issues/15086#issuecomment-383217062 ,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/ABQHIiOHyt3sT7B0pHJuY5lB-cJtT5JHks5tqkiEgaJpZM4LeTSB
.

핑만하세요-같은 문제가 있습니다. 해결 방법을 사용하고 있지만 필요하지 않은 경우에는 좋을 것입니다.

커뮤니티 패치가 필요합니다

이 문제가 발생했습니다. 나는 patchc를 시도하고 기여하고 싶다 이것을 수정하는 방법에 대한 포인터가 있습니까?

나는 이것을 재현 할 수있는 시스템에 접근 할 수있는 관리자가 없다고 생각한다.

아마도이 문제의 다른 일부는 해결책을 모으는 데 도움이 될 수 있습니다.

안녕하세요, 지금 pandas 1.0.3 에서이 문제가 발생했으며 sys._enablelegacywindowsfsencoding() 해결 방법이 작동을 멈췄습니다. 파일 경로에 ą 및 ź 가 있습니다.
이 오류는 pandas 0.25.3 하지만 0.23.4 는 해결 방법을 사용할 때 제대로 작동하는 것 같습니다 (다른 버전은 확인하지 않았습니다). 추가 정보를 제공해 드리겠습니다.

파일이 파일과 동일한 폴더 이름에 저장된 경우, 같은 폴더 이름에서 파일을 제거하십시오.
해당 폴더에서 파일을 제거하기 만하면됩니다.
동일한 폴더 이름에 파일을 저장하지 마십시오.
그러면 작동합니다

@pranjulknit 내가 이해한다면 경로에 이러한 문제가있는 문자가없는 폴더로 파일을 이동하는 것이 좋습니다. 이것이 항상 가능한 것은 아닙니다. 폴더 이름과 파일 이름이 달라야한다고 제안하는 경우-이것은 여기에 설명 된 문제가 아니므로 문제가 없었습니다.

실제로 jupyter 노트북에서 csv 파일을 읽는 동안이 문제가 있습니다.