Pandas: Windows용 Python 3.6에서 read_csv(filename_with_asian_locale)가 실패했습니다.

암호:

Python 3.6.0 |Anaconda 4.3.1 (64-bit)| (default, Dec 23 2016, 11:57:41) [MSC v.1900 64 bit (AMD64)] on win32
>>> pd.__version__
'0.20.1'
>>> import platform
>>> platform.platform()
'Windows-7-6.1.7601-SP1'
>>> import pandas as pd
>>> df = pd.read_csv(r'c:\tmp\中文.csv')
Traceback (most recent call last):
  File "C:\ProgramData\Anaconda3\lib\site-packages\IPython\core\interactiveshell.py", line 2881, in run_code
    exec(code_obj, self.user_global_ns, self.user_ns)
  File "<ipython-input-6-0cd6317422e5>", line 1, in <module>
    df = pd.read_csv(r'c:\tmp\中文.csv')
  File "C:\ProgramData\Anaconda3\lib\site-packages\pandas\io\parsers.py", line 655, in parser_f
    return _read(filepath_or_buffer, kwds)
  File "C:\ProgramData\Anaconda3\lib\site-packages\pandas\io\parsers.py", line 405, in _read
    parser = TextFileReader(filepath_or_buffer, **kwds)
  File "C:\ProgramData\Anaconda3\lib\site-packages\pandas\io\parsers.py", line 762, in __init__
    self._make_engine(self.engine)
  File "C:\ProgramData\Anaconda3\lib\site-packages\pandas\io\parsers.py", line 966, in _make_engine
    self._engine = CParserWrapper(self.f, **self.options)
  File "C:\ProgramData\Anaconda3\lib\site-packages\pandas\io\parsers.py", line 1582, in __init__
    self._reader = parsers.TextReader(src, **kwds)
  File "pandas\_libs\parsers.pyx", line 394, in pandas._libs.parsers.TextReader.__cinit__ (pandas\_libs\parsers.c:4209)
  File "pandas\_libs\parsers.pyx", line 712, in pandas._libs.parsers.TextReader._setup_parser_source (pandas\_libs\parsers.c:8895)
OSError: Initializing from file failed

문제 설명

python 3.6은 "mbcs" 대신 "utf-8"을 반환하도록 sys.getfilesystemencoding()을 변경했습니다.
PEP 529를 참조하십시오.

어떻게 고치는 지

여기 문제가 있습니다: parsers.pyx

if isinstance(source, basestring):
     if not isinstance(source, bytes):
         source = source.encode(sys.getfilesystemencoding() or 'utf-8')

소스 매개변수는 파일 이름이며 python 3.6의 레거시 'mbcs'가 아닌 'utf-8'로 인코딩됩니다.
마지막으로 io.c:new_file_source의 open()에 전달
따라서 mbcs 문자열로 해석되므로 "파일을 찾을 수 없음" 예외가 발생하지 않습니다.
아마도 이것은 python 3.6이 Windows API의 유니코드 버전을 사용하여 이러한 것들을 처리하기 위한 cython의 책임이어야 합니다.
하지만 지금은 sys.getfilesystemencoding()을 "mbcs"로 대체합니다.