Pandas: read_csv (filename_with_asian_locale) falhou em python 3.6 para windows

Criado em 5 jun. 2017  ·  3Comentários  ·  Fonte: pandas-dev/pandas

Código:

Python 3.6.0 |Anaconda 4.3.1 (64-bit)| (default, Dec 23 2016, 11:57:41) [MSC v.1900 64 bit (AMD64)] on win32
>>> pd.__version__
'0.20.1'
>>> import platform
>>> platform.platform()
'Windows-7-6.1.7601-SP1'
>>> import pandas as pd
>>> df = pd.read_csv(r'c:\tmp\中文.csv')
Traceback (most recent call last):
  File "C:\ProgramData\Anaconda3\lib\site-packages\IPython\core\interactiveshell.py", line 2881, in run_code
    exec(code_obj, self.user_global_ns, self.user_ns)
  File "<ipython-input-6-0cd6317422e5>", line 1, in <module>
    df = pd.read_csv(r'c:\tmp\中文.csv')
  File "C:\ProgramData\Anaconda3\lib\site-packages\pandas\io\parsers.py", line 655, in parser_f
    return _read(filepath_or_buffer, kwds)
  File "C:\ProgramData\Anaconda3\lib\site-packages\pandas\io\parsers.py", line 405, in _read
    parser = TextFileReader(filepath_or_buffer, **kwds)
  File "C:\ProgramData\Anaconda3\lib\site-packages\pandas\io\parsers.py", line 762, in __init__
    self._make_engine(self.engine)
  File "C:\ProgramData\Anaconda3\lib\site-packages\pandas\io\parsers.py", line 966, in _make_engine
    self._engine = CParserWrapper(self.f, **self.options)
  File "C:\ProgramData\Anaconda3\lib\site-packages\pandas\io\parsers.py", line 1582, in __init__
    self._reader = parsers.TextReader(src, **kwds)
  File "pandas\_libs\parsers.pyx", line 394, in pandas._libs.parsers.TextReader.__cinit__ (pandas\_libs\parsers.c:4209)
  File "pandas\_libs\parsers.pyx", line 712, in pandas._libs.parsers.TextReader._setup_parser_source (pandas\_libs\parsers.c:8895)
OSError: Initializing from file failed

Descrição do Problema

python 3.6 alterou sys.getfilesystemencoding () para retornar "utf-8" em vez de "mbcs"
ver PEP 529 .

Como consertar

Aqui está o problema: parsers.pyx

if isinstance(source, basestring):
     if not isinstance(source, bytes):
         source = source.encode(sys.getfilesystemencoding() or 'utf-8')

o parâmetro de origem é o nosso nome de arquivo e será codificado para 'utf-8', não 'mbcs' legado em python 3.6
e finalmente passou para open () em io.c: new_file_source
portanto, interpretado como uma string mbcs, portanto, a exceção "Arquivo não encontrado" não é surpresa
talvez esta seja a responsabilidade de cython para python 3.6 lidar com essas coisas usando a versão Unicode da API do Windows,
mas, por enquanto, apenas substituímos sys.getfilesystemencoding () por "mbcs"

Duplicate IO CSV Unicode

Comentários muito úteis

há uma solução alternativa com a velocidade comprometida:
python df = pd.read_csv (r'c: tmp 中文 .csv ', engine =' python ' )

mas é um trabalho sujo modificar cada chamada para read_csv em todos os seus projetos

Todos 3 comentários

há uma solução alternativa com a velocidade comprometida:
python df = pd.read_csv (r'c: tmp 中文 .csv ', engine =' python ' )

mas é um trabalho sujo modificar cada chamada para read_csv em todos os seus projetos

esta é uma duplicata deste: https://github.com/pandas-dev/pandas/issues/15086

há um PR anexado, mas infelizmente ele foi surpreendido.

certamente levaria uma correção para isso.

Não use nomes chineses para o nome do arquivo, mas altere-o para inglês.
NÃO use o chinês no nome do arquivo, altere-o para inglês.

Esta página foi útil?
0 / 5 - 0 avaliações