Pandas: read_csv C- इंजन CParserError: डेटा टोकन में त्रुटि

को निर्मित 22 सित॰ 2015 · 15टिप्पणियाँ · स्रोत: pandas-dev/pandas

नमस्ते,

मैंने एक डेटासेट का सामना किया है जहाँ C- इंजन read_csv की समस्याएँ हैं। मैं सटीक मुद्दे के बारे में अनिश्चित हूं लेकिन मैंने इसे एक पंक्ति में सीमित कर दिया है जिसे मैंने चुना है और इसे ड्रॉपबॉक्स पर अपलोड किया है । यदि आप अचार प्राप्त करते हैं तो निम्नलिखित प्रयास करें:

df = pd.read_pickle('faulty_row.pkl')
df.to_csv('faulty_row.csv', encoding='utf8', index=False)
df.read_csv('faulty_row.csv', encoding='utf8')

मुझे निम्नलिखित अपवाद मिले:

CParserError: Error tokenizing data. C error: Buffer overflow caught - possible malformed input file.

यदि आप अजगर इंजन का उपयोग करके CSV को आज़माते और पढ़ते हैं तो कोई अपवाद नहीं है:

df.read_csv('faulty_row.csv', encoding='utf8', engine='python')

यह सुझाव देते हुए कि समस्या read_csv के साथ है न कि to_csv के साथ। मेरे द्वारा उपयोग किए जा रहे संस्करण हैं:

INSTALLED VERSIONS
------------------
commit: None
python: 2.7.10.final.0
python-bits: 64
OS: Linux
OS-release: 3.19.0-28-generic
machine: x86_64
processor: x86_64
byteorder: little
LC_ALL: None
LANG: en_GB.UTF-8

pandas: 0.16.2
nose: 1.3.7
Cython: 0.22.1
numpy: 1.9.2
scipy: 0.15.1
IPython: 3.2.1
patsy: 0.3.0
tables: 3.2.0
numexpr: 2.4.3
matplotlib: 1.4.3
openpyxl: 1.8.5
xlrd: 0.9.3
xlwt: 1.0.0
xlsxwriter: 0.7.3
lxml: 3.4.4
bs4: 4.3.2

Bug IO CSV Needs Info

स्रोत

joshlk

👍16 🚀1 ❤1 🎉1

सबसे उपयोगी टिप्पणी

मैं @alfonsomhc उत्तर देने से चूक गया क्योंकि यह सिर्फ एक टिप्पणी की तरह लग रहा था।

आप की जरूरत है

df = pd.read_csv('test.csv', engine='python')

justinjdickow 10 जन॰ 2018

👍43 ❤10 🚀5 🎉5 😄3 👎3 👀1

सभी 15 टिप्पणियाँ

आपकी दूसरी-से-अंतिम पंक्ति में '\r' ब्रेक शामिल हैं। मुझे लगता है कि यह एक बग है, लेकिन एक वर्कअराउंड सार्वभौमिक-नई-लाइन मोड में खोलना है।

pd.read_csv(open('test.csv','rU'), encoding='utf-8', engine='c')

chris-b1 23 सित॰ 2015

👍41

मैं इस त्रुटि का सामना कर रहा हूँ। @ Chris-b1 द्वारा सुझाई गई विधि का उपयोग करने से निम्नलिखित त्रुटि होती है:

Traceback (most recent call last):
  File "C:/Users/je/Desktop/Python/comparison.py", line 30, in <module>
    encoding='utf-8', engine='c')
  File "C:\Program Files\Python 3.5\lib\site-packages\pandas\io\parsers.py", line 498, in parser_f
    return _read(filepath_or_buffer, kwds)
  File "C:\Program Files\Python 3.5\lib\site-packages\pandas\io\parsers.py", line 275, in _read
    parser = TextFileReader(filepath_or_buffer, **kwds)
  File "C:\Program Files\Python 3.5\lib\site-packages\pandas\io\parsers.py", line 590, in __init__
    self._make_engine(self.engine)
  File "C:\Program Files\Python 3.5\lib\site-packages\pandas\io\parsers.py", line 731, in _make_engine
    self._engine = CParserWrapper(self.f, **self.options)
  File "C:\Program Files\Python 3.5\lib\site-packages\pandas\io\parsers.py", line 1103, in __init__
    self._reader = _parser.TextReader(src, **kwds)
  File "pandas\parser.pyx", line 515, in pandas.parser.TextReader.__cinit__ (pandas\parser.c:4948)
  File "pandas\parser.pyx", line 705, in pandas.parser.TextReader._get_header (pandas\parser.c:7386)
  File "pandas\parser.pyx", line 829, in pandas.parser.TextReader._tokenize_rows (pandas\parser.c:8838)
  File "pandas\parser.pyx", line 1833, in pandas.parser.raise_parser_error (pandas\parser.c:22649)
pandas.parser.CParserError: Error tokenizing data. C error: Calling read(nbytes) on source failed. Try engine='python'.

jelmelk 21 फ़र॰ 2016

shaynekang 21 मार्च 2016

👍6

मुझे यह मुद्दा भी मिला है जब एक बड़ी सीएसवी फ़ाइल को डिफ़ॉल्ट एगीन के साथ पढ़ा जाता है। अगर मैं इंजन = 'पायथन' का उपयोग करता हूं तो यह ठीक काम करता है।

alfonsomhc 18 मई 2017

👍36

मैं @alfonsomhc उत्तर देने से चूक गया क्योंकि यह सिर्फ एक टिप्पणी की तरह लग रहा था।

आप की जरूरत है

df = pd.read_csv('test.csv', engine='python')

justinjdickow 10 जन॰ 2018

👍43 ❤10 🚀5 🎉5 😄3 👎3 👀1

एक ही मुद्दा एक फ़ोल्डर को एक csv फ़ाइल नहीं पढ़ने की कोशिश कर रहा था

Vozf 29 सित॰ 2018

👍3

क्या किसी ने इस मुद्दे की जांच की है? यह एक keras जनरेटर में read_csv का उपयोग करते समय प्रदर्शन को मार रहा है।

dgrahn 31 अक्तू॰ 2018

प्रदान किया गया मूल डेटा अब उपलब्ध नहीं है इसलिए समस्या प्रतिलिपि प्रस्तुत करने योग्य नहीं है। बंद करना क्योंकि यह स्पष्ट नहीं है कि मुद्दा क्या है, लेकिन @ डगरन या कोई और यदि आप एक प्रतिलिपि प्रस्तुत करने योग्य उदाहरण प्रदान कर सकते हैं तो हम फिर से खोल सकते हैं

WillAyd 31 अक्तू॰ 2018

@WillAyd अगर आप अतिरिक्त जानकारी की आवश्यकता है मुझे जानते हैं।

चूंकि GitHub CSVs को स्वीकार नहीं करता है, मैंने एक्सटेंशन को .txt में बदल दिया है।
यहां वह कोड है जो अपवाद को ट्रिगर करेगा।

for chunk in pandas.read_csv('debug.csv', chunksize=1000, names=range(2504)):
    pass

यहाँ फ़ाइल है: debug.txt

एनाकोंडा का उपयोग करके विंडोज 10 से अपवाद यहां दिया गया है।

Python 3.6.5 |Anaconda, Inc.| (default, Mar 29 2018, 13:32:41) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import pandas
>>> for chunk in pandas.read_csv('debug.csv', chunksize=1000, names=range(2504)): pass
...
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "D:\programs\anaconda3\lib\site-packages\pandas\io\parsers.py", line 1007, in __next__
    return self.get_chunk()
  File "D:\programs\anaconda3\lib\site-packages\pandas\io\parsers.py", line 1070, in get_chunk
    return self.read(nrows=size)
  File "D:\programs\anaconda3\lib\site-packages\pandas\io\parsers.py", line 1036, in read
    ret = self._engine.read(nrows)
  File "D:\programs\anaconda3\lib\site-packages\pandas\io\parsers.py", line 1848, in read
    data = self._reader.read(nrows)
  File "pandas\_libs\parsers.pyx", line 876, in pandas._libs.parsers.TextReader.read
  File "pandas\_libs\parsers.pyx", line 903, in pandas._libs.parsers.TextReader._read_low_memory
  File "pandas\_libs\parsers.pyx", line 945, in pandas._libs.parsers.TextReader._read_rows
  File "pandas\_libs\parsers.pyx", line 932, in pandas._libs.parsers.TextReader._tokenize_rows
  File "pandas\_libs\parsers.pyx", line 2112, in pandas._libs.parsers.raise_parser_error
pandas.errors.ParserError: Error tokenizing data. C error: Buffer overflow caught - possible malformed input file.

और रेडहैट पर भी ऐसा ही है।

$ python3
Python 3.6.6 (default, Aug 13 2018, 18:24:23)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import pandas
>>> for chunk in pandas.read_csv('debug.csv', chunksize=1000, names=range(2504)): pass
...
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib64/python3.6/site-packages/pandas/io/parsers.py", line 1007, in __next__
    return self.get_chunk()
  File "/usr/lib64/python3.6/site-packages/pandas/io/parsers.py", line 1070, in get_chunk
    return self.read(nrows=size)
  File "/usr/lib64/python3.6/site-packages/pandas/io/parsers.py", line 1036, in read
    ret = self._engine.read(nrows)
  File "/usr/lib64/python3.6/site-packages/pandas/io/parsers.py", line 1848, in read
    data = self._reader.read(nrows)
  File "pandas/_libs/parsers.pyx", line 876, in pandas._libs.parsers.TextReader.read
  File "pandas/_libs/parsers.pyx", line 903, in pandas._libs.parsers.TextReader._read_low_memory
  File "pandas/_libs/parsers.pyx", line 945, in pandas._libs.parsers.TextReader._read_rows
  File "pandas/_libs/parsers.pyx", line 932, in pandas._libs.parsers.TextReader._tokenize_rows
  File "pandas/_libs/parsers.pyx", line 2112, in pandas._libs.parsers.raise_parser_error
pandas.errors.ParserError: Error tokenizing data. C error: Buffer overflow caught - possible malformed input file.

dgrahn 5 नव॰ 2018

@dgrahn मैंने pd.read_csv('debug.xt', header=None) चलाते हैं तो मुझे निम्नलिखित मिलेंगे:

ParserError: डेटा टोकन में त्रुटि। सी त्रुटि: लाइन 3 में 204 क्षेत्रों की उम्मीद, 2504 देखा

जो मूल रूप से वर्णित Buffer overflow caught त्रुटि से अलग है।

मैंने debug.txt फ़ाइल का निरीक्षण किया है और पहली दो पंक्तियों में 204 कॉलम हैं लेकिन तीसरी पंक्ति में 2504 कॉलम हैं। यह फ़ाइल को अनपेक्षित बना देता है और बताता है कि कोई त्रुटि क्यों डाली गई है।

क्या यह अपेक्षित है? GitHub नई लाइन प्रकार ("\ r \ n" और "\ n") के बीच पृष्ठभूमि में कुछ अंतर्निहित रूपांतरण कर सकता है जो अपलोड किए गए उदाहरण को गड़बड़ कर रहा है।

joshlk 5 नव॰ 2018

@joshlk क्या आपने उपरोक्त टिप्पणी में वर्णित names=range(2504) विकल्प का उपयोग किया है?

dgrahn 5 नव॰ 2018

😄1 👍1

@dgrahn अच्छी बात है।

Ok अब pandas.read_csv('debug.csv', chunksize=1000, names=range(2504)) साथ त्रुटि को पुन: उत्पन्न कर सकता है।

यह नोट करना अच्छा है कि pandas.read_csv('debug.csv', names=range(2504)) ठीक काम करता है और इसलिए यह मूल बग से संबंधित नहीं है लेकिन यह एक ही लक्षण पैदा कर रहा है।

joshlk 5 नव॰ 2018

@joshlk मैं एक अलग मुद्दे को खोल सकता था यदि वह पसंद किया जाता।

dgrahn 5 नव॰ 2018

pd.read_csv(open('test.csv','rU'), encoding='utf-8', engine='python')

मेरी समस्या का समाधान किया।

egenc 17 जून 2020

इंजन = 'अजगर'

मैंने इस दृष्टिकोण की कोशिश की और बड़ी डेटा फ़ाइलों को अपलोड करने में सक्षम था। लेकिन जब मैंने डेटाफ्रेम के आयाम की जांच की तो मैंने देखा कि पंक्तियों की संख्या बढ़ गई है। उसके लिए तार्किक क्षेत्र क्या हो सकते हैं?

dheeman00 11 अक्तू॰ 2020

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Pandas: read_csv C- इंजन CParserError: डेटा टोकन में त्रुटि

सबसे उपयोगी टिप्पणी

सभी 15 टिप्पणियाँ

संबंधित मुद्दों