Data.table: SHM आकार पार हो गया त्रुटि

फ़ीचर अनुरोध, यह देखने के लिए कि क्या यह mmap आकार से मेल खाता है, /dev/shm के आकार की जाँच करें। मेरे मामले में मैं एक डॉकटर कंटेनर के अंदर R का उपयोग कर रहा था और /dev/shm के लिए डिफ़ॉल्ट आकार 64M है। जब कोड एक पाइप्ड स्ट्रीम पर एक mmap करता है (जैसे कि Hadoop fs -cat /myfile.csv के साथ) तो यह पाइप से mmap में केवल shm आकार के बाइट्स को पढ़ेगा। यह सी एपीआई के माध्यम से एक त्रुटि की रिपोर्ट नहीं करता है जो मुझे संदेह है कि सामान्य है। हालाँकि, डिबगिंग क्यों फ़्रेड ने फ़ाइल प्रारूप के बारे में शिकायत की, जिसके परिणामस्वरूप डेटा के आर और सी कोड में एक गहरा गोता लगाया गया। यह पता लगाने के लिए कि यह इस तंत्र का उपयोग करता है। रिपोर्ट की गई त्रुटि (मेरे पाइप को काटे जाने के आधार पर यादृच्छिक संदेश):

 (ERROR):Expected sep (',') but ' ' ends field 0 when detecting types from point 10: 14183667

इसे निम्नलिखित करके पुन: प्रस्तुत किया जा सकता है:

• एक फ़ाइल बनाएँ जो /dev/shm . से ~5 मेगापिक्सल बड़ी हो
• /dev/shm को 64M जैसी किसी चीज़ में समायोजित करें (यह डॉकर कंटेनर के लिए डिफ़ॉल्ट है)
• "cat ~/myfile.csv" पर फ़्रेड चलाएँ <- cat पाइप बनाता है
• डॉकर V1.12+
• डॉकर हब से सेंटोस नवीनतम छवि
• आर-ओपन v3.4.0 (माइक्रोसॉफ्ट)

कोड में: https://github.com/Rdatatable/data.table/blob/master/src/fread.c
लाइन 788 के आसपास शायद यह देखने के लिए /dev/shm के आकार की जांच करनी चाहिए कि क्या यह उस फ़ाइल से मेल खाता है जिसे वह सिर्फ मेमोरी में पढ़ता है। मेरे मामले में डोकर में यहाँ असफल परीक्षण की स्थिति का वर्बोज़ आउटपुट है:

 > dat.df3<-fread("/opt/cloudera/parcels/CDH/bin/hadoop fs -cat /user/tcederquist/tim_pop_comm_14_5 | head -3668850" ,sep=",", header=TRUE, verbose=TRUE)
 Input contains no \n. Taking this to be a filename to open
 File opened, filesize is 0.062500 GB.
 Memory mapping ... ok
 ....basic output
 Type codes (point  8): 1111
 Type codes (point  9): 1111
 (ERROR):Expected sep (',') but ' ' ends field 0 when detecting types from point 10: 14183667

अपेक्षित परिणाम:

 File opened, filesize is 0.373524 GB.

इसके अलावा, जब यह विफल हो जाता है तो यह आंतरिक रूप से लाइन # और अन्य उपयोगी जानकारी को विफल होने पर जानता है। वर्बोज़ ध्वज की खोज करने से पहले मुझे हाथ से मूल्य पर शून्य करना पड़ा। अच्छा होगा यदि सामान्य त्रुटि संदेशों ने पंक्ति # को इंगित किया हो। vebose=T उस स्थान को दिखाता है जब यह # सीमांकक की गणना करता है जैसे कि इस परीक्षण मामले के लिए त्रुटि पर उपयोगी आउटपुट होगा (क्योंकि मुझे पता था कि फ़ाइल में 20M रिकॉर्ड थे):

 Count of eol: 3668839 (including 0 at the end)
 nrow = MIN( nsep [11006514] / (ncol [4] -1), neol [3668839] - endblanks [0] ) = 3668838