Data.table: SHM-Größe überschritten Fehler

Funktionsanfrage, überprüfen Sie die Größe von /dev/shm, um zu sehen, ob sie mit der mmap-Größe übereinstimmt. In meinem Fall habe ich R in einem Docker-Container verwendet und die Standardgröße für /dev/shm ist 64 MB. Wenn der Code ein mmap auf einem geleiteten Stream ausführt (z. B. mit hadoop fs -cat /myfile.csv), liest er nur die shm-Größenbytes aus der Pipe in mmap. Es meldet keinen Fehler über die C-API, von dem ich vermute, dass es normal ist. Das Debuggen, warum sich fread über das Dateiformat beschwerte, führte jedoch zu einem tiefen Eintauchen in den R- und C-Code von data.table, um festzustellen, dass dieser Mechanismus verwendet wird. Der gemeldete Fehler (zufällige Nachricht basierend darauf, wo meine Pfeife abgeschnitten wurde):

 (ERROR):Expected sep (',') but ' ' ends field 0 when detecting types from point 10: 14183667

Dies kann wie folgt reproduziert werden:

• Erstellen Sie eine Datei, die ~5 MB größer ist als /dev/shm
• Passen Sie /dev/shm auf etwa 64 MB an (dies ist die Standardeinstellung für einen Docker-Container).
• Führen Sie fread auf "cat ~/myfile.csv" aus <-- cat erstellt die Pipe
• Docker V1.12+
• Centos neuestes Image vom Docker-Hub
• R-Open v3.4.0 (Microsoft)

Im Code: https://github.com/Rdatatable/data.table/blob/master/src/fread.c
Um Zeile 788 herum sollte es vielleicht die Größe von /dev/shm überprüfen, um zu sehen, ob sie mit der Datei übereinstimmt, die es gerade in den Speicher gelesen hat. In meinem Fall im Docker ist hier die ausführliche Ausgabe der fehlgeschlagenen Testbedingung:

 > dat.df3<-fread("/opt/cloudera/parcels/CDH/bin/hadoop fs -cat /user/tcederquist/tim_pop_comm_14_5 | head -3668850" ,sep=",", header=TRUE, verbose=TRUE)
 Input contains no \n. Taking this to be a filename to open
 File opened, filesize is 0.062500 GB.
 Memory mapping ... ok
 ....basic output
 Type codes (point  8): 1111
 Type codes (point  9): 1111
 (ERROR):Expected sep (',') but ' ' ends field 0 when detecting types from point 10: 14183667

Erwartete Ergebnisse:

 File opened, filesize is 0.373524 GB.

Wenn es fehlschlägt, kennt es außerdem intern die Zeilennummer und andere nützliche Informationen, wenn es fehlgeschlagen ist. Ich musste den Wert von Hand auf Null setzen, bevor ich das Verbose-Flag entdeckte. Wäre schön, wenn normale Fehlermeldungen die Zeile # anzeigen würden. vebose=T zeigt den Ort an, wenn es die Anzahl der Trennzeichen berechnet, wie es für diesen Testfall eine nützliche Ausgabe bei einem Fehler gewesen wäre (da ich wusste, dass die Datei 20 Millionen Datensätze hatte):

 Count of eol: 3668839 (including 0 at the end)
 nrow = MIN( nsep [11006514] / (ncol [4] -1), neol [3668839] - endblanks [0] ) = 3668838