Data.table: SHMサイズがエラーを超えました

機能リクエスト、/ dev / shmのサイズをチェックして、mmapサイズと一致するかどうかを確認します。 私の場合、Dockerコンテナ内でRを使用しており、/ dev/shmのデフォルトサイズは64Mです。 コードがパイプされたストリームでmmapを実行すると（hadoop fs -cat /myfile.csvなど）、パイプからmmapにshmサイズのバイトのみが読み込まれます。 正常と思われるCapiを介したエラーは報告されません。 ただし、freadがファイル形式について不平を言った理由をデバッグすると、data.tableのRおよびCコードが深く掘り下げられ、このメカニズムが使用されていることがわかりました。 報告されたエラー（パイプが切断された場所に基づくランダムメッセージ）：

 (ERROR):Expected sep (',') but ' ' ends field 0 when detecting types from point 10: 14183667

これは、次のようにすることで再現できます。

• / dev/shmよりも最大5メガ大きいファイルを作成します
• / dev / shmを64Mのようなものに調整します（これはDockerコンテナーのデフォルトです）
• 「cat〜/myfile.csv」でfreadを実行します<-catがパイプを作成します
• Docker V1.12 +
• DockerハブからのCentos最新画像
• R-open v3.4.0（マイクロソフト）

コード内： https ：//github.com/Rdatatable/data.table/blob/master/src/fread.c
788行目あたりで、おそらく/ dev / shmのサイズをチェックして、メモリに読み込んだばかりのファイルと一致するかどうかを確認する必要があります。 Dockerの私の場合、失敗したテスト条件の詳細な出力は次のとおりです。

 > dat.df3<-fread("/opt/cloudera/parcels/CDH/bin/hadoop fs -cat /user/tcederquist/tim_pop_comm_14_5 | head -3668850" ,sep=",", header=TRUE, verbose=TRUE)
 Input contains no \n. Taking this to be a filename to open
 File opened, filesize is 0.062500 GB.
 Memory mapping ... ok
 ....basic output
 Type codes (point  8): 1111
 Type codes (point  9): 1111
 (ERROR):Expected sep (',') but ' ' ends field 0 when detecting types from point 10: 14183667

予想された結果：

 File opened, filesize is 0.373524 GB.

さらに、失敗すると、失敗したときの行番号やその他の有用な情報を内部的に認識します。 冗長フラグを発見する前に、手動で値に焦点を合わせる必要がありました。 通常のエラーメッセージが行番号を示していると便利です。 vebose = Tは、このテストケースのように区切り文字の数を計算するときの場所を示します（ファイルに2,000万レコードがあることがわかっているため）。

 Count of eol: 3668839 (including 0 at the end)
 nrow = MIN( nsep [11006514] / (ncol [4] -1), neol [3668839] - endblanks [0] ) = 3668838