Data.table: SHM 크기 초과 오류

기능 요청, /dev/shm의 크기를 확인하여 mmap 크기와 일치하는지 확인하십시오. 제 경우에는 도커 컨테이너 내부에서 R을 사용하고 있었고 /dev/shm의 기본 크기는 64M입니다. 코드가 파이프 스트림에서 mmap을 수행할 때(예: hadoop fs -cat /myfile.csv) 파이프에서 mmap으로 shm 크기 바이트만 읽습니다. 정상으로 의심되는 C API를 통해 오류를 보고하지 않습니다. 그러나 fread가 파일 형식에 대해 불평하는 이유를 디버깅한 결과 data.table의 R 및 C 코드를 자세히 살펴보고 이 메커니즘을 사용한다는 것을 발견했습니다. 보고된 오류(내 파이프가 끊어진 위치에 기반한 임의의 메시지):

 (ERROR):Expected sep (',') but ' ' ends field 0 when detecting types from point 10: 14183667

이것은 다음을 수행하여 재현할 수 있습니다.

• /dev/shm보다 ~5메가 큰 파일을 빌드합니다.
• /dev/shm을 64M과 같이 조정합니다(Docker 컨테이너의 기본값임).
• "cat ~/myfile.csv"에서 fread 실행 <-- cat은 파이프를 생성합니다.
• 도커 V1.12+
• 도커 허브의 Centos 최신 이미지
• R-오픈 v3.4.0(마이크로소프트)

코드에서: https://github.com/Rdatatable/data.table/blob/master/src/fread.c
788행 주변에서 아마도 /dev/shm의 크기를 확인하여 메모리로 읽은 파일과 일치하는지 확인해야 합니다. 도커의 경우 실패한 테스트 조건의 자세한 출력은 다음과 같습니다.

 > dat.df3<-fread("/opt/cloudera/parcels/CDH/bin/hadoop fs -cat /user/tcederquist/tim_pop_comm_14_5 | head -3668850" ,sep=",", header=TRUE, verbose=TRUE)
 Input contains no \n. Taking this to be a filename to open
 File opened, filesize is 0.062500 GB.
 Memory mapping ... ok
 ....basic output
 Type codes (point  8): 1111
 Type codes (point  9): 1111
 (ERROR):Expected sep (',') but ' ' ends field 0 when detecting types from point 10: 14183667

예상 결과:

 File opened, filesize is 0.373524 GB.

또한 실패할 때 내부적으로 라인 # 및 실패 시 기타 유용한 정보를 알고 있습니다. 장황한 플래그를 발견하기 전에 손으로 값을 0으로 맞춰야 했습니다. 일반 오류 메시지에 행 #이 표시되면 좋을 것입니다. vebose=T는 이 테스트 케이스와 같은 구분 기호의 수를 계산할 때 위치를 보여줍니다. 오류 시 유용한 출력이 될 것입니다(파일에 20M 레코드가 있다는 것을 알았기 때문에).

 Count of eol: 3668839 (including 0 at the end)
 nrow = MIN( nsep [11006514] / (ncol [4] -1), neol [3668839] - endblanks [0] ) = 3668838