Mimic-code: 파일 chartevents.csv 알 수 없는 오류를 통계할 수 없습니다.

프로젝트의 다운로드 페이지에 제공된 체크섬 파일을 사용하여 chartevents.csv 사본의 무결성을 확인했습니까? 다운로드 또는 압축 해제 중에 손상되었을 수 있습니다.

예, md5 checksum_md5_zipped.txt 명령을 사용했으며 모든 테이블에서 모든 것이 정상입니다...

또한 압축 데이터로 시도하고 postgres_load_data script_7zip을 실행했습니다. 이 경우 데이터에서 인용되지 않은 줄 바꿈을 찾았습니다. 힌트: 인용된 CSV 필드를 사용하여 새 줄을 나타냅니다.

나는 또한 md5 checksum_md5_unzipped.txt를 확인했고 모든 것이 정상입니다.

실행 중인 스크립트와 보유한 데이터 사이에 불일치가 있는 것처럼 들립니다. 나는 확신할 것이다:

1. 모든 파일은 같은 디렉토리에 있습니다
2. 모든 파일의 파일 확장자는 동일합니다. 예를 들어 모두 .csv.gz
3. postgres_load_data_7zip.sql 파일을 (i) 동일한 폴더에서 또는 (ii) 데이터 디렉토리를 가리키도록 mimic_data_dir을 구성한 후 실행하고 있습니다.

과거에는 폴더 설정의 스크린샷, 시스템 정보, 실행한 정확한 명령 및 정확한 오류 메시지와 같은 추가 정보 없이 원격으로 디버그하기가 정말 어렵습니다.

안녕하세요,

답변 주셔서 감사합니다.

1. 모든 파일은 같은 디렉토리에 있습니다
2. 모든 파일의 파일 확장자는 csv입니다.
3. 데이터 디렉토리를 가리키도록 mimic_data_dir을 구성한 후 posgres_load_data.sql 파일을 실행하고 있습니다.
   여기에 내 정확한 명령과 오류가 있습니다.
   
   
   

추가 정보 감사합니다. 파일이 폴더에 없는 것처럼 간단하다고 생각합니다. C:/Users/Lejla/Desktop/MIMICIII 폴더에 CHARTEVENTS.csv 파일이 있는지 다시 확인할 수 있습니까?

압축 파일을 모두 추출하려고 시도했지만 chartevent에 대해 실패하여 .csv.gz 파일 .csv.gz 에서 직접 로드할 수 있습니다. 다음을 대체하여 수행할 수 있습니다.

\copy CHARTEVENTS from 'CHARTEVENTS.csv' delimiter ',' csv header NULL ''

~와 함께

\copy CHARTEVENTS from PROGRAM '7z e -so CHARTEVENTS.csv.gz' delimiter ',' csv header NULL ''

답변 정말 감사합니다. 이번에는 zip 파일로 작업하고 스크립트를 실행해 보았습니다. 이번에 나는 다른

메시지 ... 아마도 도움이 될 것입니다.

디렉토리 내용을 보여주시겠습니까?

I don't mind. 여기에 내 폴더의 내용이 있습니다.

좋습니다. could not stat file "CHARTEVENTS.csv": Unknown error 는 실제로 PostgreSQL 11의 버그입니다. 후드 아래에서 fstat() 를 호출하여 파일이 디렉토리가 아닌지 확인하고 불행히도 fstat() 는 chartevent와 같은 대용량 파일을 처리할 수 없는 32비트 프로그램입니다. PostgreSQL 10.5를 사용하여 Windows에서 빌드를 테스트했는데 이 오류가 발생하지 않았으므로 상당히 새롭다고 생각합니다.

가장 좋은 해결 방법은 파일을 압축된 상태로 유지하고(즉, .csv.gz 파일로 유지) 7zip을 사용하여 압축된 파일에서 직접 데이터를 로드하는 것입니다. 테스트에서 이것은 여전히 ​​작동하는 것처럼 보였습니다. 이 작업을 수행하는 방법에 대한 매우 자세한 자습서가 있습니다. https://mimic.physionet.org/tutorials/install-mimic-locally-windows/

위의 간단한 버전은 .csv.gz 파일을 유지하고 Windows 환경 경로에 7zip 바이너리를 추가한 다음 postgres_load_data_7zip.sql 파일을 호출하여 데이터를 로드하는 것입니다. 모든 데이터를 올바르게 로드했는지 확인하기 위해 모든 후에 postgres_checks.sql 파일을 사용할 수 있습니다.

편집: 이 7zip 접근 방식을 사용하는 나중 오류의 경우 로드되지 않는 이유가 확실하지 않습니다. ADMISSIONS.csv.gz 파일만 다시 다운로드하고 여전히 동일한 오류가 발생하는지 확인하십시오. 스크립트나 무언가를 업데이트해야 하는 7zip의 새 버전이 있을 수 있습니다!

안녕하세요,
자세한 설명 감사합니다. PostgreSQL 10.5를 설치했고 이제 프로세스가 실행 중입니다. 모든 테이블을 로드하는 데 많은 시간이 걸릴 것이라고 생각하지만 더 이상 "알 수 없는 오류"가 발생하지 않습니다. 모든 도움을 주셔서 대단히 감사합니다.

엄청난!

좋습니다. could not stat file "CHARTEVENTS.csv": Unknown error 는 실제로 PostgreSQL 11의 버그입니다. 후드 아래에서 fstat() 를 호출하여 파일이 디렉토리가 아닌지 확인하고 불행히도 fstat() 는 chartevent와 같은 대용량 파일을 처리할 수 없는 32비트 프로그램입니다. PostgreSQL 10.5를 사용하여 Windows에서 빌드를 테스트했는데 이 오류가 발생하지 않았으므로 상당히 새롭다고 생각합니다.

가장 좋은 해결 방법은 파일을 압축된 상태로 유지하고(즉, .csv.gz 파일로 유지) 7zip을 사용하여 압축된 파일에서 직접 데이터를 로드하는 것입니다. 테스트에서 이것은 여전히 ​​작동하는 것처럼 보였습니다. 이 작업을 수행하는 방법에 대한 매우 자세한 자습서가 있습니다. https://mimic.physionet.org/tutorials/install-mimic-locally-windows/

위의 간단한 버전은 .csv.gz 파일을 유지하고 Windows 환경 경로에 7zip 바이너리를 추가한 다음 postgres_load_data_7zip.sql 파일을 호출하여 데이터를 로드하는 것입니다. 모든 데이터를 올바르게 로드했는지 확인하기 위해 모든 후에 postgres_checks.sql 파일을 사용할 수 있습니다.

편집: 이 7zip 접근 방식을 사용하는 나중 오류의 경우 로드되지 않는 이유가 확실하지 않습니다. ADMISSIONS.csv.gz 파일만 다시 다운로드하고 여전히 동일한 오류가 발생하는지 확인하십시오. 스크립트나 무언가를 업데이트해야 하는 7zip의 새 버전이 있을 수 있습니다!

PostgreSQL 10.11을 사용하면 도움이 되었습니다... 감사합니다

추가 정보 감사합니다. 파일이 폴더에 없는 것처럼 간단하다고 생각합니다. C:/Users/Lejla/Desktop/MIMICIII 폴더에 CHARTEVENTS.csv 파일이 있는지 다시 확인할 수 있습니까?

압축 파일을 모두 추출하려고 시도했지만 chartevent에 대해 실패하여 .csv.gz 파일 .csv.gz 에서 직접 로드할 수 있습니다. 다음을 대체하여 수행할 수 있습니다.

\copy CHARTEVENTS from 'CHARTEVENTS.csv' delimiter ',' csv header NULL ''

~와 함께

\copy CHARTEVENTS from PROGRAM '7z e -so CHARTEVENTS.csv.gz' delimiter ',' csv header NULL ''

고마워, 이것은 나를 위해 일했다.
\copy my_table_name from program 'cmd /c type input_data.csv' 구분 기호 ',' csv 헤더;
11GB 크기와 같은 input_data.csv.

"대용량 파일을 복사할 수 없음" 문제는 11 및 12 버전에서 발생합니다. 하지만 10은 괜찮습니다. 데이터 파일을 압축하지 않고 재정의하는 방법은 있지만 일부 Postgresql 프로그램 파일을 v.10에서 v 11 및 12로 업서트/스왑하는 방법은 무엇입니까?
해결 방법:
(형식 텍스트)와 함께 프로그램 'cmd /c "type x:\pathto\file.txt"'에서 t(c,d)를 복사합니다.
- 내 필요에 비해 꽤 느립니다. 기본 복사 명령의 속도가 필요합니다.

다른 명령줄 도구를 사용하여 파일을 여러 파일로 분할한 다음 개별 파일을 한 번에 하나씩 로드하는 것을 고려할 수 있습니다. 유닉스 시스템에서 이것은 split 사용하여 수행할 수 있으며 Windows용 GNU coreutils를 설치하여 사용할 수 있습니다.

저도 님과 같은 문제를 겪은 것 같은데 최신 버전 12를 사용하고 있습니다. 해결 방법이 없을까요? 압축 파일을 사용하시겠습니까?

예, 올바르게 기억한다면 압축 파일이 4GB 미만이고 압축 로드 스크립트(7z 또는 gzip)를 사용하여 이 오류를 방지할 수 있습니다.

알겠습니다. 지금 이 방법을 시도해 보겠습니다. 답변 주셔서 대단히 감사합니다.

그렇다면 압축이나 분할을 전혀 사용하지 않고는 해결 방법이 없습니까? 11, 12 엔진에 Postgresql의 COPY 명령 10 버전 사용?
내가 언급 한 바와 같이:
기본 복사 명령의 속도가 필요하지만 대용량 파일 + 12 버전의 경우
이것은 내 필요에 매우 중요합니다.

글쎄요, PostgreSQL은 오픈 소스이므로 직접 수정을 시도하고 기여할 수 있습니다. :)

관련 토론은 다음과 같습니다. https://www.postgresql.org/message-id/20181104000405.GA1743%40paquier.xyz

그렇지 않으면 이 스레드에서 제안된 세 가지 해결 방법이 있습니다(버전 변경, 압축 파일 사용, 파일을 여러 부분으로 분할). 다른 해결 방법도 있다고 확신합니다.

COPY 기능의 v. 10's 코드의 작업 부분을 11과 12로 마이그레이션하는 것이 뻔하지 않습니까? 아니면 하드코딩되어 모두에게 충돌이 발생합니까? :)

@ghYura 커뮤니티에서 관리하는 리소스이므로 코드베이스를 개선하기 위한 제안 사항이 있으면 끌어오기 요청을 하는 것이 좋습니다.

CSV를 12.X 및 13.X 버전 모두의 테이블에 로드하는 동안 오류가 발생했지만 PostgreSQL 버전 10.15의 매력처럼 작동합니다. 도움을 주신 모든 분들께 감사드립니다 :)