Mimic-code: ファイルchartevents.csv不明なエラーを統計できませんでした

プロジェクトのダウンロードページにあるチェックサムファイルを使用して、 chartevents.csvコピーの整合性をチェックしましたか？ おそらく、ダウンロードまたは解凍中に破損しました。

はい、コマンドmd5 checksum_md5_zipped.txtを使用しましたが、すべてのテーブルで問題ありません...

また、zipデータを試して、postgres_load_datascript_7zipを実行しました。 その場合、次のようになります。データに引用符で囲まれていない改行が見つかりました。 ヒント：引用符で囲まれたCSVフィールドを使用して改行を表します。

md5 checksum_md5_unzipped.txtもチェックしましたが、すべて問題ありません。

実行しているスクリプトと使用しているデータの間に不一致があるように聞こえます。 私は確認します：

1. すべてのファイルは同じディレクトリにあります
2. すべてのファイルのファイル拡張子は同じです。 たとえば、それらはすべて.csv.gz
3. postgres_load_data_7zip.sqlファイルを（i）同じフォルダーから実行するか、（ii）データディレクトリを指すようにmimic_data_dirを構成した後に実行しています。

これまでは、フォルダセットアップのスクリーンショット、システム情報、実行した正確なコマンド、正確なエラーメッセージなどの情報がないと、リモートでデバッグするのは非常に困難です。

こんにちは、

ご回答ありがとうございます。

1. すべてのファイルは同じディレクトリにあります
2. すべてのファイルのファイル拡張子は同じcsvです
3. データディレクトリを指すようにmimic_data_dirを構成した後、posgres_load_data.sqlファイルを実行しています。
   ここに私の正確なコマンドと私が得たエラーがあります。
   
   
   

追加情報をありがとう、それは非常に役に立ちます。 ファイルがフォルダにないのと同じくらい簡単だと思います。 フォルダC:/Users/Lejla/Desktop/MIMICIIIにCHARTEVENTS.csvファイルがあることを再確認できますか？

すべての圧縮ファイルを抽出しようとしたが、チャートイベントで失敗したため、 .csv.gzファイルしかない可能性があります（抽出されたファイルが33GBであり、スペースが不足していることが原因である可能性があります。ファイルシステムはFAT32（！）、または誰が知っているか）です。 その場合、ロードスクリプトを編集して、 .csv.gzから直接ロードすることをお勧めします。 あなたは置き換えることによってそれを行うことができます：

\copy CHARTEVENTS from 'CHARTEVENTS.csv' delimiter ',' csv header NULL ''

と

\copy CHARTEVENTS from PROGRAM '7z e -so CHARTEVENTS.csv.gz' delimiter ',' csv header NULL ''

回答ありがとうございます。 今回はzipファイルを使ってスクリプトを実行してみました。 今回は他のものを手に入れました

メッセージ...おそらくそれは役立つでしょう。

ディレクトリの内容を表示してもよろしいですか？

私は気にしません。ここに私のフォルダの内容があります

さて、 could not stat file "CHARTEVENTS.csv": Unknown errorは実際にはPostgreSQL 11のバグです。内部では、ファイルがディレクトリではないことを確認するためにfstat()を呼び出しますが、残念ながらfstat()はcharteventsのような大きなファイルを処理できない32ビットプログラム。 PostgreSQL 10.5を使用してWindowsでビルドをテストしましたが、このエラーは発生しなかったため、かなり新しいと思います。

最善の回避策は、ファイルを圧縮したままにし（つまり、 .csv.gzファイルとして保持し）、7zipを使用して圧縮ファイルから直接データをロードすることです。 テストでは、これはまだ機能しているように見えました。 これを行う方法については、 https ： ます。

上記の簡単なバージョンでは、 .csv.gzファイルを保持し、7zipバイナリをWindows環境パスに追加してから、 postgres_load_data_7zip.sqlファイルを呼び出してデータをロードします。 すべての後にpostgres_checks.sqlファイルを使用して、すべてのデータを正しくロードしたことを確認できます。

編集：この7zipアプローチを使用している後のエラーについては、なぜロードされないのかわかりません。 ADMISSIONS.csv.gzファイルだけを再ダウンロードして、同じエラーが発生するかどうかを確認してください。 たぶん、スクリプトか何かを更新する必要がある7zipの新しいバージョンがあります！

こんにちは、
詳細説明ありがとうございます。 PostgreSQL 10.5をインストールしましたが、プロセスが実行されています。 すべてのテーブルをロードするのに時間がかかると思いますが、「不明なエラー」は発生しなくなりました。 助けてくれてありがとう。

素晴らしい！

さて、 could not stat file "CHARTEVENTS.csv": Unknown errorは実際にはPostgreSQL 11のバグです。内部では、ファイルがディレクトリではないことを確認するためにfstat()を呼び出しますが、残念ながらfstat()はcharteventsのような大きなファイルを処理できない32ビットプログラム。 PostgreSQL 10.5を使用してWindowsでビルドをテストしましたが、このエラーは発生しなかったため、かなり新しいと思います。

最善の回避策は、ファイルを圧縮したままにし（つまり、 .csv.gzファイルとして保持し）、7zipを使用して圧縮ファイルから直接データをロードすることです。 テストでは、これはまだ機能しているように見えました。 これを行う方法については、 https ： ます。

上記の簡単なバージョンでは、 .csv.gzファイルを保持し、7zipバイナリをWindows環境パスに追加してから、 postgres_load_data_7zip.sqlファイルを呼び出してデータをロードします。 すべての後にpostgres_checks.sqlファイルを使用して、すべてのデータを正しくロードしたことを確認できます。

編集：この7zipアプローチを使用している後のエラーについては、なぜロードされないのかわかりません。 ADMISSIONS.csv.gzファイルだけを再ダウンロードして、同じエラーが発生するかどうかを確認してください。 たぶん、スクリプトか何かを更新する必要がある7zipの新しいバージョンがあります！

PostgreSQL10.11を使用することは私を助けました...ありがとう

追加情報をありがとう、それは非常に役に立ちます。 ファイルがフォルダにないのと同じくらい簡単だと思います。 フォルダC:/Users/Lejla/Desktop/MIMICIIIにCHARTEVENTS.csvファイルがあることを再確認できますか？

すべての圧縮ファイルを抽出しようとしたが、チャートイベントで失敗したため、 .csv.gzファイルしかない可能性があります（抽出されたファイルが33GBであり、スペースが不足していることが原因である可能性があります。ファイルシステムはFAT32（！）、または誰が知っているか）です。 その場合、ロードスクリプトを編集して、 .csv.gzから直接ロードすることをお勧めします。 あなたは置き換えることによってそれを行うことができます：

\copy CHARTEVENTS from 'CHARTEVENTS.csv' delimiter ',' csv header NULL ''

と

\copy CHARTEVENTS from PROGRAM '7z e -so CHARTEVENTS.csv.gz' delimiter ',' csv header NULL ''

おかげで、これは私のために働いた：
\ copy my_table_name from program'cmd / c type input_data.csv 'delimiter'、 'csv header;
11GBサイズのようなinput_data.csv。

「大きなファイルをコピーできない」という問題は、11バージョンと12バージョンで発生します。 しかし、10の場合は問題ありません。 データファイルを圧縮せずにオーバーライドする方法ですが、Postgresqlプログラムファイルをv.10からv 11および12にアップサート/スワップする方法はありますか？
回避策：
プログラム 'cmd / c "type x：\ pathto \ file.txt"'からt（c、d）を（テキスト形式）でコピーします。
-私のニーズにはかなり遅いです。 デフォルトのコピーコマンドの速度が必要です

他のコマンドラインツールを使用してファイルを複数のファイルに分割し、個々のファイルを一度に1つずつロードすることを検討できます。 UNIXシステムでは、これはsplitを使用して実行でき、Windows用のGNUcoreutilsをインストールして使用できます。

私はあなたと同じ問題に遭遇したと思いますが、私は非常に新しいバージョン12を使用しています。それを解決する方法はありますか？ 圧縮ファイルを使用しますか？

はい、正しく思い出せば、圧縮ファイルは4 GB未満であり、圧縮ロードスクリプト（7zまたはgzip）を使用してこのエラーを回避できます。

OK、今からこの方法を試してみます。ご返信ありがとうございます。

したがって、圧縮または分割をまったく使用せずに回避策はありませんか？ 11、12エンジン用のPostgresqlのCOPYコマンドの10バージョンの使用？
私が示したように：
デフォルトのコピーコマンドの速度が必要ですが、大きなファイル+12のバージョンの場合
これは私のニーズにとって不可欠です。

PostgreSQLはオープンソースなので、自分で修正を試みて貢献することを歓迎します:)

関連するディスカッションは次のとおりです： https ：

それ以外の場合は、このスレッドで提案されている3つの回避策があります（バージョンの変更、圧縮ファイルの使用、ファイルの複数の部分への分割）。 他にも回避策があると思います。

v。10のCOPY機能のコードの動作部分を11と12に移行するのは明らかではありませんか？ または、ハードコーディングされているため、すべてのユーザーがクラッシュしますか？ :)

@ghYuraこれはコミュニティが管理するリソースであるため、コードベースを改善するための提案がある場合は、プルリクエストを作成することをお勧めします。

12.Xバージョンと13.Xバージョンの両方でCSVをテーブルにロードしているときにエラーが発生しましたが、PostgreSQLバージョン10.15では魅力のように機能します。 みんな助けてくれてありがとう:)