Mimic-code: ローカルのPostgresデータベースへのMIMIC-IIIのインストールは遅い

Mac OS-Sierra、バージョン10.12.3

MIMIC-IIIバージョン1.4

最初のいくつかのテーブルがロードされているので、正しい方向に進んでいます。 MIMICのロードには時間がかかる場合があります。特に、charteventsテーブルに到達するポイントです。 Macbook Airに十分なディスク容量がありますか？ データベース用に約90GBの空き容量が必要です。

データベース用に90GBの空き容量が必要になることを知らせてくれてありがとう。 私は389GBを利用できるので、スペースは問題ではありません。

ロードするときに、マシンの構成と、postgresでMIMICをロードするのにかかった時間を教えてください。

私はそれをいくつかの異なるマシンにロードしましたが、あなたに最も近いシステムは、16GBのRAMと1TBのソリッドステートディスクを備えた2013 Macbook Pro 2.9 GHz Intel Corei5です。 ビルドにかかる時間を正確に思い出せませんが、通常は一晩で十分です。

システムのスペックが低いため、もう少し長く残す必要があるかもしれません。 または、より高いスペックのマシンでビルドしてみてください。データを調べたいだけの場合は、MIMICクエリビルダーを確認してください： https ：//mimic.physionet.org/gettingstarted/querybuilder/

こんにちはKrupa、 https：//github.com/MIT-LCP/mimic-code/issues/182に質問を投稿したので、この問題は解決されたと思います。

これに加えて、私は8GBのRAMを搭載した2012年半ばのMacBookProでPostgresを使用してMIMICを構築しました。

最も長い単一のコマンドは、データをチャートイベントに挿入することでした。これには約4時間かかりました。 ビルド全体が約6時間もかからなかったと思います（一晩実行しました）。 ビルドが中断される可能性があるため、コンピューターが自動的に実行する休止状態/スリープを無効にすることを強くお勧めします。 Mac OS Xの場合、Homebrewを介してインストール可能なアプリケーション「カフェイン」はこの目的に非常に役立ちます。

ポラード博士とアリスタージョンソンにご協力いただき、誠にありがとうございます。

@alistairewj @tompollard多分このようなものが役に立つかもしれません：（https://github.com/ossc-db/pg_bulkload）

同じ問題があります-postgres_load_data.sqlが2日間連続して実行されています！ 上記のpostgres-newbieと同じプリントアウトを使用したため、テーブルにデータが入力されています。 また、pgadmin4の内部を確認し、select limitは、数行のアドミッション、コールアウト、および介護者のテーブルを返しますが、charteventsまたはchartevents_ {N}テーブルには何も返しません。

初めて停止したとき（再開したとき）は、1日で約4000万行でしたので、全部ロードするのに1週間かかります！ このcsvをpostgresにロードするための他の提案はありますか？ 私の日常の仕事では、10億行以上のcsvをdfに簡単にロードできるsparkデータフレームを使用しているので、これは私にとって非常に驚くべきタスクです！ あなたが提供できるありとあらゆる助けに感謝します！

GUIまたはpostgresシェルを介してロードしていますか？

2017年12月5日午後10時47分、「brokejoker」 [email protected]は次のように書いています。

私は同じ問題を抱えています-postgres_load_data.sqlはのために実行されています
2日連続！ 私が同じものを持っていたので、テーブルは移入されています
上記のpostgres-newbieとしてプリントアウトします。 pgadmin4の内部もチェックしました。
select limitは、数行の入場料、コールアウト、および介護者を返します
テーブルですが、charteventsまたはchartevents_ {N}テーブルには何もありません。

私が最初にそれを止めたとき（私はそれを再び始めた）それは周りにありました
1日後に4000万行、つまり、読み込みに1週間かかることを意味します
全部！ このcsvをにロードするための他の提案はありますか
postgres？ 私の日常の仕事では、1を簡単にロードできるsparkデータフレームを使用しています
10億行以上のcsvをdfに変換するので、これは私にとって非常に驚くべき作業です。
あなたが提供できるありとあらゆる助けに感謝します！

—
あなたが言及されたので、あなたはこれを受け取っています。
このメールに直接返信し、GitHubで表示してください
https://github.com/MIT-LCP/mimic-code/issues/181#issuecomment-349523656 、
またはスレッドをミュートします
https://github.com/notifications/unsubscribe-auth/ABOSdA7ulZzfdDrf3nU7uDqR9dp7tnDrks5s9g5ngaJpZM4MOwWg
。

コマンドライン経由：
psql 'dbname=mimic user=rohunkshirsagar options=--search_path=mimiciii' -f postgres_load_data.sql -v mimic_data_dir='/Users/rohunkshirsagar/Documents/mimic-iii/data_files'

私の状況と同様に、Windows10のpostgresqlに72時間以上データをロードし、charteventsとデータでいっぱいのサブテーブル（330712483行）を見つけましたが、プロセスが1日、テーブルの後のテーブルでスタックしていることがわかりましたcharteventsが空で、postgresqlサーバーが実行されていないことを確認します（CPU負荷が0に近く、約33％になる前）、方法がわかりません。何度も停止しましたか？

インポートを高速化するためにできることはたくさんありますが、最初に、コンピューターが休止状態などではないことを確認します。 私のラップトップではたったの4時間しかかかりませんが、今では5年近く経っています。 私のWindowsPCは約3年前のもので、同じくらいの時間がかかりました。

それでも問題が解決しない場合は、ここに実装できる提案がたくさんあります： https ：//stackoverflow.com/questions/12206600/how-to-speed-up-insertion-performance-in-postgresql

macbook pro 2016 i5-8GRamのpostgresqlにデータをロードするのに24時間以上かかりました。1つのスレッドを持つ単一のプロセスpostgreが実行されています。
チュートリアルhttps://mimic.physionet.org/tutorials/install-mimic-locally-ubuntu/に従い、カフェインをインストールします。なぜWindows10とMacBookProの両方に時間がかかるのですか？ postgresqlの設定はありますか？

私は両方とも、デフォルト設定でmacbookproとwindows10にpostgresql9.6.6をインストールします。

「まあ、それは私のために働く！」を除いて、私は正直に何を言うべきかわかりません。 お使いのコンピュータはデータをインポートできる以上の音がするので、ここのスクリプトや特にMIMIC-IIIに問題があるとは思いません。

私のmacbookproでも同じ問題があります。 しかし、私は自分のPCでデータベースを構築したことがあります。 そして、私の解決策は、データベースをバックアップし、MBPに復元することでした。コマンドとターミナルでそれぞれ「pg_dumpdababase -U username-fdbdump.sql」と「psql-Uusername -d database-fdbdump.sql」を使用しました。

私はかなり新しいiMACとPostgres10のmacOSSierraで実行しています。私にとって極端な速度低下を修正したのは、 postgres_create_tables.sqlスクリプトの代わりに 'postgres_create_tables_pg10.sql'スクリプトを使用してテーブルを作成することでした。 Makefileを使用してすべてをビルドしていたので、Makefileの75行目と115行目を編集し、「 postgres_create_tables.sql 」を「postgres_create_tables_pg10.sql」に置き換えました。 その後、ロードスクリプトは約2時間で実行されました。

面白い。 唯一の違いは、
pg10スクリプト（pg10のみ）と古いスクリプトの挿入時のトリガー。

2017年12月22日午前10時44分、「sanfordbaran」 [email protected]は次のように書いています。

私はかなり新しいiMACとPostgres10のmacOSSierraで実行しています。
私にとって極端な遅さを修正するには、
'postgres_create_tables_pg10.sql'スクリプトを使用して、代わりにテーブルを作成します
postgres_create_tables.sqlスクリプト。 Makefileを使っていたので
すべてをビルドし、Makefileの75行目と115行目を編集しました。
'postgres_create_tables_pg10.sql' for'postgres_create_tables.sql。 私の
ロードスクリプトは約2時間で実行されました！

—
あなたが言及されたので、あなたはこれを受け取っています。
このメールに直接返信し、GitHubで表示してください
https://github.com/MIT-LCP/mimic-code/issues/181#issuecomment-353622522 、
またはスレッドをミュートします
https://github.com/notifications/unsubscribe-auth/ABOSdEdkcKo55kz9nAfzc_m-keM4HRwbks5tC85lgaJpZM4MOwWg
。

ただ量りたかっただけです。

Dockerコンテナ内でsetup.shを実行するのに29時間かかりました。 こんなに時間がかかったのは、データがHDDに書き込まれたためだと思います（インデックス付きで71GiBを占めます）。 また、postgres（またはその他の問題）からCOPYコマンドを実行するときに、Dockerに複数のCPUコア（i7 4770k上）を使用させることができなかったという事実。

チャートイベントのパーティション化に関する最近の変更に関連している可能性があるため、これについて説明している＃362を参照してください。

ビルドの速度はまだテスト中ですが、時間を稼ぐのに最適です。