Mimic-code: Schwierigkeiten beim Erstellen einer Datenbank mit PostgreSQL

Erstellt am 19. Juli 2017  ·  14Kommentare  ·  Quelle: MIT-LCP/mimic-code

Ich bin nicht besonders erfahren im Aufbau von Datenbanken. Ich verwende Mac OS X 10.10.5
Ich habe versucht, die Dateien mit make mimic-download herunterzuladen, habe aber die folgende Fehlermeldung erhalten:


-- Herunterladen von MIMIC-III von PhysioNet --

wget --user --ask-password -P -A csv.gz -m -p -E -k -K -np -nd " https://physionet.org/works/MIMICIIIClinicalDatabase/files/ "
--2017-07-19 13:32:39-- http://csv.gz/
Auflösen von csv.gz (csv.gz)... fehlgeschlagen: Knotenname oder Servname angegeben oder nicht bekannt.
wget: Hostadresse 'csv.gz' kann nicht aufgelöst werden
--2017-07-19 13:32:39-- https://physionet.org/works/MIMICIIIClinicalDatabase/files/
Physionet.org (physionet.org) wird aufgelöst... 128.30.30.88
Verbindung zu physionet.org (physionet.org)|128.30.30.88|:443... verbunden.
FEHLER: kann das Zertifikat von physionet.org nicht überprüfen, ausgestellt von 'CN=Let's Encrypt Authority X3,O=Let's Encrypt,C=US':
Die Autorität des Ausstellers kann nicht lokal überprüft werden.
Um eine unsichere Verbindung zu physionet.org herzustellen, verwenden Sie `--no-check-certificate'.
Konvertierte Links in 0 Dateien in 0 Sekunden.
make[1]: * [mimic-download] Fehler 4make: * [mimic-download] Fehler 2

Ich habe dann die Datendateien manuell heruntergeladen und dekomprimiert. Ich habe dann PostgreSQL heruntergeladen und installiert. Ich habe dann versucht zu laufen:
make mimic datadir=/Pfad zu Daten/

über die Befehlszeile und hatte Probleme mit dem mimic/postgres-Passwort.
Ich habe das Makefile-Skript geändert, um den Benutzer in postgres zu ändern, damit ich das Passwort verwenden kann, das ich bei der Installation angegeben habe.
Ich habe erneut ausgeführt:
make mimic datadir=/Pfad zu Daten/

und bekomme jetzt folgenden Fehler:

psql "dbname=mimic user=postgres options=--search_path=mimiciii" -f postgres_create_tables.sql
psql: FATAL: Datenbank "Mimic" existiert nicht
make[1]: * [mimic-build] Fehler 2make: * [mimic-build] Fehler 2

Ich würde gerne etwas Hilfe dabei haben.
Vielen Dank,

Hilfreichster Kommentar

die Abfrage hat funktioniert. es sieht so aus, als ob ich im Geschäft bin.
vielen Dank

Am Freitag, 21. Juli 2017 um 10:42 Uhr, Tom Pollard [email protected]
schrieb:

Wenn Sie dies bestätigen möchten, versuchen Sie, sich in die Datenbank einzuloggen und abzufragen
die ersten drei Tabellen (zB SELECT * FROM mimiciii.admissions LIMIT 10;
zeigt die ersten 10 Zeilen der Aufnahmetabelle an).


Sie erhalten dies, weil Sie erwähnt wurden.
Antworten Sie direkt auf diese E-Mail und zeigen Sie sie auf GitHub an
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-317066159 ,
oder den Thread stumm schalten
https://github.com/notifications/unsubscribe-auth/AToq-U6zQp2XEbIG5Bw-CQ6dsAsACTfHks5sQOL-gaJpZM4OdQE1
.

Alle 14 Kommentare

Zunächst einmal nicht sicher über den wget-Fehler in Bezug auf Zertifikate, vielleicht @elfeto , wissen Sie, ob diese Fehlermeldung wichtig ist? Zu Ihrer Information, das Ziel des Wgets ist einfach, die CSVs von physionet herunterzuladen -
Skript hier: https://github.com/MIT-LCP/mimic-code/blob/9e05ab27b947b664f7ddbc5dcfe0c3e573c69fcc/buildmimic/postgres/Makefile#L156

Ich denke, das ist nicht Ihre Schuld.. Was ich mir vorstelle, ist, dass das Skript versucht, einen Benutzer namens "postgres" zu erstellen, was fehlschlägt (weil postgres bereits existiert), und so der Rest des Skripts (das die Datenbank erstellt) ) schlägt fehl. Wir müssen wahrscheinlich das Makefile aktualisieren. In der Zwischenzeit können Sie dies beheben, indem Sie Folgendes ausführen:

psql -c "CREATE DATABASE mimic;"
psql -d mimic -c "CREATE SCHEMA mimiciii;"

Führen Sie danach einfach make mimic-build datadir=/path to data/ ... das sollte die Dateninstallation starten. Lass mich wissen, wie es dir ergeht.

Alistair,
Danke für die Hilfe. Ich habe deine Anweisungen befolgt und mimic-build ausgeführt
wie oben beschrieben gestern abend. Ich bekomme Folgendes, was nicht der Fall ist
über Nacht geändert/fortschrittlich:

psql "dbname=mimic user=mimic options=--search_path=mimiciii" -f
postgres_create_tables.sql

psql:postgres_create_tables.sql :31: HINWEIS: Tabelle "Zulassungen" nicht
existieren, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :61: HINWEIS: Tabelle "Callout" funktioniert nicht
existieren, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :95: HINWEIS: Tabelle "Betreuer" nicht
existieren, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :110: HINWEIS: Tabelle "chartevents" nicht
existieren, überspringen

DROP-TISCH

TABELLE ERSTELLEN

TABELLE ERSTELLEN

TABELLE ERSTELLEN

TABELLE ERSTELLEN

TABELLE ERSTELLEN

TABELLE ERSTELLEN

TABELLE ERSTELLEN

TABELLE ERSTELLEN

TABELLE ERSTELLEN

TABELLE ERSTELLEN

TABELLE ERSTELLEN

TABELLE ERSTELLEN

TABELLE ERSTELLEN

TABELLE ERSTELLEN

TABELLE ERSTELLEN

FUNKTION ERSTELLEN

AUSLÖSER ERSTELLEN

psql:postgres_create_tables.sql :185: HINWEIS: Tabelle "cptevents" nicht
existieren, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :207: HINWEIS: Tabelle "datetimeevents" tut
nicht vorhanden, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :231: HINWEIS: Tabelle "diagnoses_icd" tut
nicht vorhanden, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :246: HINWEIS: Tabelle "drgcodes" nicht
existieren, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :264: HINWEIS: Tabelle "d_cpt" existiert nicht,
überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :284: HINWEIS: Tabelle "d_icd_diagnoses" tut
nicht vorhanden, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :299: HINWEIS: Tabelle "d_icd_procedures" tut
nicht vorhanden, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :314: HINWEIS: Tabelle "d_items" nicht
existieren, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :335: HINWEIS: Tabelle "d_labitems" nicht
existieren, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :352: HINWEIS: Tabelle "icustays" nicht
existieren, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :375: HINWEIS: Tabelle "inputevents_cv" tut
nicht vorhanden, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :407: HINWEIS: Tabelle "inputevents_mv" tut
nicht vorhanden, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :448: HINWEIS: Tabelle "labevents" nicht
existieren, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :467: HINWEIS: Tabelle "Mikrobiologieereignisse"
existiert nicht, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :493: HINWEIS: Tabelle "noteevents" nicht
existieren, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :514: HINWEIS: Tabelle "outputevents" nicht
existieren, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :537: HINWEIS: Tabelle "Patienten" nicht
existieren, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :556: HINWEIS: Tabelle "Rezepte" tut
nicht vorhanden, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :585: HINWEIS: Tabelle "procedureevents_mv"
existiert nicht, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :620: HINWEIS: Tabelle "procedures_icd" tut
nicht vorhanden, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :635: HINWEIS: Tabelle "Dienste" nicht
existieren, überspringen

DROP-TISCH

TABELLE ERSTELLEN

psql:postgres_create_tables.sql :651: HINWEIS: Tabelle "Transfers" funktioniert nicht
existieren, überspringen

DROP-TISCH

TABELLE ERSTELLEN


-- Lade Daten --


psql "dbname=mimic user=mimic options=--search_path=mimiciii" -f
postgres_load_data.sql -v
mimic_data_dir=/Users/robertbeetel/anaconda/projects/mimic-code-master/mimic_data

KOPIE 58976

KOPIE 34499

KOPIE 7567

Am Mittwoch, den 19. Juli 2017 um 17:23 Uhr, Alistair Johnson [email protected]
schrieb:

Zunächst einmal bin ich mir vielleicht nicht sicher, ob der Wget-Fehler in Bezug auf Zertifikate aufgetreten ist?
@elfeto https://github.com/elfeto du weißt ob diese Fehlermeldung
Angelegenheiten? Zu Ihrer Information, das Ziel des Wgets ist einfach, die CSVs herunterzuladen
von physionet -
Skript hier: https://github.com/MIT-LCP/mimic-code/blob/
9e05ab27b947b664f7ddbc5dcfe0c3e573c69fcc/buildmimic/postgres/Makefile#L156

Ich denke, das ist nicht deine Schuld... was ich mir vorstelle, ist das Drehbuch
versucht, einen Benutzer namens "postgres" zu erstellen, was fehlschlägt (weil postgres
existiert bereits), und so der Rest des Skripts (das die Datenbank erstellt)
scheitert. Wir müssen wahrscheinlich das Makefile aktualisieren. In der Zwischenzeit können Sie
Beheben Sie dies, indem Sie Folgendes ausführen:

psql -c "DATENBANK-Nachahmung ERSTELLEN;"
psql -d mimic -c "CREATE SCHEMA mimiciii;"

Führen Sie danach einfach make mimic-build datadir=/path to data/ aus.
das sollte die Dateninstallation starten. Lass mich wissen, wie es dir ergeht.


Sie erhalten dies, weil Sie den Thread verfasst haben.
Antworten Sie direkt auf diese E-Mail und zeigen Sie sie auf GitHub an
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-316560526 ,
oder den Thread stumm schalten
https://github.com/notifications/unsubscribe-auth/AToq-ReCbCcAN9mOYlTPSrWsr-cp3pjYks5sPp4DgaJpZM4OdQE1
.

Hallo, ich habe das Zertifikat überprüft und es gibt kein Problem damit. Da sie von "Let's Encrypt Authority" stammen, kann dies bei einigen Personen zu Problemen führen. Aber es sollte den Haftungsausschluss geben und es sollte die "OPTION" für den Befehl "--no-check-certificate" geben, der die Zertifikatsprüfung umgeht und die Dateien so oder so herunterlädt.

Wo sollte die Option "--no-check-certificate" platziert werden? in dem
Makefile?
Vielen Dank

Am Do, 20.07.2017 um 06:09 schrieb elfeto [email protected] :

Hallo, ich habe das Zertifikat überprüft und es gibt kein Problem damit. Schon seit
sie sind von "Let's Encrypt Authority", es kann bei einigen zu Problemen kommen
Personen. Aber es sollte den Haftungsausschluss geben und es sollte die "OPTION" geben
für den Befehl "--no-check-certificate", der das Zertifikat umgeht
Überprüfen Sie die Dateien und laden Sie sie in beide Richtungen herunter.


Sie erhalten dies, weil Sie den Thread verfasst haben.
Antworten Sie direkt auf diese E-Mail und zeigen Sie sie auf GitHub an
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-316697813 ,
oder den Thread stumm schalten
https://github.com/notifications/unsubscribe-auth/AToq-dkahjWJQtLEUu9_L5abWfPbiCuiks5sP1GYgaJpZM4OdQE1
.

Sie haben die Dateien manuell heruntergeladen, sodass dies nicht mehr erforderlich ist, aber es war mit diesem Befehl.

wget --user --ask-password -P -A csv.gz -m -p -E -k -K -np -nd " https://physionet.org/works/MIMICIIIClinicalDatabase/files/ " --no- Scheck-Zertifikat

@RJBeetel3 es sieht so aus, als ob Ihr Build wie erwartet voranschreitet. Die Tabellen wurden erstellt und die Daten wurden geladen. Sie warten derzeit darauf, dass chartevents geladen wird. Dies ist die größte Tabelle und dauert daher eine Weile.

Ist eine Bauzeit von mehr als 24 Stunden normal?

Am Do, 20. Juli 2017 um 7:22 Uhr, Tom Pollard [email protected]
schrieb:

@RJBeetel3 https://github.com/rjbeetel3 es sieht so aus, als wäre dein Build
verläuft wie erwartet. Die Tabellen wurden erstellt und die Daten haben
begann zu laden. Sie warten derzeit auf das Laden von Chartevents, die
ist der größte Tisch und dauert daher eine Weile.


Sie erhalten dies, weil Sie erwähnt wurden.
Antworten Sie direkt auf diese E-Mail und zeigen Sie sie auf GitHub an
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-316719199 ,
oder den Thread stumm schalten
https://github.com/notifications/unsubscribe-auth/AToq-RNZBrFIS9Gt01zrrdOqmhCA6hxcks5sP2K3gaJpZM4OdQE1
.

@RJBeetel3 Wir haben Berichte über lange Ladezeiten erhalten (siehe: https://github.com/MIT-LCP/mimic-code/issues/215 und https://github.com/MIT-LCP/mimic-code/issues /181), aber 24h erscheint zu lang. Sind Sie sicher, dass (1) Ihr Computer/Ihre Festplatte während dieser Zeit nicht in den Energiesparmodus wechselt und (2) Sie genügend Speicherplatz auf Ihrer Festplatte haben (~80 GB)?

es sieht so aus, als hätte ich nach "/mimic_data" keinen Backslash eingefügt. macht dies
Bedeutet, dass ich den Build-Prozess wiederholen muss?


-- Nach Daten suchen --


Kann nicht gefunden werden
/Users/robertbeetel/anaconda/projects/mimic-code-master/mimic_dataADMISSIONS.csv

  • Ausstieg vor dem Bau.

make[1]: * [mimic-check] Fehler 1

make: * [mimic-check] Fehler 2

Am Freitag, 21. Juli 2017 um 7:38 Uhr, Tom Pollard [email protected]
schrieb:

@RJBeetel3 https://github.com/rjbeetel3 Wir haben lange Berichte gehabt
Ladezeiten (siehe: #215
https://github.com/MIT-LCP/mimic-code/issues/215 und #181
https://github.com/MIT-LCP/mimic-code/issues/181 ) aber 24h scheint
übermäßig lang. Sind Sie sicher, dass (1) Ihre Maschine/Festplatte nicht in
Schlafmodus während dieser Zeit und (2) Sie haben genügend Speicherplatz auf Ihrer Festplatte
(~80GB) ?


Sie erhalten dies, weil Sie erwähnt wurden.
Antworten Sie direkt auf diese E-Mail und zeigen Sie sie auf GitHub an
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-317018723 ,
oder den Thread stumm schalten
https://github.com/notifications/unsubscribe-auth/AToq-ZqPGSUjAqwoRjEICsDDd_Fu_r5fks5sQLf0gaJpZM4OdQE1
.

es sieht so aus, als hätte ich nach "/mimic_data" keinen Backslash eingefügt. Bedeutet das, dass ich den Build-Prozess wiederholen muss?

Nein, der von Ihnen angegebene Pfad scheint in Ordnung zu sein. Ihr früherer Beitrag enthält den folgenden Fortschrittsbericht:

...

COPY 58976

COPY 34499

COPY 7567

...was anzeigt, dass drei der Tabellen bereits geladen wurden (die Tabelle admissions hat 58976 Zeilen, callout 34.499 Zeilen und caregivers 7.567 Zeilen). Die nächste Tabelle, chartevents , ist deutlich größer (~330.712.483 Zeilen).

Wenn Sie dies bestätigen möchten, versuchen Sie, sich in die Datenbank einzuloggen und die ersten drei Tabellen abzufragen (zB SELECT * FROM mimiciii.admissions LIMIT 10; zeigt die ersten 10 Zeilen der Zulassungstabelle an).

die Abfrage hat funktioniert. es sieht so aus, als ob ich im Geschäft bin.
vielen Dank

Am Freitag, 21. Juli 2017 um 10:42 Uhr, Tom Pollard [email protected]
schrieb:

Wenn Sie dies bestätigen möchten, versuchen Sie, sich in die Datenbank einzuloggen und abzufragen
die ersten drei Tabellen (zB SELECT * FROM mimiciii.admissions LIMIT 10;
zeigt die ersten 10 Zeilen der Aufnahmetabelle an).


Sie erhalten dies, weil Sie erwähnt wurden.
Antworten Sie direkt auf diese E-Mail und zeigen Sie sie auf GitHub an
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-317066159 ,
oder den Thread stumm schalten
https://github.com/notifications/unsubscribe-auth/AToq-U6zQp2XEbIG5Bw-CQ6dsAsACTfHks5sQOL-gaJpZM4OdQE1
.

Problem gelöst. Für weitere Personeninformationen. Ich habe den Befehl ausgeführt

  1. $ sql -U qing -d postgres
  2. Ändern Sie dann den Benutzernamen und den DB-Benutzer auf die entsprechenden Werte. Ich denke, set -d und DBNAME als mimiciii ist besser.

DBNAME := postgres
DBUSER := qing

  1. Rufen Sie die makeFile auf.

Und, ja!!, fertig!!

Ich konnte die mimischen Daten nicht auch in der Postgres-Datenbank auf dem Mac installieren. indem Sie das Makefile verwenden.

Ich habe Folgendes getan, bevor ich makeFile aufgerufen habe

  1. Postgres von Homebrew installiert
  2. alle in "/Users/qing/Documents/mimic/data/" gespeicherten mimic3-Tabellen heruntergeladen und aufgelöst
  3. Klonen Sie den Mimic-Code von GitHub
  4. starte den postgres-Server mit dem Befehl $brew service start postgresql

Dann habe ich das makeFile mit $make mimic datadir="/Users/qing/Documents/mimic/data/" aufgerufen. Bitte beziehen Sie sich auf den Fehler, den ich hatte. Habe ich Schritte verpasst? wie eine DB/ein Schema erstellen? Wenn ja, wie soll ich das machen?
Danke im Voraus.

Qings-MacBook-Air:~ qing$ pg_ctl -D /usr/local/var/postgres status
pg_ctl: Server läuft (PID: 2676)
/usr/local/Cellar/postgresql/9.6.3/bin/postgres "-D" "/usr/local/var/postgres"
Qings-MacBook-Air:~ qing$ egrep 'listen|port' /usr/local/var/postgres/postgresql.conf

listen_addresses = 'localhost' # welche IP-Adresse(n) abgehört werden soll;

port = 5432 # (Änderung erfordert Neustart)

                # supported by the operating system:
                # supported by the operating system:
                #   %r = remote host and port

Qings-MacBook-Air:~ qing$ cd Documents/workspace/github/mimic-code/buildmimic/postgres/
Qings-MacBook- Air:postgres qing$ make mimic datadir="/Users/qing/Documents/mimic/data/"


-- Nach Daten suchen --

Alle Daten vorhanden!


-- Gebäude MIMIC-III --

MIMIC_USER="postgres" MIMIC_DB="mimic" MIMIC_PASSWORD="" MIMIC_SCHEMA="mimiciii" ./create_mimic_user.sh
MIMIC_PASSWORD ist gesetzt
MIMIC_DB ist auf "nachahmen" gesetzt
MIMIC_USER ist auf 'postgres' gesetzt
FEHLER: Rolle "postgres" existiert bereits

FEHLER: Schema "mimiciii" existiert bereits

-- Gebäude MIMIC-III --


-- Tabellen erstellen --

psql "dbname=mimic user=postgres options=--search_path=mimiciii" -f postgres_create_tables.sql
psql:postgres_create_tables.sql :31: HINWEIS: Tabelle "Zulassungen" existiert nicht, wird übersprungen
DROP-TISCH
psql:postgres_create_tables.sql :55
ZEILE 1: TISCHEINTRITT ERSTELLEN
^
make: * [mimic-build] Fehler 3
Qings-MacBook- Air:postgres qing$

Hallo Tina, schön, dass du das Problem lösen konntest. Ich habe vor kurzem die README-Datei aufgeräumt, um etwas übersichtlicher zu sein, und auch das Makefile aufgeräumt. Hoffentlich werden andere Benutzer in Zukunft keine Probleme haben.

War diese Seite hilfreich?
0 / 5 - 0 Bewertungen