Mimic-code: Difficulté à créer une base de données à l'aide de PostgreSQL

Créé le 19 juil. 2017  ·  14Commentaires  ·  Source: MIT-LCP/mimic-code

Je ne suis pas très expérimenté dans la création de bases de données. Je suis sous mac os X 10.10.5
J'ai essayé de télécharger les fichiers à l'aide de make mimic-download mais j'ai obtenu l'erreur suivante :


-- Téléchargement de MIMIC-III depuis PhysioNet --

wget --user --ask-password -P -A csv.gz -m -p -E -k -K -np -nd " https://physionet.org/works/MIMICIIIClinicalDatabase/files/ "
--2017-07-19 13:32:39-- http://csv.gz/
La résolution de csv.gz (csv.gz)... a échoué : nom de nœud ni nom de serveur fournis, ou inconnu.
wget : impossible de résoudre l'adresse d'hôte 'csv.gz'
--2017-07-19 13:32:39-- https://physionet.org/works/MIMICIIIClinicalDatabase/files/
Résolution de physionet.org (physionet.org)... 128.30.30.88
Connexion à physionet.org (physionet.org)|128.30.30.88|:443... connecté.
ERREUR : impossible de vérifier le certificat de physionet.org, émis par 'CN=Let's Encrypt Authority X3,O=Let's Encrypt,C=US' :
Impossible de vérifier localement l'autorité de l'émetteur.
Pour vous connecter à physionet.org de manière non sécurisée, utilisez `--no-check-certificate'.
Liens convertis en 0 fichiers en 0 secondes.
make[1]: * [imiter-télécharger] Erreur 4make : * [imiter-télécharger] Erreur 2

J'ai ensuite téléchargé manuellement les fichiers de données et les ai décompressés. J'ai ensuite téléchargé et installé PostgreSQL. J'ai ensuite essayé de lancer :
make imiter datadir=/chemin vers les données/

à partir de la ligne de commande et j'ai eu des problèmes avec le mot de passe mimic/postgres.
J'ai modifié le script Makefile pour changer l'utilisateur en postgres afin que je puisse utiliser le mot de passe que j'ai spécifié lors de l'installation.
J'ai réexécuté :
make imiter datadir=/chemin vers les données/

et j'obtiens maintenant l'erreur suivante :

psql "dbname=mimic user=postgres options=--search_path=mimiciii" -f postgres_create_tables.sql
psql : FATAL : la base de données "mimic" n'existe pas
make[1]: * [mimic-build] Erreur 2make : * [mimic-build] Erreur 2

J'aimerais avoir de l'aide pour ça.
Merci,

Commentaire le plus utile

la requête a fonctionné. on dirait que je suis en affaires.
Merci beaucoup

Le ven 21 juil. 2017 à 10h42, Tom Pollard [email protected]
a écrit:

Si vous souhaitez confirmer cela, essayez de vous connecter à la base de données et d'interroger
les trois premières tables (par exemple SELECT * FROM mimiciii.admissions LIMIT 10 ;
affichera les 10 premières lignes du tableau des admissions).

-
Vous recevez ceci parce que vous avez été mentionné.
Répondez directement à cet e-mail, consultez-le sur GitHub
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-317066159 ,
ou couper le fil
https://github.com/notifications/unsubscribe-auth/AToq-U6zQp2XEbIG5Bw-CQ6dsAsACTfHks5sQOL-gaJpZM4OdQE1
.

Tous les 14 commentaires

Tout d'abord, vous n'êtes pas sûr de l'erreur wget concernant les certificats, peut-être
script ici : https://github.com/MIT-LCP/mimic-code/blob/9e05ab27b947b664f7ddbc5dcfe0c3e573c69fcc/buildmimic/postgres/Makefile#L156

Je pense que ce n'est pas de votre faute.. ce que j'imagine, c'est que le script essaie de créer un utilisateur nommé "postgres", qui échoue (car postgres existe déjà), et donc le reste du script (qui crée la base de données ) échoue. Nous devons probablement mettre à jour le makefile. En attendant, vous pouvez résoudre ce problème en exécutant :

psql -c "CREATE DATABASE mimic;"
psql -d mimic -c "CREATE SCHEMA mimiciii;"

Après cela, exécutez simplement make mimic-build datadir=/path to data/ ... qui devrait lancer l'installation des données. Faites-moi savoir comment vous vous en sortez.

Alistair,
Merci pour l'aide. J'ai suivi vos instructions et j'ai lancé mimic-build
comme décrit ci-dessus hier soir. J'obtiens ce qui suit qui n'a pas
changé/progressé au cours de la nuit :

psql "dbname=mimic user=mimic options=--search_path=mimiciii" -f
postgres_create_tables.sql

psql:postgres_create_tables.sql :31 : AVIS : la table « admissions » ne
exister, sauter

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :61 : AVIS : la table « légende » ne fonctionne pas
exister, sauter

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :95 : AVIS : la table « soignants » ne
exister, sauter

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :110 : AVIS : la table "chartevents" ne fonctionne pas
exister, sauter

DÉPOSER LA TABLE

CRÉER UN TABLEAU

CRÉER UN TABLEAU

CRÉER UN TABLEAU

CRÉER UN TABLEAU

CRÉER UN TABLEAU

CRÉER UN TABLEAU

CRÉER UN TABLEAU

CRÉER UN TABLEAU

CRÉER UN TABLEAU

CRÉER UN TABLEAU

CRÉER UN TABLEAU

CRÉER UN TABLEAU

CRÉER UN TABLEAU

CRÉER UN TABLEAU

CRÉER UN TABLEAU

CRÉER UNE FONCTION

CRÉER UN DÉCLENCHEUR

psql:postgres_create_tables.sql :185 : AVIS : la table "cptevents" ne fonctionne pas
exister, sauter

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :207 : AVIS : la table "datetimeevents" ne
n'existe pas, saute

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :231 : AVIS : la table "diagnoses_icd" ne
n'existe pas, saute

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :246 : AVIS : la table "drgcodes" ne fonctionne pas
exister, sauter

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :264 : AVIS : la table "d_cpt" n'existe pas,
saut

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :284 : AVIS : la table "d_icd_diagnoses" ne
n'existe pas, saute

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :299 : AVIS : la table "d_icd_procedures" ne
n'existe pas, saute

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :314 : AVIS : la table "d_items" ne fonctionne pas
exister, sauter

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :335 : AVIS : la table "d_labitems" ne fonctionne pas
exister, sauter

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :352 : AVIS : la table "icustays" ne fonctionne pas
exister, sauter

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :375 : AVIS : la table "inputevents_cv" ne
n'existe pas, saute

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :407 : AVIS : la table "inputevents_mv" ne
n'existe pas, saute

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :448 : AVIS : la table "labevents" ne fonctionne pas
exister, sauter

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :467 : AVIS : table « événements de microbiologie »
n'existe pas, sauter

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :493 : AVIS : la table "noteevents" ne fonctionne pas
exister, sauter

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :514 : AVIS : la table "outputevents" ne fonctionne pas
exister, sauter

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :537: AVIS : la table "patients" ne
exister, sauter

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :556: AVIS : la table "prescriptions" ne
n'existe pas, saute

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :585 : AVIS : table "procedureevents_mv"
n'existe pas, sauter

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :620 : AVIS : la table "procedures_icd" ne
n'existe pas, saute

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :635 : AVIS : la table "services" ne fonctionne pas
exister, sauter

DÉPOSER LA TABLE

CRÉER UN TABLEAU

psql:postgres_create_tables.sql :651 : AVIS : la table "transferts" ne
exister, sauter

DÉPOSER LA TABLE

CRÉER UN TABLEAU


-- Chargement des données --


psql "dbname=mimic user=mimic options=--search_path=mimiciii" -f
postgres_load_data.sql -v
mimic_data_dir=/Users/robertbeetel/anaconda/projects/mimic-code-master/mimic_data

COPIE 58976

COPIE 34499

COPIE 7567

Le mer. 19 juillet 2017 à 17h23, Alistair Johnson [email protected]
a écrit:

Tout d'abord, pas sûr de l'erreur wget concernant les certificats, peut-être
@elfeto https://github.com/elfeto vous savez si ce message d'erreur
questions? Pour info, le but du wget est simplement de télécharger les CSV
de physionet -
script ici : https://github.com/MIT-LCP/mimic-code/blob/
9e05ab27b947b664f7ddbc5dcfe0c3e573c69fcc/buildmimic/postgres/Makefile#L156

Je pense que ce n'est pas de ta faute.. ce que j'imagine qui se passe, c'est le script
essaie de créer un utilisateur nommé "postgres", qui échoue (car postgres
existe déjà), et donc le reste du script (qui crée la base de données)
échoue. Nous devons probablement mettre à jour le makefile. En attendant, vous pouvez
corrigez cela en exécutant :

psql -c "CRÉER UNE BASE DE DONNÉES imiter ;"
psql -d mimic -c "CREATE SCHEMA mimiciii;"

Après cela, exécutez simplement make mimic-build datadir=/path to data/ ...
cela devrait lancer l'installation des données. Faites-moi savoir comment vous vous en sortez.

-
Vous recevez ceci parce que vous avez créé le fil.
Répondez directement à cet e-mail, consultez-le sur GitHub
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-316560526 ,
ou couper le fil
https://github.com/notifications/unsubscribe-auth/AToq-ReCbCcAN9mOYlTPSrWsr-cp3pjYks5sPp4DgaJpZM4OdQE1
.

Salut, j'ai vérifié le certificat et il n'y a aucun problème avec eux. Comme ils proviennent de "Let's Encrypt Authority", cela peut causer des problèmes à certaines personnes. Mais il devrait y avoir l'avertissement et il devrait y avoir l'"OPTION" pour la commande "--no-check-certificate" qui contournera la vérification du certificat et téléchargera les fichiers de toute façon.

où doit-on placer l'option "--no-check-certificate" ? dans le
Makefile ?
Merci

Le jeu. 20 juillet 2017 à 06h09, elfeto [email protected] a écrit :

Salut, j'ai vérifié le certificat et il n'y a aucun problème avec eux. Depuis
ils proviennent de "Let's Encrypt Authority", cela peut causer des problèmes avec certains
personnes. Mais il devrait y avoir l'avertissement et il devrait y avoir l'"OPTION"
pour la commande "--no-check-certificate" qui contournera le certificat
vérifiez et téléchargez les fichiers de toute façon.

-
Vous recevez ceci parce que vous avez créé le fil.
Répondez directement à cet e-mail, consultez-le sur GitHub
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-316697813 ,
ou couper le fil
https://github.com/notifications/unsubscribe-auth/AToq-dkahjWJQtLEUu9_L5abWfPbiCuiks5sP1GYgaJpZM4OdQE1
.

Vous avez téléchargé les fichiers manuellement, ce n'est donc plus nécessaire, mais c'était sur cette commande.

wget --user --ask-password -P -A csv.gz -m -p -E -k -K -np -nd " https://physionet.org/works/MIMICIIIClinicalDatabase/files/ " --no- chèque-certificat

@ RJBeetel3 il semble que votre build progresse comme prévu. Les tables ont été créées et les données ont commencé à se charger. Vous attendez actuellement le chargement de chartevents, qui est la plus grande table et prend donc un certain temps.

Est-ce qu'un temps de construction dépassant 24 heures est normal ?

Le jeu. 20 juil. 2017 à 7h22, Tom Pollard [email protected]
a écrit:

@ RJBeetel3 https://github.com/rjbeetel3 il semble que votre version soit
progresse comme prévu. Les tableaux ont été créés et les données ont
commencé à charger. Vous attendez actuellement le chargement des chartevents, ce qui
est la plus grande table et prend donc un certain temps.

-
Vous recevez ceci parce que vous avez été mentionné.
Répondez directement à cet e-mail, consultez-le sur GitHub
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-316719199 ,
ou couper le fil
https://github.com/notifications/unsubscribe-auth/AToq-RNZBrFIS9Gt01zrrdOqmhCA6hxcks5sP2K3gaJpZM4OdQE1
.

@ RJBeetel3 Nous avons eu des rapports de longs temps de chargement (voir : https://github.com/MIT-LCP/mimic-code/issues/215 et https://github.com/MIT-LCP/mimic-code/issues /181) mais 24h semble excessivement long. Êtes-vous sûr que (1) votre machine/disque ne passe pas en mode veille pendant ce temps et (2) que vous disposez de suffisamment d'espace sur votre disque (~80 Go) ?

il semble que je n'ai pas inclus de barre oblique inverse après "/mimic_data". est ce que ca
signifie que je dois refaire le processus de construction?


-- Vérification des données --


Impossible à trouver
/Users/robertbeetel/anaconda/projects/mimic-code-master/mimic_dataADMISSIONS.csv

  • sortie avant la construction.

make[1]: * [mimic-check] Erreur 1

make : * [mimic-check] Erreur 2

Le vendredi 21 juillet 2017 à 7h38, Tom Pollard [email protected]
a écrit:

@ RJBeetel3 https://github.com/rjbeetel3 Nous avons eu des rapports de longue
temps de chargement (voir : #215
https://github.com/MIT-LCP/mimic-code/issues/215 et #181
https://github.com/MIT-LCP/mimic-code/issues/181 ) mais 24h semble
excessivement long. Êtes-vous sûr que (1) votre machine/disque n'entre pas en
mode veille pendant ce temps et (2) vous avez suffisamment d'espace sur votre disque
(~80 Go) ?

-
Vous recevez ceci parce que vous avez été mentionné.
Répondez directement à cet e-mail, consultez-le sur GitHub
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-317018723 ,
ou couper le fil
https://github.com/notifications/unsubscribe-auth/AToq-ZqPGSUjAqwoRjEICsDDd_Fu_r5fks5sQLf0gaJpZM4OdQE1
.

il semble que je n'ai pas inclus de barre oblique inverse après "/mimic_data". cela signifie-t-il que je dois refaire le processus de construction ?

Non, le chemin que vous avez fourni semble bien. Votre message précédent comprend le rapport d'avancement suivant :

...

COPY 58976

COPY 34499

COPY 7567

... ce qui indique que trois des tables ont déjà été chargées (la table admissions est de 58976 lignes, callout est de 34 499 lignes et caregivers est de 7 567 lignes). Le tableau suivant, chartevents , est nettement plus gros (~ 330 712 483 lignes).

Si vous souhaitez confirmer cela, essayez de vous connecter à la base de données et d'interroger les trois premières tables (par exemple, SELECT * FROM mimiciii.admissions LIMIT 10; affichera les 10 premières lignes de la table des admissions).

la requête a fonctionné. on dirait que je suis en affaires.
Merci beaucoup

Le ven 21 juil. 2017 à 10h42, Tom Pollard [email protected]
a écrit:

Si vous souhaitez confirmer cela, essayez de vous connecter à la base de données et d'interroger
les trois premières tables (par exemple SELECT * FROM mimiciii.admissions LIMIT 10 ;
affichera les 10 premières lignes du tableau des admissions).

-
Vous recevez ceci parce que vous avez été mentionné.
Répondez directement à cet e-mail, consultez-le sur GitHub
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-317066159 ,
ou couper le fil
https://github.com/notifications/unsubscribe-auth/AToq-U6zQp2XEbIG5Bw-CQ6dsAsACTfHks5sQOL-gaJpZM4OdQE1
.

Problème résolu. Pour plus d'informations. j'ai exécuté la commande

  1. $ sql -U qing -d postgres
  2. Remplacez ensuite le nom d'utilisateur et l'utilisateur de la base de données par les valeurs correspondantes. Je suppose que définir -d et DBNAME comme mimiciii est mieux.

DBNAME := postgres
DBUSER := qing

  1. Appelez le makeFile.

Et oui !! c'est fait !!

Je ne pouvais pas non plus installer les données d'imitation dans la base de données postgres sous Mac. en utilisant le makefile.

J'ai fait ce qui suit avant d'appeler makeFile

  1. postgres installé par homebrew
  2. téléchargé et décomposé toutes les tables mimic3 stockées dans "/Users/qing/Documents/mimic/data/"
  3. cloner le mimic-code de GitHub
  4. démarrez le serveur postgres avec la commande $brew service start postgresql

Ensuite, j'ai appelé le makeFile, par $make mimic datadir="/Users/qing/Documents/mimic/data/". Veuillez vous référer à l'erreur que j'ai eue. Ai-je raté des étapes ? comme créer une base de données/schéma ? Le cas échéant, comment dois-je procéder ?
Merci d'avance.

Qings-MacBook-Air:~ qing$ pg_ctl -D /usr/local/var/postgres status
pg_ctl : le serveur est en cours d'exécution (PID : 2676)
/usr/local/Cellar/postgresql/9.6.3/bin/postgres "-D" "/usr/local/var/postgres"
Qings-MacBook-Air:~ qing$ egrep 'écouter|port' /usr/local/var/postgres/postgresql.conf

listen_addresses = 'localhost' # sur quelle(s) adresse(s) IP écouter ;

port = 5432 # (le changement nécessite un redémarrage)

                # supported by the operating system:
                # supported by the operating system:
                #   %r = remote host and port

Qings-MacBook-Air :~ qing$ cd Documents/workspace/github/mimic-code/buildmimic/postgres/
Qings-MacBook- Air:postgres qing$ make mimic datadir="/Users/qing/Documents/mimic/data/"


-- Vérification des données --

Toutes les données présentes !


-- Bâtiment MIMIC-III --

MIMIC_USER="postgres" MIMIC_DB="mimic" MIMIC_PASSWORD="" MIMIC_SCHEMA="mimiciii" ./create_mimic_user.sh
MIMIC_PASSWORD est défini
MIMIC_DB est défini sur « imiter »
MIMIC_USER est défini sur 'postgres'
ERREUR : le rôle "postgres" existe déjà

ERREUR : le schéma "mimiciii" existe déjà

-- Bâtiment MIMIC-III --


-- Création de tableaux --

psql "dbname=mimic user=postgres options=--search_path=mimiciii" -f postgres_create_tables.sql
psql:postgres_create_tables.sql :31 : AVIS : la table "admissions" n'existe pas, sautée
DÉPOSER LA TABLE
psql:postgres_create_tables.sql :55: ERREUR : aucun schéma n'a été sélectionné pour créer dans
LIGNE 1 : CRÉER DES ADMISSIONS DE TABLE
^
make : * [mimic-build] Erreur 3
Qings-MacBook- Air:postgres qing$

Bonjour Tina, content que vous ayez pu résoudre le problème. J'ai récemment rangé le README pour qu'il soit un peu plus clair et j'ai également rangé le makefile. Espérons que d'autres utilisateurs n'auront pas de problèmes à l'avenir.

Cette page vous a été utile?
0 / 5 - 0 notes