Mimic-code: صعوبة في بناء قاعدة بيانات باستخدام PostgreSQL

تم إنشاؤها على ١٩ يوليو ٢٠١٧  ·  14تعليقات  ·  مصدر: MIT-LCP/mimic-code

لست من ذوي الخبرة الرهيبة في بناء قواعد البيانات. أنا أعمل على نظام التشغيل Mac OS X 10.10.5
حاولت تنزيل الملفات باستخدام make mimic-download لكنني حصلت على الخطأ التالي:


- تنزيل MIMIC-III من PhysioNet -

wget --user --ask-password -P -A csv.gz -m -p -E -k -K -np -nd " https://physionet.org/works/MIMICIIIClinicalDatabase/files/ "
--2017-07-19 13: 32: 39 - http: //csv.gz/
فشل حل csv.gz (csv.gz) ...: تم تقديم اسم nodename أو servname ، أو غير معروف.
wget: غير قادر على حل عنوان المضيف "csv.gz"
--2017-07-19 13: 32: 39 - https://physionet.org/works/MIMICIIIClinicalDatabase/files/
حل physionet.org (physionet.org) ... 128.30.30.88
الاتصال بـ physionet.org (physionet.org) | 128.30.30.88 |: 443 ... متصل.
خطأ: لا يمكن التحقق من شهادة physionet.org الصادرة عن 'CN = Let's Encrypt Authority X3، O = Let's Encrypt، C = US':
غير قادر على التحقق محليًا من سلطة المُصدر.
للاتصال بـ physionet.org بشكل غير آمن ، استخدم "- no-check-Certificate".
الروابط المحولة في 0 ملف في 0 ثانية.
جعل [1]: * [يقلد تنزيل] خطأ 4جعل: * [يقلد تنزيل] خطأ 2

ثم قمت بعد ذلك بتنزيل ملفات البيانات يدويًا وفك ضغطها. ثم قمت بعد ذلك بتنزيل PostgreSQL وتثبيته. ثم حاولت الجري:
جعل datadir تقليد = / مسار البيانات /

من سطر الأوامر وواجهت مشكلات مع كلمة مرور التقليد / postgres.
لقد قمت بتعديل البرنامج النصي Makefile لتغيير المستخدم إلى postgres حتى أتمكن من استخدام كلمة المرور التي حددتها عند التثبيت.
أعدت الجري:
جعل datadir تقليد = / مسار البيانات /

وأنا الآن أتلقى الخطأ التالي:

psql "dbname = mimic user = postgres options = - search_path = mimiciii" -f postgres_create_tables.sql
psql: FATAL: قاعدة البيانات "mimic" غير موجودة
جعل [1]: * [محاكاة بناء] خطأ 2يصنع: * [mimic-build] خطأ 2

أود بعض المساعدة في هذا.
شكرا،

التعليق الأكثر فائدة

نجح الاستعلام. يبدو أنني في العمل.
شكرا جزيلا

يوم الجمعة ، 21 تموز (يوليو) 2017 ، الساعة 10:42 صباحًا ، Tom Pollard [email protected]
كتب:

إذا كنت ترغب في تأكيد ذلك ، فحاول تسجيل الدخول إلى قاعدة البيانات والاستعلام
الجداول الثلاثة الأولى (مثل SELECT * من mimiciii.admissions LIMIT 10 ؛
سيعرض أول 10 صفوف من جدول القبول).

-
أنت تتلقى هذا لأنه تم ذكرك.
قم بالرد على هذا البريد الإلكتروني مباشرة ، وقم بعرضه على GitHub
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-317066159 ،
أو كتم الخيط
https://github.com/notifications/unsubscribe-auth/AToq-U6zQp2XEbIG5Bw-CQ6dsAsACTfHks5sQOL-gaJpZM4OdQE1
.

ال 14 كومينتر

أولاً ، لست متأكدًا من خطأ wget فيما يتعلق بالشهادات ، ربما elf لتعرف ما إذا كانت رسالة الخطأ هذه مهمة؟ لمعلوماتك ، الهدف من أداة wget هو ببساطة تنزيل ملفات CSV من موقع physionet -
البرنامج النصي هنا: https://github.com/MIT-LCP/mimic-code/blob/9e05ab27b947b664f7ddbc5dcfe0c3e573c69fcc/buildmimic/postgres/Makefile#L156

أعتقد أن هذا ليس خطأك .. ما أتخيل أنه يحدث هو أن البرنامج النصي يحاول إنشاء مستخدم باسم "postgres" ، والذي فشل (لأن postgres موجود بالفعل) ، وبالتالي فإن بقية النص (الذي ينشئ قاعدة البيانات ) فشل. ربما نحتاج إلى تحديث ملف makefile. في غضون ذلك ، يمكنك إصلاح ذلك عن طريق تشغيل:

psql -c "CREATE DATABASE mimic;"
psql -d mimic -c "CREATE SCHEMA mimiciii;"

بعد القيام بذلك ، ما عليك سوى تشغيل make mimic-build datadir=/path to data/ ... من المفترض أن يبدأ تثبيت البيانات. اسمحوا لي أن أعرف كيف أجرة.

أليستير،
شكرا للمساعدة. لقد اتبعت تعليماتك وقمت بتشغيل محاكاة البناء
كما هو موضح أعلاه الليلة الماضية. أحصل على ما يلي الذي لا
تغيرت / تقدم خلال الليل:

psql "dbname = mimic user = mimic options = - search_path = mimiciii" -f
postgres_create_tables.sql

psql: postgres_create_tables.sql : 31: إشعار: الجدول "القبول" لا
موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 61: إشعار: الجدول "وسيلة الشرح" لا
موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 95: ملاحظة: الجدول "مقدمو الرعاية" لا
موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 110: ملاحظة: الجدول "chartevents" لا
موجود ، تخطي

إسقاط الجدول

اصنع جدول

اصنع جدول

اصنع جدول

اصنع جدول

اصنع جدول

اصنع جدول

اصنع جدول

اصنع جدول

اصنع جدول

اصنع جدول

اصنع جدول

اصنع جدول

اصنع جدول

اصنع جدول

اصنع جدول

إنشاء الوظيفة

إنشاء المشغل

psql: postgres_create_tables.sql : 185: ملاحظة: الجدول "cptevents" لا
موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 207: إشعار: الجدول "datetimeevents" يفعل
غير موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 231: إشعار: الجدول "
غير موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 246: ملاحظة: الجدول "drgcodes" لا
موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 264: ملاحظة: الجدول "d_cpt" غير موجود ،
الطفر

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 284: إشعار: الجدول "d_icd_diagnoses" يفعل
غير موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 299: إشعار: الجدول "d_icd_procedures" يفعل
غير موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 314: ملاحظة: الجدول "d_items" لا
موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 335: ملاحظة: الجدول "d_labitems" لا
موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 352: ملاحظة: الجدول "icustays" لا
موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 375: إشعار: الجدول "inputevents_cv" يفعل
غير موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 407: إشعار: الجدول "inputevents_mv" يفعل
غير موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 448: ملاحظة: الجدول "labevents" لا
موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 467: إشعار: جدول "microbiologyevents"
غير موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 493: إشعار: الجدول "noteevents" لا
موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 514: ملاحظة: الجدول "outputevents" لا
موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 537: ملاحظة: جدول "المرضى" لا
موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 556: ملاحظة: الجدول "الوصفات الطبية" يفعل
غير موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 585: إشعار: جدول "procedureevents_mv"
غير موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 620: إشعار: الجدول "الإجراءات_
غير موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 635: ملاحظة: الجدول "services" لا
موجود ، تخطي

إسقاط الجدول

اصنع جدول

psql: postgres_create_tables.sql : 651: إشعار: جدول "عمليات النقل" لا
موجود ، تخطي

إسقاط الجدول

اصنع جدول


-- تحميل البيانات --


psql "dbname = mimic user = mimic options = - search_path = mimiciii" -f
postgres_load_data.sql -v
mimic_data_dir = / Users / robertbeetel / anaconda / projects / mimic-code-master / mimic_data

نسخة 58976

نسخة 34499

نسخة 7567

يوم الأربعاء ، 19 تموز (يوليو) 2017 ، الساعة 5:23 مساءً ، Alistair Johnson [email protected]
كتب:

أولاً ، لست متأكدًا من خطأ wget فيما يتعلق بالشهادات ، ربما
elfeto https://github.com/elfeto أنت تعرف ما إذا كانت رسالة الخطأ هذه
القضايا؟ لمعلوماتك ، فإن الهدف من الأداة الذكية هو ببساطة تنزيل ملفات CSV
من فيزيونت -
البرنامج النصي هنا: https://github.com/MIT-LCP/mimic-code/blob/
9e05ab27b947b664f7ddbc5dcfe0c3e573c69fcc / buildmimic / postgres / Makefile # L156

أعتقد أن هذا ليس خطأك .. ما أتخيل أنه يحدث هو السيناريو
يحاول إنشاء مستخدم باسم "postgres" ، والذي فشل (لأن postgres
موجود بالفعل) ، وبالتالي فإن باقي النص (الذي ينشئ قاعدة البيانات)
فشل. ربما نحتاج إلى تحديث ملف makefile. في غضون ذلك ، يمكنك
إصلاح هذا عن طريق تشغيل:

psql -c "إنشاء محاكاة قاعدة البيانات ؛"
psql -d mimic -c "CREATE SCHEMA mimiciii؛"

بعد القيام بذلك ، ما عليك سوى تشغيل make mimic-build datadir = / path to data / ...
يجب أن يبدأ تثبيت البيانات. اسمحوا لي أن أعرف كيف أجرة.

-
أنت تتلقى هذا لأنك قمت بتأليف الموضوع.
قم بالرد على هذا البريد الإلكتروني مباشرة ، وقم بعرضه على GitHub
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-316560526 ،
أو كتم الخيط
https://github.com/notifications/unsubscribe-auth/AToq-ReCbCcAN9mOYlTPSrWsr-cp3pjYks5sPp4DgaJpZM4OdQE1
.

مرحبًا ، لقد راجعت الشهادة ولا توجد مشكلة معهم. نظرًا لأنهم من "Let's Encrypt Authority" فقد يتسبب ذلك في مشكلة مع بعض الأشخاص. ولكن يجب أن يكون هناك إخلاء المسؤولية ويجب أن يكون هناك "خيار" للأمر "- no-check-Certificate" الذي سيتجاوز فحص الشهادة ، وينزل الملفات في كلتا الحالتين.

أين يجب وضع خيار "عدم التحقق من الشهادة"؟ في ال
Makefile؟
شكرا

في الخميس 20 يوليو 2017 الساعة 6:09 صباحًا ، كتب elfeto [email protected] :

مرحبًا ، لقد راجعت الشهادة ولا توجد مشكلة معهم. حيث
هم من "دعونا نشفر السلطة" قد يسبب مشكلة مع البعض
اشخاص. ولكن يجب أن يكون هناك إخلاء المسؤولية ويجب أن يكون هناك "خيار"
للأمر "- no-check-Certificate" الذي سيتجاوز الشهادة
تحقق وتنزيل الملفات في كلتا الحالتين.

-
أنت تتلقى هذا لأنك قمت بتأليف الموضوع.
قم بالرد على هذا البريد الإلكتروني مباشرة ، وقم بعرضه على GitHub
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-316697813 ،
أو كتم الخيط
https://github.com/notifications/unsubscribe-auth/AToq-dkahjWJQtLEUu9_L5abWfPbiCuiks5sP1GYgaJpZM4OdQE1
.

لقد قمت بتنزيل الملفات يدويًا ، لذا لم تعد هناك حاجة لذلك ، ولكن تم ذلك بناءً على هذا الأمر.

wget --user --ask-password -P -A csv.gz -m -p -E -k -K -np -nd " https://physionet.org/works/MIMICIIIClinicalDatabase/files/ " --no- فحص الشهادة

@ RJBeetel3 يبدو أن البناء الخاص بك يتقدم كما هو متوقع. تم إنشاء الجداول وبدأ تحميل البيانات. أنت تنتظر حاليًا تحميل أحداث المخطط ، وهو أكبر جدول ويستغرق بعض الوقت.

هل وقت البناء يتجاوز 24 ساعة طبيعي؟

يوم الخميس ، 20 تموز (يوليو) 2017 ، الساعة 7:22 صباحًا ، توم بولارد [email protected]
كتب:

@ RJBeetel3 https://github.com/rjbeetel3 يبدو أن التصميم الخاص بك هو
تتقدم كما هو متوقع. تم إنشاء الجداول والبيانات
بدأ في التحميل. أنت تنتظر حاليًا تحميل أحداث المخطط ، والتي
هو أكبر جدول ويستغرق بعض الوقت.

-
أنت تتلقى هذا لأنه تم ذكرك.
قم بالرد على هذا البريد الإلكتروني مباشرة ، وقم بعرضه على GitHub
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-316719199 ،
أو كتم الخيط
https://github.com/notifications/unsubscribe-auth/AToq-RNZBrFIS9Gt01zrrdOqmhCA6hxcks5sP2K3gaJpZM4OdQE1
.

@ RJBeetel3 لدينا تقارير عن أوقات التحميل الطويلة (انظر: https://github.com/MIT-LCP/mimic-code/issues/215 و https://github.com/MIT-LCP/mimic-code/issues / 181) لكن 24 ساعة تبدو طويلة للغاية. هل أنت متأكد من أن (1) جهازك / القرص لا يدخل في وضع السكون خلال ذلك الوقت و (2) لديك مساحة كافية على القرص الخاص بك (حوالي 80 جيجابايت)؟

يبدو أنني لم أقم بتضمين الشرطة المائلة للخلف بعد "/ mimic_data". يفعل هذا
يعني لا بد لي من إعادة عملية البناء؟


- التحقق من البيانات -


تعذر العثور
/Users/robertbeetel/anaconda/projects/mimic-code-master/mimic_dataADMISSIONS.csv

  • الخروج قبل البناء.

جعل [1]: * [فحص التقليد] خطأ 1

جعل: * [فحص التقليد] خطأ 2

يوم الجمعة ، 21 تموز (يوليو) 2017 ، الساعة 7:38 صباحًا ، Tom Pollard [email protected]
كتب:

@ RJBeetel3 https://github.com/rjbeetel3 لدينا تقارير طويلة
أوقات التحميل (انظر: # 215
https://github.com/MIT-LCP/mimic-code/issues/215 و # 181
https://github.com/MIT-LCP/mimic-code/issues/181 ) ولكن يبدو أن 24 ساعة
طويل بشكل مفرط. هل أنت متأكد من أن (1) جهازك / قرصك لن يدخل
وضع السكون خلال ذلك الوقت و (2) لديك مساحة كافية على القرص الخاص بك
(~ 80 جيجابايت)؟

-
أنت تتلقى هذا لأنه تم ذكرك.
قم بالرد على هذا البريد الإلكتروني مباشرة ، وقم بعرضه على GitHub
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-317018723 ،
أو كتم الخيط
https://github.com/notifications/unsubscribe-auth/AToq-ZqPGSUjAqwoRjEICsDDd_Fu_r5fks5sQLf0gaJpZM4OdQE1
.

يبدو أنني لم أقم بتضمين الشرطة المائلة للخلف بعد "/ mimic_data". هل هذا يعني أنه يجب علي إعادة إجراء عملية البناء؟

لا ، المسار الذي قدمته يبدو جيدًا. تتضمن مشاركتك السابقة تقرير التقدم التالي:

...

COPY 58976

COPY 34499

COPY 7567

... مما يشير إلى أن ثلاثة من الجداول قد تم تحميلها بالفعل (الجدول admissions هو 58976 صفاً ، callout 34،499 صفاً ، و caregivers 7،567 صفاً). الجدول التالي ، chartevents ، أكبر بكثير (~ 330712483 صفًا).

إذا كنت ترغب في تأكيد ذلك ، فحاول تسجيل الدخول إلى قاعدة البيانات والاستعلام عن الجداول الثلاثة الأولى (على سبيل المثال ، سيعرض SELECT * FROM mimiciii.admissions LIMIT 10; أول 10 صفوف من جدول القبول).

نجح الاستعلام. يبدو أنني في العمل.
شكرا جزيلا

يوم الجمعة ، 21 تموز (يوليو) 2017 ، الساعة 10:42 صباحًا ، Tom Pollard [email protected]
كتب:

إذا كنت ترغب في تأكيد ذلك ، فحاول تسجيل الدخول إلى قاعدة البيانات والاستعلام
الجداول الثلاثة الأولى (مثل SELECT * من mimiciii.admissions LIMIT 10 ؛
سيعرض أول 10 صفوف من جدول القبول).

-
أنت تتلقى هذا لأنه تم ذكرك.
قم بالرد على هذا البريد الإلكتروني مباشرة ، وقم بعرضه على GitHub
https://github.com/MIT-LCP/mimic-code/issues/259#issuecomment-317066159 ،
أو كتم الخيط
https://github.com/notifications/unsubscribe-auth/AToq-U6zQp2XEbIG5Bw-CQ6dsAsACTfHks5sQOL-gaJpZM4OdQE1
.

تم حل المشكلة. لمزيد من المعلومات. لقد قمت بتشغيل الأمر

  1. $ sql -U qing -d postgres
  2. ثم قم بتغيير اسم المستخدم ومستخدم قاعدة البيانات إلى القيم المقابلة. أعتقد أن set -d و DBNAME لأن mimiciii أفضل.

DBNAME: = postgres
دبوسر: = تشينغ

  1. استدعاء makeFile.

ونعم !! ، انتهى !!

لم أتمكن من تثبيت البيانات المقلدة في قاعدة بيانات postgres أيضًا في Mac. عن طريق استخدام makefile.

فعلت ما يلي قبل استدعاء makeFile

  1. تثبيت postgres بواسطة البيرة
  2. تم تنزيل وفصل جميع جداول mimic3 المخزنة في "/ Users / qing / Documents / mimic / data /"
  3. استنساخ رمز التقليد من جيثب
  4. ابدأ تشغيل خادم postgres باستخدام الأمر $ brew service start postgresql

ثم اتصلت بـ makeFile بواسطة $ make mimic datadir = "/ Users / qing / Documents / mimic / data /". يرجى الرجوع إلى الخطأ لدي. هل فاتني أي خطوات؟ مثل إنشاء قاعدة بيانات / مخطط؟ إن وجد ، كيف أفعل ذلك؟
شكرا لك مقدما.

Qings-MacBook-Air: ~ qing $ pg_ctl -D / usr / local / var / postgres status
pg_ctl: الخادم يعمل (PID: 2676)
/usr/local/Cellar/postgresql/9.6.3/bin/postgres "-D" "/ usr / local / var / postgres"
Qings-MacBook-Air: ~ qing $ egrep "استمع | منفذ" /usr/local/var/postgres/postgresql.conf

listen_addresses = 'localhost' # عنوان (عناوين) IP للاستماع عليها ؛

المنفذ = 5432 # (التغيير يتطلب إعادة التشغيل)

                # supported by the operating system:
                # supported by the operating system:
                #   %r = remote host and port

Qings-MacBook-Air: ~ qing $ cd Documents / workspace / github / mimic-code / buildmimic / postgres /
Qings-MacBook- Air: postgres qing $ make mimic datadir = "/ Users / qing / Documents / mimic / data /"


- التحقق من البيانات -

كل البيانات موجودة!


- بناء MIMIC-III -

MIMIC_USER = "postgres" MIMIC_DB = "تقليد" MIMIC_PASSWORD = "" MIMIC_SCHEMA = "mimiciii" ./create_mimic_user.sh
تم تعيين MIMIC_PASSWORD
تم تعيين MIMIC_DB على "تقليد"
تم تعيين MIMIC_USER على "postgres"
خطأ: الدور "postgres" موجود بالفعل

خطأ: مخطط قاعدة البيانات "mimiciii" موجود بالفعل

- بناء MIMIC-III -


- إنشاء الجداول -

psql "dbname = mimic user = postgres options = - search_path = mimiciii" -f postgres_create_tables.sql
psql: postgres_create_tables.sql : 31: إشعار: جدول "القبول" غير موجود ، تخطي
إسقاط الجدول
psql: postgres_create_tables.sql : 55: خطأ: لم يتم تحديد مخطط
السطر 1: إنشاء عمليات قبول الجدول
^
يصنع: * [mimic-build] خطأ 3
Qings-MacBook- Air: postgres qing $

مرحبًا تينا - سعيد لأنك تمكنت من حل المشكلة. لقد قمت مؤخرًا بترتيب ملف README ليكون أوضح قليلاً وقمت أيضًا بترتيب ملف makefile. نأمل ألا يواجه المستخدمون الآخرون مشكلات في المستقبل.

هل كانت هذه الصفحة مفيدة؟
0 / 5 - 0 التقييمات