Zenodo: دعم "طلب نطاق HTTP / 1.1 بايت" في استرداد الملف
لدي طلب ميزة واحد على zenodo - هل يمكن لخادم zenodo دعم طلب نطاق HTTP / 1.1 بايت https://tools.ietf.org/html/rfc7233 ؟
منصة Zenodo لا تصدق بالفعل ، وسيؤدي دعمك لطلب نطاق البايت إلى زيادة قيمة البيانات المودعة بشكل أكبر لأن بعض التطبيقات اعتمدت على طلب نطاق البايت ، لا سيما عند التعامل مع الملفات الكبيرة.
أود أن أضيف مثالاً على كيفية عمل طلب نطاق البايت ، لتوضيح وجهة نظري. على سبيل المثال ، يدعم github (raw.githubusercontent.com) طلب نطاق البايت على النحو التالي:
###
### The entire part of the README file is retrieved, and processed locally
###
$ curl https://raw.githubusercontent.com/zenodo/zenodo/master/README.rst |head -5 | tail -1
Zenodo is free software; you can redistribute it
###
### Only the specified bytes specified in the file is retrieved, which does not require local processing
###
$ curl -H "range: bytes=72-125" https://raw.githubusercontent.com/zenodo/zenodo/master/README.rst
Zenodo is free software; you can redistribute it
ومع ذلك ، يتم تجاهل طلب نطاق البايت في zenodo.org
###
### the entire part of the file is retrieved
###
$ curl https://zenodo.org/record/1407145/files/DOI_Test.txt
This is a test of the Zenodo DOI functionality for GitLab.
###
### Only small bytes are requested, but the entire part is retrieved
###
$ curl -H "range: bytes=6-7" https://zenodo.org/record/1407145/files/DOI_Test.txt
This is a test of the Zenodo DOI functionality for GitLab.
hkawaji
ال 10 كومينتر
سوف أؤيد هذا. سيكون من المفيد جدًا ، على سبيل المثال ، الوصول إلى مجموعات بيانات الجينوم مباشرة باستخدام Tabix . يبدو أنه يتطلب تغيير التكوين في إعداد خادم الويب zenodo "max_ranges" إلى رقم موجب.
هل هناك سبب فني لعدم القيام بذلك؟
kpalin
في ٣١ يناير ٢٠١٩
لم يتم تحسين الخلفية الخاصة بتخزين الملفات في الوقت الحالي لخدمة طلبات نطاق HTTP (مما يعني أن تمكين هذه الميزة من المحتمل أن يؤدي إلى تباطؤ كبير في تحميل / تنزيل الملفات API). بالطبع ، هناك أشخاص يعملون على جعل ذلك ممكنًا ، على الرغم من أننا لا نستطيع إعطاء تقدير دقيق للوقت المتوقع للوصول إليه ...
slint
في ٣١ يناير ٢٠١٩
أردت فقط إضافة: +1: لتوضيح أن تمكين طلبات النطاق سيكون مفيدًا جدًا لتنسيقات البيانات الجغرافية المكانية. ستستفيد GeoTIFF المحسَّنة من السحابة كثيرًا من هذا. قد يؤدي السماح لطلبات النطاق إلى تقليل النطاق الترددي المطلوب حقًا من zenodo.
rabernat
في ١٨ سبتمبر ٢٠٢٠
لم يتم تحسين الخلفية الخاصة بتخزين الملفات في الوقت الحالي لخدمة طلبات نطاق HTTP (مما يعني أن تمكين هذه الميزة من المحتمل أن يؤدي إلى تباطؤ كبير في تحميل / تنزيل الملفات API). بالطبع ، هناك أشخاص يعملون على جعل ذلك ممكنًا ، على الرغم من أننا لا نستطيع إعطاء تقدير دقيق للوقت المتوقع للوصول إليه ...
كثير من الناس لا يستطيعون تنزيل ملفات جينية كبيرة (عدة جيجا بايت). على سبيل المثال ،
https://github.com/zenodo/zenodo/issues/460#issuecomment -546623751
يتعين على البعض إعادة المحاولة عدة مرات ، وهذا في الواقع يهدر عرض النطاق الترددي الخاص بك ...
zhanxw
في ١١ أكتوبر ٢٠٢٠
بالنسبة لمشروعنا ، من المهم أيضًا أن نتمكن من استخدام GeoTIFFs المحسّنة على السحابة (انظر على سبيل المثال https://zenodo.org/record/4483227) مباشرة من Zenodo. يبدو أن Figshare يعمل مع COG ، و zenodo لا؟ لقد كتبنا برنامجًا تعليميًا للمستخدمين حول كيفية الحصول على أجزاء صغيرة من البيانات باستخدام ملفات COG .
thengl
في ٤ فبراير ٢٠٢١
هل يمكنك دعم هذا من فضلك؟
نحتاجها لخدمة ملفات الصور الكبيرة (بتنسيق Zarr) بواسطة أجزاء ، مما يتيح لنا تصور الملفات في المتصفح على الفور. لن يكون من الممكن للمتصفح تنزيل الملف والعرض على سبيل المثال ، بحجم 10 غيغابايت.
oeway
في ٢٥ مارس ٢٠٢١
مجرد الإشارة إلى قيمة حالة استخدام Zarr. شكرا لكم جميعا لعملكم على Zenodo!
jakirkham
في ٢٥ مارس ٢٠٢١
بالنسبة إلى Zarr ، يمكننا افتراضيًا تشغيل zenodo اليوم ، دون أي تغييرات. لا يدعم Zenodo الأدلة ، ولكن إذا تمكنا من تعيين مخزن دليل zarr عادي إلى نوع من التسلسل الهرمي المسطح ، عبر حرف خاص ، فيمكننا جعله يعمل. على سبيل المثال ، إذا كان الحرف الخاص هو __
.zgroup
foo__.zarray
foo__.zattrs
foo__0.0
foo__0.1
إلخ.
rabernat
في ٢٥ مارس ٢٠٢١
هل يمكنك طرح مشكلة هنا من فضلك (https://github.com/zarr-developers/zarr-specs/issues)؟
jakirkham
في ٢٥ مارس ٢٠٢١
rabernat أخشى أن هذا لن يتسع لأن Zenodo يسمح فقط بـ 100 ملف كحد أقصى.
الحد الأقصى لحجم الملفات لكل سجل هو 50 جيجابايت (بحد أقصى 100 ملف). يمكن طلب 100 جيجا بايت لمرة واحدة ومنحها على أساس كل حالة على حدة.
oeway
في ٢٥ مارس ٢٠٢١
القضايا ذات الصلة
lnielsen
·
6تعليقات
ghost
·
6تعليقات
noamross
·
8تعليقات
krzysztof
·
9تعليقات
bbarker
·
4تعليقات
التعليق الأكثر فائدة
أردت فقط إضافة: +1: لتوضيح أن تمكين طلبات النطاق سيكون مفيدًا جدًا لتنسيقات البيانات الجغرافية المكانية. ستستفيد GeoTIFF المحسَّنة من السحابة كثيرًا من هذا. قد يؤدي السماح لطلبات النطاق إلى تقليل النطاق الترددي المطلوب حقًا من zenodo.