Zenodo: Studentenprojekt: Optimierung der Download-/Upload-Leistung großer Dateien über HTTP

Anwendungsfall

• A) Ein Forscher möchte seinen 260 GB großen Forschungsdatensatz auf Zenodo hochladen. Der Forscher ist nur im Besitz seines Browsers, um die Arbeit zu erledigen. Variante: Die Forscher kennen sich ein bisschen mit Python aus und können ein Skript schreiben, das eine Datei über die API auf Zenodo hochlädt.
• B) Ein Forscher möchte einen 260 GB großen Forschungsdatensatz von Zenodo herunterladen.

Wir sprechen hier von großen Dateien (mindestens 100 MB,

Ziel
Optimieren Sie die Leistung des Uploads und/oder Downloads von Daten zu/von Zenodo.

Hochladen
Verschieben Sie Daten so schnell wie möglich von Zenodo. Verwendung von 1) JavaScript (Browser) und/oder 2) Python (API).

_Kundenseite_
JavaScript: Chunk-Datei (viele vorhandene Bibliotheken unterstützen dies - zB PLUpload), Chunks parallel hochladen (habe das nirgendwo gesehen - könnte zB Javascript-Webworker verwenden).

Python: Das Gleiche wie JavaScript - Chunk/Parallelize + auch in HTTP-Pipeline und TCP-Layer nachsehen.

Zu berücksichtigende Probleme:

• Dateiintegrität (wie stellen wir sicher, dass die Datei, die der Benutzer hat, genau die ist, die er hochgeladen hat (Prüfsumme der Datei, aber wenn Sie parallel hochladen, sollte Ihr Prüfsummenalgorithmus dies unterstützen).
• Latenz
• Browserunterstützung für verwendete Funktionen.

_Serverseite_

• Prozessmodell (blockierende/nicht blockierende IO) – wir verwenden Gunicorn, um unsere Python-Prozesse auszuführen, die unterschiedliche Ereignismodelle haben.
• Leistungsanalyse auf der Serverseite (z. B. kann der Server die Dateien direkt zum Dateispeicher leiten oder muss er den Chunk im Speicher behalten).
• Wie können wir die Anzahl gleichzeitiger Verbindungen erhöhen?

Herunterladen
Beispiel 1: 260 GB Datensatz in 1000 Dateien. Wie kann ein Forscher die Dateien einfach herunterladen, ohne 1000 Links anklicken zu müssen.
Beispiel 2: 260 GB Datensatz in 4 Dateien. Was passiert, wenn die Netzwerkverbindung unterbrochen wird (dh fortsetzbare Downloads).

_Kundenseite_
Vielleicht ist es möglich, eine JavaScript-App zu schreiben, die beim Herunterladen der 1000 Dateien helfen kann. Dieselbe App könnte bei fortsetzbaren Downloads helfen. Auch hier könnte möglicherweise das Javascript-Webworker-Modell verwendet werden, um die Datei in Teilen herunterzuladen.

_Serverseite_
Implementieren Sie die Unterstützung für HTTP-Bereichsanforderungen. Wie Upload (Prozessmodell und gleichzeitige Downloads). Langsame Clients, die Zeit brauchen, um eine Datei herunterzuladen, füllen z. B. die Leitung.

Außerhalb des Geltungsbereichs (sollte aber diskutiert werden): Andere Methoden zur Optimierung der Dateibereitstellung wie Content Delivery Networks.

Der Python-Teil wird hauptsächlich in inveniosoftware/invenio-files-rest gehen
JavaScript-Teile werden separate Repositories sein.