Zenodo: 学生プロジェクト：HTTPを介した大きなファイルのダウンロード/アップロードパフォーマンスの最適化

使用事例

• A）研究者が自分の260GBの研究データセットをZenodoにアップロードしたいと考えています。 研究者は仕事をするために彼/彼女のブラウザを持っているだけです。 バリエーション：研究者はPythonについて少し知っており、APIを介してZenodoにファイルをアップロードするスクリプトを作成できます。
• B）研究者が、Zenodoから260GBの研究データセットをダウンロードしたいと考えています。

ここでは大きなファイルについて話します（最小100 MB、

ゴール
Zenodoとの間のデータのアップロードおよび/またはダウンロードのパフォーマンスを最適化します。

アップロード
データをZenodoからZenodoにできるだけ速く移動します。 1）JavaScript（ブラウザ）および/または2）Python（API）を使用します。

_クライアント側_
JavaScript：チャンクファイル（多くの既存のライブラリがこれをサポートしています-たとえばPLUpload）、チャンクを並列にアップロードします（これはどこでも見られませんでした-たとえばjavascript Webワーカーを使用できます）。

Python：JavaScriptと同じです-チャンク/並列化+ HTTPパイプラインとTCPレイヤーも調べます。

考慮すべき問題：

• ファイルの整合性（ユーザーが持っているファイルがアップロードされたものと正確に一致することをどのように確認しますか（ファイルをチェックサムしますが、並行してアップロードする場合は、チェックサムアルゴリズムがそれをサポートする必要があります）。
• レイテンシー
• 使用されている機能に対するブラウザのサポート。

_サーバ側_

• プロセスモデル（ブロッキング/非ブロッキングIO）-Gunicornを使用して、さまざまなイベントモデルを持つPythonプロセスを実行しています。
• サーバー側でのパフォーマンス分析（たとえば、サーバーはファイルをファイルストレージに直接パイプできるか、チャンクをメモリに保持する必要がありますか）。
• 同時接続の数を増やすにはどうすればよいですか。

ダウンロード
例1：1000ファイルの260GBデータセット。 研究者が1000のリンクをクリックせずにファイルを簡単にダウンロードするにはどうすればよいでしょうか。
例2：4つのファイルの260GBデータセット。 ネットワーク接続が失われた場合（つまり、再開可能なダウンロード）はどうなりますか。

_クライアント側_
おそらく、1000個のファイルのダウンロードに役立つJavaScriptアプリを作成することは可能です。 同じアプリが再開可能なダウンロードに役立つ可能性があります。 繰り返しになりますが、Javascript Webワーカーモデルを使用して、ファイルをチャンクでダウンロードできる可能性があります。

_サーバ側_
HTTP範囲リクエストのサポートを実装します。 アップロード（プロセスモデル、および同時ダウンロード）と同様です。 たとえば、ファイルのダウンロードに時間がかかる遅いクライアントは、行をいっぱいにします。

範囲外（ただし、議論する必要があります）：コンテンツ配信ネットワークのようなファイル配信を最適化する他の方法。

Pythonの部分は主にinveniosoftware / invenio-files-restに入ります
JavaScriptパーツは個別のリポジトリになります。