Zenodo: 学生项目：通过 HTTP 优化大文件下载/上传性能

用例

• A) 一位研究人员想要将他/她的 260GB 研究数据集上传到 Zenodo。 研究人员只有拥有他/她的浏览器来完成这项工作。 变化：研究人员了解一点 Python，可以编写一个脚本，通过 API 将文件上传到 Zenodo。
• B) 一位研究人员想从 Zenodo 下载一个 260GB 的研究数据集。

我们在这里讨论的是大文件（最小 100mb，

目标
优化从 Zenodo 上传和/或下载数据的性能。

上传
尽快将数据从 Zenodo 转移。 使用 1) JavaScript（浏览器）和/或 2) Python (API)。

_客户端_
JavaScript：块文件（许多现有的库都支持这个 - 例如 PLUpload），并行上传块（在任何地方都没有看到这个 - 可以使用例如 javascript web worker）。

Python：与 JavaScript 相同 - 块/并行化 + 查看 HTTP 管道和 TCP 层。

需要考虑的问题：

• 文件完整性（我们如何确保用户拥有的文件正是已上传的文件（校验和文件，但如果您并行上传，您的校验和算法应该支持它）。
• 潜伏
• 浏览器对正在使用的功能的支持。

_服务器端_

• 进程模型（阻塞/非阻塞 IO）——我们使用 Gunicorn 来运行我们的 Python 进程，这些进程具有不同的事件模型。
• 服务器端的性能分析（例如，服务器可以将文件直接传输到文件存储，还是需要将块保存在内存中）。
• 我们怎样才能增加并发连接的数量。

下载
示例 1：1000 个文件中的 260GB 数据集。 研究人员如何无需单击 1000 个链接即可轻松下载文件。
示例 2：4 个文件中的 260GB 数据集。 如果网络连接丢失（即可恢复下载）会发生什么情况。

_客户端_
也许可以编写一个 JavaScript 应用程序来帮助下载 1000 个文件。 相同的应用程序可以帮助进行可恢复下载。 同样，Javascript Web Worker 模型可能用于分块下载文件。

_服务器端_
实现对 HTTP 范围请求的支持。 像上传（流程模型和并发下载）。 例如，缓慢的客户端花时间下载文件将填满线路。

范围外（但应讨论）：优化文件交付的其他方法，如内容交付网络。

Python 部分将主要进入 inveniosoftware/invenio-files-rest
JavaScript 部分将是单独的存储库。