Mc: Copier des objets vers minio est anormalement lent

Créé le 26 juin 2017 · 13Commentaires · Source: minio/mc

Copier des objets sur minio est inhabituellement lent

Comportement attendu

Plus rapide?

Comportement actuel

./mc cp --recursive folder/ local/bucket/ is running around 4.5 MB/s

dd if=/dev/zero of=bigfile bs=1m count=1024



md5-124e2bc0ba448b7893d2893cd77bc25d



./mc cp bigfile minio/test is running 128MB/s

Le contexte

La vitesse de lecture est d'environ 50 à 70 Mo/s. Les fichiers sous le compartiment sont quelque chose comme BucketName/MediaID/Quality/MovieName/Files

Votre environnement

Version : 2017-05-05T01:14:51Z
Supermicro SuperStorage 6028R-E1CR12L
Processeur : nom du modèle : processeur Intel(R) Xeon(R) E5-2630 v4 à 2,20 GHz
Noyau : 40
Mémoire : 512 Go
Disques : 12 * 4To
Ubuntu 16.04

high

Source

deekoder

👍7

Commentaire le plus utile

J'aimerais également que cela soit corrigé pour la commande mirror. Je vois de faibles performances lors de l'exécution de mirror pour synchroniser un cluster minio vers un système de fichiers.

curantes le 3 oct. 2017

👍2

Tous les 13 commentaires

Dépôt pour https://github.com/minio/minio/issues/4580

deekoder le 26 juin 2017

J'aimerais également que cela soit corrigé pour la commande mirror. Je vois de faibles performances lors de l'exécution de mirror pour synchroniser un cluster minio vers un système de fichiers.

curantes le 3 oct. 2017

👍2

Heure d'arrivée prévue : 13 octobre

vadmeste le 13 oct. 2017

Statut sur celui-ci ? Je déplace 1 To de données à une vitesse de 1 Mo/s avec la commande mc mirror :(
Prendra 9,25 jours :(

jonaz le 14 nov. 2017

Statut sur celui-ci ? Je déplace 1 To de données à une vitesse de 1 Mo/s avec la commande mc mirror :(
Prendra 9,25 jours :(

ce que votre client à la bande passante du serveur? @jonaz

harshavardhana le 14 nov. 2017

ce que votre client à la bande passante du serveur? @jonaz

Pouvez-vous également effectuer iperf -s sur et iperf -c pour tester la bande passante effective ?

harshavardhana le 14 nov. 2017

@harshavardhana
journal du client iperf

Client connecting to prod-s3stor01, TCP port 5001
TCP window size: 85.0 KByte (default)
------------------------------------------------------------
[  3] local 10.XX.XX.XX port 60796 connected with 10.XX.XX.XX port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  9.74 GBytes  8.37 Gbits/sec

journal du serveur iperf

Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[  4] local 10.XX.XX.XX port 5001 connected with 10.XX.XX.XX port 60796
[ ID] Interval       Transfer     Bandwidth
[  4]  0.0-10.0 sec  9.74 GBytes  8.36 Gbits/sec

jonaz le 14 nov. 2017

[ 4] port local 10.XX.XX.XX 5001 connecté au port 10.XX.XX.XX 60796
[ ID] Bande passante de transfert d'intervalle
[ 4] 0,0-10,0 s 9,74 Go 8,36 Gbits/s

@jonaz ces fichiers de 1 To sont-ils vraiment petits comme des fichiers image ?

harshavardhana le 14 nov. 2017

@harshavardhana oui, ces fichiers sont principalement des images et des documents pdf.

curantes le 14 nov. 2017

👍1

@harshavardhana oui comme l'a dit @curantes . On travaille ensemble.

jonaz le 15 nov. 2017

@jonaz , @curantes , j'ai écrit ce PR, https://github.com/minio/mc/pull/2289 , qui n'est pas encore fusionné/officiel .. mais vous pouvez le tester. Cela devrait accélérer la mise en miroir ou la copie plusieurs fois. Je serais ravi de vous aider.

vadmeste le 15 nov. 2017

Cela va être corrigé par # 2289

harshavardhana le 7 déc. 2017

Ce fil a été automatiquement verrouillé puisqu'il n'y a eu aucune activité récente après sa fermeture. Veuillez ouvrir un nouveau problème pour les bogues associés.