Mc: Copiar objetos para o minio é incomumente lento

Criado em 26 jun. 2017 · 13Comentários · Fonte: minio/mc

Copiar objetos para o minio é incomumente lento

Comportamento esperado

Mais rápido?

Comportamento atual

./mc cp --recursive folder/ local/bucket/ is running around 4.5 MB/s

dd if=/dev/zero of=bigfile bs=1m count=1024



md5-124e2bc0ba448b7893d2893cd77bc25d



./mc cp bigfile minio/test is running 128MB/s

Contexto

A velocidade de leitura é de cerca de 50-70 MB/s. Os arquivos sob o bucket são algo como BucketName/MediaID/Quality/MovieName/Files

Seu ambiente

Versão: 2017-05-05T01:14:51Z
Supermicro SuperStorage 6028R-E1CR12L
CPU: nome do modelo: Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz
NÚCLEO: 40
Memória: 512GB
Discos: 12 * 4 TB
Ubuntu 16.04

high

Fonte

deekoder

👍7

Comentários muito úteis

Eu também gostaria que isso fosse corrigido para o comando mirror. Vejo baixo desempenho ao executar o espelho para sincronizar de um cluster minio para um sistema de arquivos.

curantes em 3 out. 2017

👍2

Todos 13 comentários

Arquivamento para https://github.com/minio/minio/issues/4580

deekoder em 26 jun. 2017

Eu também gostaria que isso fosse corrigido para o comando mirror. Vejo baixo desempenho ao executar o espelho para sincronizar de um cluster minio para um sistema de arquivos.

curantes em 3 out. 2017

👍2

ETA: 13 de outubro

vadmeste em 13 out. 2017

Situação neste? Estou movendo 1 TB de dados a uma velocidade de 1 MB/s com o comando mc mirror :(
Vai demorar 9,25 dias :(

jonaz em 14 nov. 2017

Situação neste? Estou movendo 1 TB de dados a uma velocidade de 1 MB/s com o comando mc mirror :(
Vai demorar 9,25 dias :(

qual é o seu cliente para largura de banda do servidor? @jonaz

harshavardhana em 14 nov. 2017

qual é o seu cliente para largura de banda do servidor? @jonaz

Você também pode executar iperf -s em e iperf -c para testar a largura de banda efetiva?

harshavardhana em 14 nov. 2017

@harshavardhana
log do cliente iperf

Client connecting to prod-s3stor01, TCP port 5001
TCP window size: 85.0 KByte (default)
------------------------------------------------------------
[  3] local 10.XX.XX.XX port 60796 connected with 10.XX.XX.XX port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  9.74 GBytes  8.37 Gbits/sec

log do servidor iperf

Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[  4] local 10.XX.XX.XX port 5001 connected with 10.XX.XX.XX port 60796
[ ID] Interval       Transfer     Bandwidth
[  4]  0.0-10.0 sec  9.74 GBytes  8.36 Gbits/sec

jonaz em 14 nov. 2017

[4] local 10.XX.XX.XX porta 5001 conectada com 10.XX.XX.XX porta 60796
[ ID] Largura de banda de transferência de intervalo
[ 4] 0,0-10,0 s 9,74 GBytes 8,36 Gbits/s

@jonaz esses arquivos 1TiB são realmente pequenos como arquivos de imagem?

harshavardhana em 14 nov. 2017

@harshavardhana sim, esses arquivos são pequenos, principalmente imagens e documentos em pdf.

curantes em 14 nov. 2017

👍1

@harshavardhana sim como @curantes disse. Nós trabalhamos juntos.

jonaz em 15 nov. 2017

@jonaz , @curantes , eu escrevi este PR, https://github.com/minio/mc/pull/2289 , que ainda não foi mesclado/oficial .. mas você pode testá-lo. Deve acelerar o espelhamento ou a cópia várias vezes. Eu ficaria feliz em ajudá-lo.

vadmeste em 15 nov. 2017

Isso será corrigido em #2289

harshavardhana em 7 dez. 2017

Este tópico foi bloqueado automaticamente, pois não houve nenhuma atividade recente depois que ele foi fechado. Por favor, abra um novo problema para bugs relacionados.