Oi,

Olhando para o tráfego da porta Ethernet, parece que "Iperf3" não está empurrando tanto tráfego para preencher o limite da porta de rede. Então, existe algum switch com iperf3 para enviar tráfego adequado para preencher a porta. Ou será que estou faltando alguma coisa em fazer o teste de rede usando "iperf3" em comparação com "iperf"

Estou vendo a mesma coisa aqui:
ubuntu @ ubuntu : ~ $ iperf3 -c 10.10.10.3 -t 10 -P8 -i0
Conectando-se ao host 10.10.10.3, porta 5201
[4] porta local 10.10.10.2 46132 conectada à porta 10.10.10.3 5201
[6] porta local 10.10.10.2 46134 conectada à porta 10.10.10.3 5201
[8] porta local 10.10.10.2 46136 conectada à porta 10.10.10.3 5201
[10] porta local 10.10.10.2 46138 conectada à porta 10.10.10.3 5201
[12] porta local 10.10.10.2 46140 conectada à porta 10.10.10.3 5201
[14] porta local 10.10.10.2 46142 conectada à porta 10.10.10.3 5201
[16] porta local 10.10.10.2 46144 conectada à porta 10.10.10.3 5201
[18] porta local 10.10.10.2 46146 conectada à porta 10.10.10.3 5201
[ID] Intervalo de transferência de largura de banda Retr Cwnd
[4] 0,00-10,00 s 692 MBytes 580 Mbits / s 548 717 KBytes
[6] 0,00-10,00 s 689 MBytes 578 Mbits / s 352 629 KBytes
[8] 0,00-10,00 s 685 MBytes 575 Mbits / s 416 655 KBytes
[10] 0,00-10,00 s 686 MBytes 575 Mbits / s 428 17,5 KBytes
[12] 0,00-10,00 s 686 MBytes 575 Mbits / s 433 612 KBytes
[14] 0,00-10,00 s 685 MBytes 575 Mbits / s 431 533 KBytes
[16] 0,00-10,00 s 685 MBytes 575 Mbits / s 426 533 KBytes
[18] 0,00-10,00 s 685 MBytes 575 Mbits / s 422 533 KBytes
[SUM] 0,00-10,00 s 5,36 GBytes 4,61 Gbits / s 3456

[ID] Interval Transfer Bandwidth Retr
[4] 0,00-10,00 s 692 MBytes 580 Mbits / s 548 remetente
[4] 0,00-10,00 seg. 674 MBytes 565 Mbits / seg. Receptor
[6] 0,00-10,00 s 689 MBytes 578 Mbits / s 352 remetente
[6] 0,00-10,00 s 674 MBytes 565 Mbits / s receptor
[8] 0,00-10,00 s 685 MBytes 575 Mbits / s 416 remetente
[8] 0,00-10,00 seg. 673 MBytes 565 Mbits / seg. Receptor
[10] 0,00-10,00 s 686 MBytes 575 Mbits / s 428 remetente
[10] 0,00-10,00 seg. 674 MBytes 565 Mbits / seg. Receptor
[12] 0,00-10,00 s 686 MBytes 575 Mbits / s 433 remetente
[12] 0,00-10,00 seg. 674 MBytes 565 Mbits / seg. Receptor
[14] 0,00-10,00 s 685 MBytes 575 Mbits / s 431 remetente
[14] 0,00-10,00 s 674 MBytes 565 Mbits / s receptor
[16] 0,00-10,00 s 685 MBytes 575 Mbits / s 426 remetente
[16] 0,00-10,00 s 674 MBytes 565 Mbits / s receptor
[18] 0,00-10,00 s 685 MBytes 575 Mbits / s 422 remetente
[18] 0,00-10,00 s 674 MBytes 565 Mbits / s receptor
[SUM] 0,00-10,00 s 5,36 GBytes 4,61 Gbits / s 3456 remetente
[SUM] 0,00-10,00 seg 5.26 GBytes 4.52 Gbits / seg receptor

ubuntu @ ubuntu : ~ $ iperf -c 10.10.10.3 -t 10 -P8

Cliente conectando-se a 10.10.10.3, porta TCP 5001

Tamanho da janela TCP: 325 KByte (padrão)

[10] porta local 10.10.10.2 44030 conectada com porta 10.10.10.3 5001
[5] porta local 10.10.10.2 44018 conectada com porta 10.10.10.3 5001
[6] porta local 10.10.10.2 44020 conectada com porta 10.10.10.3 5001
[8] porta local 10.10.10.2 44024 conectada com porta 10.10.10.3 5001
[7] porta local 10.10.10.2 44022 conectada com porta 10.10.10.3 5001
[9] porta local 10.10.10.2 44026 conectada com porta 10.10.10.3 5001
[4] porta local 10.10.10.2 44028 conectada com porta 10.10.10.3 5001
[3] porta local 10.10.10.2 44016 conectada com porta 10.10.10.3 5001
[ID] Largura de banda de transferência de intervalo
[10] 0,0-10,0 s 4,82 GBytes 4,14 Gbits / s
[5] 0,0-10,0 s 2,28 GBytes 1,96 Gbits / s
[6] 0,0-10,0 s 2,47 GBytes 2,12 Gbits / s
[8] 0,0-10,0 s 5,16 GBytes 4,43 Gbits / s
[7] 0,0-10,0 s 4,81 GBytes 4,13 Gbits / s
[9] 0,0-10,0 s 4,92 GBytes 4,23 Gbits / s
[4] 0,0-10,0 s 2,33 GBytes 2,00 Gbits / s
[3] 0,0-10,0 s 2,32 GBytes 1,99 Gbits / s
[SUM] 0,0-10,0 s 29,1 GBytes 25,0 Gbits / s

Eu tentei várias coisas, quadros jumbo, mudar o tamanho da janela, conexões mais ou menos paralelas, etc, mas iperf3 NUNCA fica acima de cerca de 10 Gb / se isso é apenas quando estou preso a uma única CPU usando -A.

Mesmo aqui
Conectando-se ao host thunder-mojo-2-2, porta 5201
[4] porta local 192.168.128.213 43273 conectada à porta 192.168.128.212 porta 5201
[ID] Intervalo de transferência de largura de banda Retr Cwnd
[4] 0,00-1,00 s 499 MBytes 4,18 Gbits / s 0 571 KBytes
[4] 1,00-2,00 s 496 MBytes 4,17 Gbits / s 0 708 KBytes
[4] 2,00-3,00 s 498 MBytes 4,18 Gbits / s 0 844 KBytes
[4] 3,00-4,00 s 498 MBytes 4,17 Gbits / s 0 889 KBytes
[4] 4,00-5,00 s 499 MBytes 4,18 Gbits / s 0 988 KBytes
[4] 5,00-6,00 s 499 MBytes 4,18 Gbits / s 0 1,07 MBytes
[4] 6,00-7,00 s 499 MBytes 4,18 Gbits / s 0 1,07 MBytes
[4] 7,00-8,00 s 498 MBytes 4,18 Gbits / s 0 1,07 MBytes
[4] 8,00-9,00 s 500 MBytes 4,19 Gbits / s 0 1,07 MBytes
[4] 9,00-10,00 s 499 MBytes 4,18 Gbits / s 0 1,18 MBytes

[ID] Interval Transfer Bandwidth Retr
[4] 0,00-10,00 s 4,87 GBytes 4,18 Gbits / s 0 remetente
[4] 0,00-10,00 s 4,85 GBytes 4,17 Gbits / s receptor

FWIW, com iperf2, posso atingir com segurança cerca de 34-35 Gb / s exatamente na mesma configuração.

A razão para essas diferenças de desempenho é que o iperf3 é de thread único, portanto, todos os streams paralelos usarão um único núcleo. Na 40G você terá o núcleo limitado

Para testar 40G com iperf3, faço o seguinte:

Inicie 3 servidores:
iperf3 -s -p 5101
iperf3 -s -p 5102
iperf3 -s -p 5103

e, em seguida, execute 3 clientes, usando a sinalização "-T" para rotular a saída:
iperf3 -c hostname -T s1 -p 5101 &; iperf3 -c hostname -T s2 -p 5102 &; iperf3 -c hostname -T s3 -p 5103 &;

Também atualizamos o site Fasterdata:

https://fasterdata.es.net/performance-testing/network-trouwagen-tools/iperf-and-iperf3/iperf3-at-speeds-about-10gbps

Se você puder confirmar que resolve o problema para você, encerrarei esse problema.

Oi

Tentei as sugestões acima e também não funcionou e cada porta conseguiu enviar apenas 3,31 Gbits / s na placa de rede de 40 Gb. Aqui está o resultado do teste como abaixo:

No nó do servidor

~] # iperf3 -s -p 5101

Servidor ouvindo em 5101

Conexão aceita de 192.168.110.95, porta 45420
[5] porta local 192.168.110.94 local 5101 conectada à porta 192.168.110.95 porta 45424
[ID] Largura de banda de transferência de intervalo
[5] 0,00-1,00 s 375 MBytes 3,14 Gbits / s
[5] 1,00-2,00 s 392 MBytes 3,29 Gbits / s
[5] 2,00-3,00 s 397 MBytes 3,33 Gbits / s
[5] 3,00-4,00 s 396 MBytes 3,32 Gbits / s
[5] 4,00-5,00 s 393 MBytes 3,30 Gbits / s
[5] 5,00-6,00 s 394 MBytes 3,31 Gbits / s
[5] 6,00-7,00 s 400 MBytes 3,35 Gbits / s
[5] 7,00-8,00 s 399 MBytes 3,35 Gbits / s
[5] 8,00-9,00 s 398 MBytes 3,34 Gbits / s
[5] 9,00-10,00 s 397 MBytes 3,33 Gbits / s
[5] 10,00-10,04 s 15,3 MBytes 3,32 Gbits / s

[ID] Largura de banda de transferência de intervalo
[5] 0,00-10,04 s 0,00 bytes 0,00 bits / s remetente

[5] 0,00-10,04 s 3,86 GBytes 3,31 Gbits / s receptor

Servidor ouvindo em 5101

~] # iperf3 -s -p 5102

Servidor ouvindo em 5102

Conexão aceita de 192.168.110.95, porta 42242
[5] porta local 192.168.110.94 local 5102 conectada à porta 192.168.110.95 porta 42245
[ID] Largura de banda de transferência de intervalo
[5] 0,00-1,00 s 376 MBytes 3,16 Gbits / s
[5] 1,00-2,00 s 388 MBytes 3,26 Gbits / s
[5] 2,00-3,00 s 387 MBytes 3,25 Gbits / s
[5] 3,00-4,00 s 388 MBytes 3,25 Gbits / s
[5] 4,00-5,00 s 393 MBytes 3,29 Gbits / s
[5] 5,00-6,00 s 394 MBytes 3,31 Gbits / s
[5] 6,00-7,00 s 390 MBytes 3,27 Gbits / s
[5] 7,00-8,00 s 387 MBytes 3,24 Gbits / s
[5] 8,00-9,00 s 386 MBytes 3,24 Gbits / s
[5] 9,00-10,00 s 387 MBytes 3,25 Gbits / s
[5] 10,00-10,04 s 15,0 MBytes 3,26 Gbits / s

[ID] Largura de banda de transferência de intervalo
[5] 0,00-10,04 s 0,00 bytes 0,00 bits / s remetente

[5] 0,00-10,04 s 3,80 GBytes 3,25 Gbits / s receptor

Servidor ouvindo em 5102

~] # iperf3 -s -p 5103

Servidor ouvindo em 5103

Conexão aceita de 192.168.110.95, porta 36757
[5] porta local 192.168.110.94 local 5103 conectada à porta 192.168.110.95 porta 36758
[ID] Largura de banda de transferência de intervalo
[5] 0,00-1,00 s 386 MBytes 3,24 Gbits / s
[5] 1,00-2,00 s 401 MBytes 3,36 Gbits / s
[5] 2,00-3,00 s 397 MBytes 3,33 Gbits / s
[5] 3,00-4,00 s 398 MBytes 3,34 Gbits / s
[5] 4,00-5,00 s 395 MBytes 3,32 Gbits / s
[5] 5,00-6,00 s 393 MBytes 3,29 Gbits / s
[5] 6,00-7,00 s 392 MBytes 3,29 Gbits / s
[5] 7,00-8,00 s 396 MBytes 3,32 Gbits / s
[5] 8,00-9,00 s 397 MBytes 3,33 Gbits / s
[5] 9,00-10,00 s 397 MBytes 3,33 Gbits / s
[5] 10,00-10,04 s 15,1 MBytes 3,34 Gbits / s

[ID] Largura de banda de transferência de intervalo
[5] 0,00-10,04 s 0,00 bytes 0,00 bits / s remetente

[5] 0,00-10,04 s 3,87 GBytes 3,31 Gbits / s receptor

Servidor ouvindo em 5103

No nó cliente:
[ root @ server35 ~] # iperf3 -c 192.168.110.94 -T s1 -p 5101 &; iperf3 -c 192.168.110.94 -T s2 -p 5102 &; iperf3 -c 192.168.110.94 -T s3 -p 5103 &;
bash: erro de sintaxe próximo ao token inesperado `; '
[ root @ server35 ~] # iperf3 -c 192.168.110.94 -T s1 -p 5101 & iperf3 -c 192.168.110.94 -T s2 -p 5102 & iperf3 -c 192.168.110.94 -T s3 -p 5103 &
[1] 38008
[2] 38009
[3] 38010
[ root @ server35 ~] # s1: Conectando ao host 192.168.110.94, porta 5101
s2: Conectando ao host 192.168.110.94, porta 5102
s3: Conectando ao host 192.168.110.94, porta 5103
s3: [4] porta local 192.168.110.95 local 36758 conectada à porta 192.168.110.94 porta 5103
s2: [4] local 192.168.110.95 porta 42245 conectado a 192.168.110.94 porta 5102
s1: [4] local 192.168.110.95 porta 45424 conectado a 192.168.110.94 porta 5101
s3: [ID] Intervalo transferência largura de banda Retr Cwnd
s3: [4] 0,00-1,00 s 401 MBytes 3,37 Gbits / s 0 446 KBytes
s2: [ID] Intervalo de transferência de largura de banda Retr Cwnd
s2: [4] 0,00-1,00 s 391 MBytes 3,28 Gbits / s 0 446 KBytes
s1: [ID] Intervalo de transferência de largura de banda Retr Cwnd
s1: [4] 0,00-1,00 s 390 MBytes 3,27 Gbits / s 0 446 KBytes
s3: [4] 1,00-2,00 s 400 MBytes 3,36 Gbits / s 0 446 KBytes
s2: [4] 1,00-2,00 s 388 MBytes 3,26 Gbits / s 0 446 KBytes
s1: [4] 1,00-2,00 s 393 MBytes 3,29 Gbits / s 0 446 KBytes
s3: [4] 2,00-3,00 s 397 MBytes 3,33 Gbits / s 0 446 KBytes
s2: [4] 2,00-3,00 s 387 MBytes 3,24 Gbits / s 0 446 KBytes
s1: [4] 2,00-3,00 s 397 MBytes 3,33 Gbits / s 0 446 KBytes
s3: [4] 3,00-4,00 s 398 MBytes 3,34 Gbits / s 0 446 KBytes
s2: [4] 3,00-4,00 s 388 MBytes 3,25 Gbits / s 0 446 KBytes
s1: [4] 3,00-4,00 s 396 MBytes 3,32 Gbits / s 0 446 KBytes
s3: [4] 4,00-5,00 s 395 MBytes 3,31 Gbits / s 0 446 KBytes
s2: [4] 4,00-5,00 s 393 MBytes 3,30 Gbits / s 0 446 KBytes
s1: [4] 4,00-5,00 s 393 MBytes 3,30 Gbits / s 0 446 KBytes
s3: [4] 5,00-6,00 s 393 MBytes 3,29 Gbits / s 0 446 KBytes
s2: [4] 5,00-6,00 s 394 MBytes 3,31 Gbits / s 0 455 KBytes
s1: [4] 5,00-6,00 s 395 MBytes 3,31 Gbits / s 0 446 KBytes
s3: [4] 6,00-7,00 s 392 MBytes 3,29 Gbits / s 0 446 KBytes
s2: [4] 6,00-7,00 s 389 MBytes 3,27 Gbits / s 0 455 KBytes
s1: [4] 6,00-7,00 s 400 MBytes 3,35 Gbits / s 0 446 KBytes
s3: [4] 7,00-8,00 s 396 MBytes 3,32 Gbits / s 0 446 KBytes
s2: [4] 7,00-8,00 s 387 MBytes 3,24 Gbits / s 0 455 KBytes
s1: [4] 7,00-8,00 s 399 MBytes 3,35 Gbits / s 0 446 KBytes
s3: [4] 8,00-9,00 s 397 MBytes 3,33 Gbits / s 0 446 KBytes
s2: [4] 8,00-9,00 s 386 MBytes 3,24 Gbits / s 0 455 KBytes
s1: [4] 8,00-9,00 s 399 MBytes 3,34 Gbits / s 0 446 KBytes
s3: [4] 9,00-10,00 s 397 MBytes 3,33 Gbits / s 0 446 KBytes

s3: - - - - - - - - - - - - - - - - - - - - - - - - - - -
s3: [ID] Intervalo de transferência de largura de banda Retr
s3: [4] 0,00-10,00 s 3,87 GBytes 3,33 Gbits / s 0 remetente
s3: [4] 0,00-10,00 s 3,87 GBytes 3,33 Gbits / s receptor
s3:
s3: iperf Concluído.
s1: [4] 9,00-10,00 s 397 MBytes 3,33 Gbits / s 0 446 KBytes
s1: - - - - - - - - - - - - - - - - - - - - - - - - - - -
s1: [ID] Intervalo de transferência de largura de banda Retr
s2: [4] 9,00-10,00 s 387 MBytes 3,24 Gbits / s 0 455 KBytes
s1: [4] 0,00-10,00 s 3,86 GBytes 3,32 Gbits / s 0 remetente
S2: - - - - - - - - - - - - - - - - - - - - - - - - - - -
s1: [4] 0,00-10,00 s 3,86 GBytes 3,32 Gbits / s receptor
s2: [ID] Intervalo de transferência de largura de banda Retr
s1:
s2: [4] 0,00-10,00 s 3,80 GBytes 3,26 Gbits / s 0 remetente
s1: iperf Concluído.
s2: [4] 0,00-10,00 s 3,80 GBytes 3,26 Gbits / s receptor
s2:
s2: iperf Concluído.

[1] Feito iperf3 -c 192.168.110.94 -T s1 -p 5101
[2] - Feito iperf3 -c 192.168.110.94 -T s2 -p 5102
[3] + Concluído iperf3 -c 192.168.110.94 -T s3 -p 5103

você ainda tem esse problema? Não tenho problemas para encher um tubo 100G com 4 processos iperf3 usando v3.1.5.

Isso agora é abordado no novo FAQ.

Isso agora é abordado no novo FAQ.

Você pode ligar aqui?

@emanueljoivo
https://software.es.net/iperf/faq.html#faq

Oh garoto! parece um downgrade do iperf 3 ou 2. posso perguntar qual é a razão para fazer 3 single-threaded?

O desempenho do fluxo paralelo iperf3 é muito menor do que o iperf2. Porque?
iperf3 é de thread único e iperf2 é multi-thread. Recomendamos o uso de iperf2 para fluxos paralelos. Se você quiser usar vários streams iperf3, use o método descrito aqui.

Oh garoto! parece um downgrade do iperf 3 ou 2. posso perguntar qual é a razão para fazer 3 single-threaded?

O desempenho do fluxo paralelo iperf3 é muito menor do que o iperf2. Porque?
iperf3 é de thread único e iperf2 é multi-thread. Recomendamos o uso de iperf2 para fluxos paralelos. Se você quiser usar vários streams iperf3, use o método descrito aqui.

Sim, muito bonito. Eu tinha a mesma pergunta e a única resposta que consegui encontrar foi "porque". O iperf2 foi abandonado, mas se você quiser testar dispositivos com mais de 40 Gb / s de forma confiável, os desenvolvedores do iperf3 sugerem usar o mesmo iperf2 abandonado que escreveram para o iperf3, OU você tem que usar um kludge. Tivemos que usar o kludge porque minhas necessidades eram testar dispositivos de rede de 1 a 100 + Gb / se não preciso apresentar duas ferramentas diferentes para isso, e o iperf2 não tem os recursos atualizados que o 3 tem como CPU relatórios de utilização.

Então, infelizmente, tivemos que contornar essa limitação usando várias instâncias de iperf3 em um script python multithread e executar mais de 10 threads para controladores de 100 Gb. O ponto ideal que encontramos parece ser 1 thread para cada 10 - 20 GB de largura de banda (então 40Gb / s seriam 4 threads, etc).

Em seguida, você tem que capturar toda a saída, analisá-la para obter o total de cada thread e, em seguida, adicionar tudo isso para obter uma taxa de transferência total. É hacky, muito complicado, mas eles nos deixaram poucas opções, infelizmente.

Quanto a POR QUÊ? Quem sabe. talvez haja algum motivo técnico para não fazer um aplicativo multithread.