Isso não é um erro, apenas avisos dizendo que se você construir o TensorFlow a partir da fonte, ele pode ser mais rápido em sua máquina.

SO pergunta sobre isso: http://stackoverflow.com/questions/41293077/how-to-compile-tensorflow-with-sse4-2-and-avx-instructions
Guia do TensorFlow para criar a partir da fonte: https://www.tensorflow.org/install/install_sources

Tal como @Carmezim afirmou, estas são simplesmente mensagens de aviso.
Para cada um de seus programas, você só os verá uma vez.
E, como dizem os avisos, você só deve compilar o TF com esses sinalizadores se precisar tornar o TF mais rápido.

Você pode seguir nosso guia para instalar o TensorFlow de fontes para compilar TF com suporte para conjuntos de instruções SIMD.

Ok, obrigado. Entendo.

Existe uma maneira de silenciar isso?

A única maneira de silenciar essas mensagens de aviso é construir a partir dos fontes, usando a opção --config opt .

Uma espécie de "solução alternativa" (embora imperfeita) que redireciona as mensagens no Unix / Linux / OSX:
python myscript.py 2> / dev / null

@CGTheLegend @ocampesato você pode usar a variável de ambiente TF TF_CPP_MIN_LOG_LEVEL e funciona da seguinte maneira:

• O padrão é 0 , exibindo todos os registros
• Para filtrar INFO logs, defina-o como 1
• WARNINGS adicionalmente, 2
• e para filtrar adicionalmente ERROR logs, defina-o como 3

Portanto, você pode fazer o seguinte para silenciar os avisos:

import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
import tensorflow as tf

@gunan @mrry Já vi muitas pessoas interessadas em silenciar os avisos. Haveria interesse em adicionar esse tipo de informação aos documentos?

Eu instalo do guia de instalação do tensorflow, também recebo este aviso.

pip3 install --upgrade tensorflow

@jadeydi Em vez de compilar a partir do código-fonte, "pip" apenas instale o binário também, para que você ainda receba esses avisos.

Acabei de compilar o Tensorflow com suporte para SSE4.1 SSE4.2 AVX AVX2 e FMA. A compilação está disponível aqui: https://github.com/lakshayg/tensorflow-build . Espero que seja útil.

Olá @lakshayg , obrigado por compartilhar. Você pode querer verificar https://github.com/yaroslavvb/tensorflow-community-wheels

Aproximadamente muito mais rápido é a compilação em comparação com o pip install tensorflow-gpu padrão no Ubuntu? É apenas mais rápido para cálculos de CPU ou há algum benefício para cálculos de GPU?

http://www.anandtech.com/show/2362/5

Isso apareceu no google e tem alguns detalhes técnicos decentes.

test é uma codificação DivX usando VirtualDub 1.7.6 e DivX 6.7. SSE4 entra se você escolher habilitar um novo algoritmo de busca completo para estimativa de movimento, que é acelerado por duas instruções SSE4: MPSADBW e PHMINPOSUW . A ideia é que a estimativa de movimento (descobrir o que acontecerá nos quadros subsequentes do vídeo) requer muitos cálculos de somas de diferenças absolutas, bem como encontrar os valores mínimos dos resultados desses cálculos. A instrução SSE2 PSADBW pode calcular duas somas de diferenças de um par de inteiros sem sinal de 16B; a instrução SSE4 MPSADBW pode fazer oito.

...

Em nosso QX9650, a pesquisa completa com SSE4 habilitado é executada cerca de 45% mais rápido do que apenas com SSE2

Agora, certifique-se de quais funções tensorflow está usando, mas pode valer a pena o esforço.

Desculpe, mas é uma coisa ridícula ter saída em todos os scripts TF por padrão. A maioria das pessoas provavelmente não está compilando o TF do código-fonte nem deseja.

@ TomAshley303 , esta é uma informação incrível de se obter! Não pretendo recompilar a partir da fonte. Eu não quero. Mas as informações me dizem o que fazer se meu modelo ficar grande e lento e precisar de um aumento de desempenho. Geralmente é mais barato recompilar com extensões do que comprar novo hardware, visto que ter boas orientações (que temos) minimiza o custo de trabalho da recompilação (o tempo de CPU não importa, pode ser executado durante a noite).

Passei pelo processo ... Foi direto e não demorou muito. Não é o seu pesadelo normal de cmake C ++.

Eu tenho um pequeno script bash para compilar TF no MacOS / Linux. Ele calcula dinamicamente os recursos da CPU e os coloca como parâmetros de construção. Estava pensando em criar um PR mas não encontrei uma pasta com scripts (helpers) para builds locais, apenas ci_build. Se fizer sentido eu farei

essência
https://gist.github.com/venik/9ba962c8b301b0e21f99884cbd35082f

Uma nota para @gunan

Encontrei esse problema quando estava instalando o TensorFlow pela primeira vez. Agora estou tendo que descobrir como resolver isso novamente porque estou instalando o TensorFlow em uma nova máquina. É uma dor de cabeça, e a documentação que você forneceu não é clara.

O fato de ter que fazer isso do meu lado é ridículo e irritante. Não adianta disponibilizar algo a partir de pip / pip3 se ele apenas lançar avisos para você o dia todo.

No mínimo, você deve editar https://www.tensorflow.org/install/install_sources e explicar explicitamente como compilá-lo com SSE / AVX

A solução que funcionou para mim: insira "-mavx -msse4.1 -msse4.2" quando solicitado durante o processo de configuração (ao executar ./configure).

É tão difícil adicionar isso às instruções de instalação?

Obrigado, de acordo com a resposta da @Carmezim , recebo a versão de aceleração da CPU baseada em avx e sse. Eu testei mais rápido-rcnn (resnet-101) na Intel. O tempo de custo aumenta cerca de 30%, é realmente útil.

Você pode silenciar os avisos.
Basta adicionar esses códigos no topo.
importar os
os.environ ['TF_CPP_MIN_LOG_LEVEL'] = '2'
importar tensorflow como tf
Conforme mencionado aqui: https://stackoverflow.com/a/44984610

você pode facilmente adicionar uma variável de usuário na variável de ambiente do sistema:
TF_CPP_MIN_LOG_LEVEL, value = 2. Em seguida, reinicie seu IDE

Melhorias @mikalyoung para cálculos de GPU não podem ser esperadas, uma vez que as instruções definidas são apenas CPU e permitem operações vetorizadas.
Portanto, se você comparar dois códigos em execução (idealmente) 100% em GPUs, um em uma instância do Tensorflow compilada com suporte SIMD e outro sem, você deve obter os mesmos resultados em termos de velocidade (e com sorte também numericamente).

IC: \ tf_jenkinshome \ workspace \ rel-win \ M \ windows \ PY \ 36 \ tensorflow \ core \ platform \ cpu_feature_guard.cc: 137] Sua CPU suporta instruções de que este binário TensorFlow não foi compilado para uso: AVX AVX2

Como você pode ver, o aviso está no meu sistema também, mas nisso, eu não sou capaz de entender 'eu' no início do aviso, então alguém pode me ajudar nesse caso

"I" existe apenas uma abreviação para "INFO". As outras letras que você pode ver são E para erro ou F para fatal.

Então instalei usando conda. Se eu quiser agora compilar a partir do código-fonte para tirar vantagem de qualquer aumento de velocidade, preciso fazer algo para remover minha instalação conda do tensorflow? Ou está em seu próprio pequeno contêiner e posso compilar separadamente do código-fonte?

Eu tinha instalado o DeepSpeech e também um servidor DeepSpeech. Fui iniciar o servidor e recebi uma mensagem de erro - "2018-01-17 08: 21: 49.120154: F tensorflow / core / platform / cpu_feature_guard.cc: 35] A biblioteca TensorFlow foi compilada para usar as instruções AVX2, mas não t disponível em sua máquina.
Abortado (core despejado) "

Aparentemente, preciso compilar o TensorFlow no mesmo computador. Existe uma lista de algum lugar para corresponder ao Kubuntu 17.10.1 e um HP Probook 4330S, por favor?

Por que não há compilações do Windows? Estou tendo os mesmos problemas, mas em vez de silenciar os avisos que gostaria de usar minha GPU, também tenho uma placa de vídeo e e não Nvidia, o que eu faço?

* Não tenho placa gráfica Nvidia, tenho uma e uma o que faço?

* Placa de vídeo AMD .. autocorreção

Estes não são apenas avisos, pois matam o processo nas minhas caixas de teste. Como também uso GPUs AMD, girei um tensorflow da Digital Ocean para experimentar, mas parece que também não há suporte para GPU e está falhando terrivelmente.

`# Id do trabalho 0

Carregando hparams de / home / science / tf-demo / models / nmt-chatbot / model / hparams

salvando hparams em / home / science / tf-demo / models / nmt-chatbot / model / hparams
salvando hparams em / home / science / tf-demo / models / nmt-chatbot / model / best_bleu / hparams
atenção = scaled_luong
atenção_arquitetura = padrão
batch_size = 128
largura do feixe = 10
best_bleu = 0
best_bleu_dir = / home / science / tf-demo / models / nmt-chatbot / model / best_bleu
check_special_token = True
colocate_gradients_with_ops = True
decay_factor = 1.0
decay_steps = 10000
dev_prefix = / home / science / tf-demo / models / nmt-chatbot / data / tst2012
abandono = 0,2
encoder_type = bi
eos =
epoch_step = 0
esquecer_bias = 1.0
infer_batch_size = 32
init_op = uniforme
peso_init = 0,1
learning_rate = 0,001
learning_rate_decay_scheme =
length_penalty_weight = 1.0
log_device_placement = False
max_gradient_norm = 5.0
max_train = 0
metrics = ['bleu']
num_buckets = 5
num_embeddings_partitions = 0
num_gpus = 1
num_layers = 2
num_residual_layers = 0
num_train_steps = 500000
num_translations_per_input = 10
num_units = 512
optimizer = adam
out_dir = / home / science / tf-demo / models / nmt-chatbot / model
output_attention = True
override_loaded_hparams = True
pass_hidden_state = True
random_seed = None
residual = falso
share_vocab = False
sos =
source_reverse = False
src = de
src_max_len = 50
src_max_len_infer = Nenhum
src_vocab_file = / home / science / tf-demo / models / nmt-chatbot / data / vocab.from
src_vocab_size = 15003
start_decay_step = 0
steps_per_external_eval = None
etapas_por_estatísticas = 100
subword_option =
test_prefix = / home / science / tf-demo / models / nmt-chatbot / data / tst2013
tgt = para
tgt_max_len = 50
tgt_max_len_infer = Nenhum
tgt_vocab_file = / home / science / tf-demo / models / nmt-chatbot / data / vocab.to
tgt_vocab_size = 15003
time_major = True
train_prefix = / home / science / tf-demo / models / nmt-chatbot / data / train
unit_type = lstm
vocab_prefix = / home / science / tf-demo / models / nmt-chatbot / data / vocab
warmup_scheme = t2t
warmup_steps = 0

criando gráfico de trem ...

num_bi_layers = 1, num_bi_residual_layers = 0
célula 0 LSTM, esquecer_bias = 1 DropoutWrapper, dropout = 0,2 DeviceWrapper, dispositivo = / gpu: 0
célula 0 LSTM, esquecer_bias = 1 DropoutWrapper, dropout = 0,2 DeviceWrapper, dispositivo = / gpu: 0
célula 0 LSTM, esquecer_bias = 1 DropoutWrapper, dropout = 0,2 DeviceWrapper, dispositivo = / gpu: 0
célula 1 LSTM, esquecer_bias = 1 DropoutWrapper, dropout = 0,2 DeviceWrapper, dispositivo = / gpu: 0
learning_rate = 0,001, warmup_steps = 0, warmup_scheme = t2t
decay_scheme =, start_decay_step = 0, decay_steps 10000, decay_factor 1

Variáveis ​​treináveis

embeddings / encoder / embedding_ encoder: 0 , (15003, 512),
embeddings / decoder / embedding_ decoder: 0 , (15003, 512),
dynamic_seq2seq / encoder / bidirectional_rnn / fw / basic_lstm_cell / kernel: 0 , (1024, 2048), / dispositivo: GPU : 0
dynamic_seq2seq / encoder / bidirectional_rnn / fw / basic_lstm_cell / bias: 0 , (2048,), / dispositivo: GPU : 0
dynamic_seq2seq / encoder / bidirectional_rnn / bw / basic_lstm_cell / kernel: 0 , (1024, 2048), / dispositivo: GPU : 0
dynamic_seq2seq / encoder / bidirectional_rnn / bw / basic_lstm_cell / bias: 0 , (2048,), / dispositivo: GPU : 0
dynamic_seq2seq / decoder / memory_layer / kernel: 0 , (1024, 512),
dynamic_seq2seq / decoder / atenção / multi_rnn_cell / cell_0 / basic_lstm_cell / kernel: 0 , (1536, 2048), / dispositivo: GPU : 0
dynamic_seq2seq / decoder /ention / multi_rnn_cell / cell_0 / basic_lstm_cell / bias: 0 , (2048,), / dispositivo: GPU : 0
dynamic_seq2seq / decoder / atenção / multi_rnn_cell / cell_1 / basic_lstm_cell / kernel: 0 , (1024, 2048), / dispositivo: GPU : 0
dynamic_seq2seq / decoder /ention / multi_rnn_cell / cell_1 / basic_lstm_cell / bias: 0 , (2048,), / dispositivo: GPU : 0
dynamic_seq2seq / decodificador / atenção / luong_attention / atenção_g: 0, (), / dispositivo: GPU : 0
dynamic_seq2seq / decodificador / atenção / atenção_layer / kernel: 0 , (1536, 512), / dispositivo: GPU : 0
dynamic_seq2seq / decoder / output_projection / kernel: 0 , (512, 15003), / dispositivo: GPU : 0

criando gráfico eval ...

num_bi_layers = 1, num_bi_residual_layers = 0
célula 0 LSTM, esquecer_bias = 1 DeviceWrapper, dispositivo = / gpu: 0
célula 0 LSTM, esquecer_bias = 1 DeviceWrapper, dispositivo = / gpu: 0
célula 0 LSTM, esquecer_bias = 1 DeviceWrapper, dispositivo = / gpu: 0
célula 1 LSTM, esquecer_bias = 1 DeviceWrapper, dispositivo = / gpu: 0

Variáveis ​​treináveis

embeddings / encoder / embedding_ encoder: 0 , (15003, 512),
embeddings / decoder / embedding_ decoder: 0 , (15003, 512),
dynamic_seq2seq / encoder / bidirectional_rnn / fw / basic_lstm_cell / kernel: 0 , (1024, 2048), / dispositivo: GPU : 0
dynamic_seq2seq / encoder / bidirectional_rnn / fw / basic_lstm_cell / bias: 0 , (2048,), / dispositivo: GPU : 0
dynamic_seq2seq / encoder / bidirectional_rnn / bw / basic_lstm_cell / kernel: 0 , (1024, 2048), / dispositivo: GPU : 0
dynamic_seq2seq / encoder / bidirectional_rnn / bw / basic_lstm_cell / bias: 0 , (2048,), / dispositivo: GPU : 0
dynamic_seq2seq / decoder / memory_layer / kernel: 0 , (1024, 512),
dynamic_seq2seq / decoder / atenção / multi_rnn_cell / cell_0 / basic_lstm_cell / kernel: 0 , (1536, 2048), / dispositivo: GPU : 0
dynamic_seq2seq / decoder /ention / multi_rnn_cell / cell_0 / basic_lstm_cell / bias: 0 , (2048,), / dispositivo: GPU : 0
dynamic_seq2seq / decoder / atenção / multi_rnn_cell / cell_1 / basic_lstm_cell / kernel: 0 , (1024, 2048), / dispositivo: GPU : 0
dynamic_seq2seq / decoder /ention / multi_rnn_cell / cell_1 / basic_lstm_cell / bias: 0 , (2048,), / dispositivo: GPU : 0
dynamic_seq2seq / decodificador / atenção / luong_attention / atenção_g: 0, (), / dispositivo: GPU : 0
dynamic_seq2seq / decodificador / atenção / atenção_layer / kernel: 0 , (1536, 512), / dispositivo: GPU : 0
dynamic_seq2seq / decoder / output_projection / kernel: 0 , (512, 15003), / dispositivo: GPU : 0

criando inferir gráfico ...

num_bi_layers = 1, num_bi_residual_layers = 0
célula 0 LSTM, esquecer_bias = 1 DeviceWrapper, dispositivo = / gpu: 0
célula 0 LSTM, esquecer_bias = 1 DeviceWrapper, dispositivo = / gpu: 0
célula 0 LSTM, esquecer_bias = 1 DeviceWrapper, dispositivo = / gpu: 0
célula 1 LSTM, esquecer_bias = 1 DeviceWrapper, dispositivo = / gpu: 0

Variáveis ​​treináveis

embeddings / encoder / embedding_ encoder: 0 , (15003, 512),
embeddings / decoder / embedding_ decoder: 0 , (15003, 512),
dynamic_seq2seq / encoder / bidirectional_rnn / fw / basic_lstm_cell / kernel: 0 , (1024, 2048), / dispositivo: GPU : 0
dynamic_seq2seq / encoder / bidirectional_rnn / fw / basic_lstm_cell / bias: 0 , (2048,), / dispositivo: GPU : 0
dynamic_seq2seq / encoder / bidirectional_rnn / bw / basic_lstm_cell / kernel: 0 , (1024, 2048), / dispositivo: GPU : 0
dynamic_seq2seq / encoder / bidirectional_rnn / bw / basic_lstm_cell / bias: 0 , (2048,), / dispositivo: GPU : 0
dynamic_seq2seq / decoder / memory_layer / kernel: 0 , (1024, 512),
dynamic_seq2seq / decoder / atenção / multi_rnn_cell / cell_0 / basic_lstm_cell / kernel: 0 , (1536, 2048), / dispositivo: GPU : 0
dynamic_seq2seq / decoder /ention / multi_rnn_cell / cell_0 / basic_lstm_cell / bias: 0 , (2048,), / dispositivo: GPU : 0
dynamic_seq2seq / decoder / atenção / multi_rnn_cell / cell_1 / basic_lstm_cell / kernel: 0 , (1024, 2048), / dispositivo: GPU : 0
dynamic_seq2seq / decoder /ention / multi_rnn_cell / cell_1 / basic_lstm_cell / bias: 0 , (2048,), / dispositivo: GPU : 0
dynamic_seq2seq / decodificador / atenção / luong_attention / atenção_g: 0, (), / dispositivo: GPU : 0
dynamic_seq2seq / decodificador / atenção / atenção_layer / kernel: 0 , (1536, 512), / dispositivo: GPU : 0
dynamic_seq2seq / decoder / output_projection / kernel: 0 , (512, 15003),

log_file = / home / science / tf-demo / models / nmt-chatbot / model / log_1519669184

26/02/2018 18: 19: 44.862736: I tensorflow / core / platform / cpu_feature_guard.cc: 137] Sua CPU suporta instruções que este binário TensorFlow não foi compilado para usar: SSE4.1 SSE4.2 AVX AVX2 FMA
Morto »

qual comando precisa ser executado e onde executar esses comandos e como, por favor, diga. Eu preciso desesperadamente de ajuda.

Mas isso significa que o sistema não está usando GPU para o processo?

Bem, você precisa resolver isso se estiver construindo tensorflow em um ambiente de aceleração, como o uso de k-fold no KerasClassifier.
Para resolver isso, você precisará construir tensorflow a partir da fonte, como todos recomendam.
Para construir tensorflow a partir da fonte, você precisará ter a seguinte ferramenta

1. Instale o git em sua máquina se você ainda não o instalou - na máquina ubuntu, basta digitar "sudo apt-get install git
2. Você precisará instalar o bazel. É altamente recomendável usar o repositório APT customizado. Siga as instruções neste link para instalar o bazel https://docs.bazel.build/versions/master/install-ubuntu.html.
3. Você precisa das seguintes dependências do Python ... usando o comando abaixo
   numpy, dev e wheel
   sudo apt-get install python-numpy python-dev python-pip python-wheel
   4. Uma vez que você tenha todas as dependências instaladas, clone o github tensorflow para sua unidade local
   git clone https://github.com/tensorflow/tensorflow
4. Vá para o local para clonar tensorflow e cd para o arquivo tensorflow e execute o arquivo de configuração
   tensor de cd
   ./configure

Basta seguir as instruções na tela para concluir a instalação do tensorflow.
Recomendo enfaticamente que atualize sua máquina assim que o Tensorflow estiver instalado
sudo apt-get update

Boa sorte e divirta-se ...

Apenas comentando neste tópico que você não deve apenas silenciar esses avisos - estou obtendo um tempo de treinamento 43% mais rápido ao construir a partir da fonte, acho que vale o esforço.

• As instruções do Tensorflow
• ... mas eles não explicam como ligar SSE / AVX / FMA etc - então use este tópico para ter uma ideia de como definir os sinalizadores de compilação do Bazel

como instalar o tensorflow usando este arquivo "tensorflow-1.6.0-cp36-cp36m-win_amd64.whl"

@anozele pip3 install --upgrade *path to wheel file*

@gunan --config = opt não é suficiente, você também deve adicionar, por exemplo, --copt = "- msse4.2", ao construir o TensorFlow a partir da fonte.

De acordo com a Intel, https://software.intel.com/en-us/articles/intel-optimization-for-tensorflow-installation-guide , se você usar o Tensorflow desenvolvido pela Intel, pode ignorar esses avisos, já que todo o conjunto de instruções disponível o faria ser usado pelo backend MKL. Alguém do Tensorflow pode confirmar isso?

Isso não é um erro, apenas avisos dizendo que se você construir o TensorFlow a partir da fonte, ele pode ser mais rápido em sua máquina.

SO pergunta sobre isso: http://stackoverflow.com/questions/41293077/how-to-compile-tensorflow-with-sse4-2-and-avx-instructions
Guia do TensorFlow para criar a partir da fonte: https://www.tensorflow.org/install/install_sources

No entanto, não é mais rápido do que eu não uso -FMA -AVX -SSE https://stackoverflow.com/questions/57197854/fma-avx-sse-flags-did-not-bring-me-good-performance

Oi. Desculpe se estou batendo em um cavalo morto. Apenas me perguntando por que o pip wheel padrão não é os binários compilados com instruções antecipadas?

Oi. Desculpe se estou batendo em um cavalo morto. Apenas me perguntando por que o pip wheel padrão não é os binários compilados com instruções antecipadas?

Isso ocorre porque as arquiteturas de cpu antigas não oferecem suporte a conjuntos de instruções avançadas. Consulte o wiki para obter a lista detalhada de cpus que suportam AVX, AVX2 ou AVX512. Se o binário pip padrão for compilado com esses conjuntos de instruções, o tensorflow não pode funcionar em CPUs antigas.

Mas isso significa que o sistema não está usando GPU para o processo?

Não, isso mostra que mesmo se você estiver usando GPU, se você não silenciou as mensagens, você também deve ver o Tensorflor carregando seu dispositivo de GPU no prompt de comando.

Se você verificar com este repo:
Verifique o código abaixo:

https://github.com/fo40225/tensorflow-windows-wheel

Ele compilou quase todas as versões do TF com SSE e AVX
Ele compilou quase todas as versões do TF!

Este artigo foi um bom tutorial sobre como construir a partir do código-fonte, incluindo os sinalizadores
https://medium.com/@pierreontech/setup -a-high-performance-conda-tensorflow-environment-976995158cb1

tente forçar a inclusão das extensões apropriadas usando opções adicionais do bazel como --copt=-mavx --copt=-msse4.1 --copt=-msse4.2