Ce n'est pas une erreur, juste des avertissements indiquant que si vous créez TensorFlow à partir de la source, cela peut être plus rapide sur votre machine.

Donc question à ce sujet : http://stackoverflow.com/questions/41293077/how-to-compile-tensorflow-with-sse4-2-and-avx-instructions
Guide TensorFlow pour créer à partir de la source : https://www.tensorflow.org/install/install_sources

Tout comme @Carmezim l'a déclaré, il s'agit simplement de messages d'avertissement.
Pour chacun de vos programmes, vous ne les verrez qu'une seule fois.
Et tout comme les avertissements le disent, vous ne devez compiler TF avec ces indicateurs que si vous avez besoin de rendre TF plus rapide.

Vous pouvez suivre notre guide pour installer TensorFlow à partir de sources afin de compiler TF avec prise en charge des jeux d'instructions SIMD.

OK merci. Je comprends.

Y a-t-il un moyen de faire taire cela?

La seule façon de faire taire ces messages d'avertissement est de construire à partir des sources, en utilisant l'option --config opt .

Une sorte de "contournement" (bien qu'imparfait) qui redirige les messages sur Unix/Linux/OSX :
python myscript.py 2>/dev/null

@CGTheLegend @ocampesato vous pouvez utiliser la variable d'environnement TF TF_CPP_MIN_LOG_LEVEL et cela fonctionne comme suit :

• La valeur par défaut est 0 , affichant tous les journaux
• Pour filtrer les journaux INFO définissez-le sur 1
• WARNINGS plus, 2
• et pour filtrer en plus les journaux ERROR définissez-le sur 3

Vous pouvez donc procéder comme suit pour désactiver les avertissements :

import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
import tensorflow as tf

@gunan @mrry J'ai vu beaucoup de gens intéressés à faire taire les avertissements, y aurait-il un intérêt à ajouter ce genre d'informations aux documents ?

J'installe à partir du guide d'installation de tensorflow, j'ai également reçu cet avertissement.

pip3 install --upgrade tensorflow

@jadeydi Au lieu de compiler à partir de la source, "pip" installe simplement le binaire également, de sorte que vous aurez toujours ces avertissements.

Je viens de compiler tensorflow avec le support de SSE4.1 SSE4.2 AVX AVX2 et FMA. La version est disponible ici : https://github.com/lakshayg/tensorflow-build . J'espère que c'est utile.

Salut @lakshayg , merci pour le partage. Vous voudrez peut-être vérifier https://github.com/yaroslavvb/tensorflow-community-wheels

La construction est approximativement beaucoup plus rapide par rapport au pip install tensorflow-gpu standard sur Ubuntu ? Est-ce seulement plus rapide pour les calculs CPU, ou y a-t-il un avantage pour les calculs GPU ?

http://www.anandtech.com/show/2362/5

Cela est venu sur google et a quelques détails techniques décents.

test est un encodage DivX utilisant VirtualDub 1.7.6 et DivX 6.7. SSE4 intervient si vous choisissez d'activer un nouvel algorithme de recherche complète pour l'estimation de mouvement, qui est accéléré par deux instructions SSE4 : MPSADBW et PHMINPOSUW . L'idée est que l'estimation de mouvement (déterminer ce qui se passera dans les images vidéo suivantes) nécessite de nombreux calculs de sommes de différences absolues, ainsi que de trouver les valeurs minimales des résultats de ces calculs. L'instruction SSE2 PSADBW peut calculer deux sommes de différences à partir d'une paire d'entiers non signés 16B ; l'instruction SSE4 MPSADBW peut en faire huit.

...

Sur notre QX9650, la recherche complète avec SSE4 activé s'exécute environ 45% plus rapidement qu'avec SSE2 uniquement

Maintenant, vous savez quelles fonctions tensorflow utilise, mais cela pourrait en valoir la peine.

Désolé mais c'est une chose ridicule d'avoir une sortie dans tous les scripts TF par défaut. La plupart des gens ne compilent probablement pas TF à partir de la source et ne le souhaitent pas.

@ TomAshley303 , c'est une information assez impressionnante à obtenir ! Je ne prévois pas de recompiler à partir des sources. Je ne veux pas. Mais les informations me disent quoi faire si mon modèle devient gros et lent et a besoin d'une amélioration des performances. Il est généralement moins cher de recompiler avec des extensions que d'acheter du nouveau matériel, étant donné qu'avoir de bonnes procédures pas à pas (que nous avons) minimise le coût de la main-d'œuvre de la recompilation (le temps CPU n'a pas d'importance, peut fonctionner pendant la nuit).

J'ai suivi le processus... C'était simple et ça n'a pris aucun temps. Ce n'est pas votre cmake C++ habituel, un cauchemar.

J'ai un petit script bash pour compiler TF sous MacOS/Linux. Il calcule dynamiquement les fonctionnalités du processeur et les place comme paramètres de construction. Je pensais créer un PR mais je n'ai pas trouvé de dossier avec des scripts (helpers) pour les builds locaux, seulement ci_build. Si c'est logique je le ferai

essentiel
https://gist.github.com/venik/9ba962c8b301b0e21f99884cbd35082f

Un mot à @gunan

J'ai rencontré ce problème lors de la première installation de TensorFlow. Maintenant, je dois trouver comment le résoudre à nouveau, car j'installe TensorFlow sur une nouvelle machine. C'est une douleur dans le cou, et la documentation que vous avez fournie n'est pas claire du tout.

Le fait que je doive le faire de mon côté est ridicule et exaspérant. Ce n'est pas bon de rendre quelque chose disponible à partir de pip/pip3 s'il ne fait que vous lancer des avertissements toute la journée.

À tout le moins, vous devez éditer https://www.tensorflow.org/install/install_sources et expliquer explicitement comment le compiler avec SSE / AVX

La solution qui a fonctionné pour moi : saisissez "-mavx -msse4.1 -msse4.2" lorsque vous y êtes invité pendant le processus de configuration (lorsque vous exécutez ./configure).

Est-ce si difficile d'ajouter cela à vos instructions d'installation?

Merci, selon la réponse de @Carmezim , j'obtiens la version accélérée du processeur basée sur avx et sse. J'ai testé plus rapide-rcnn (resnet-101) sur Intel. Le temps de coût accélère d'environ 30%, c'est vraiment utile.

Vous pouvez désactiver les avertissements.
Ajoutez simplement ces codes en haut.
importer le système d'exploitation
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
importer tensorflow en tant que tf
Comme mentionné ici : https://stackoverflow.com/a/44984610

vous pouvez facilement ajouter une variable utilisateur dans System Environment Variable :
TF_CPP_MIN_LOG_LEVEL, valeur = 2. Puis redémarrez votre IDE

On ne peut pas s'attendre à des améliorations @mikalyoung pour les calculs GPU, car ces instructions sont uniquement CPU et permettent des opérations vectorisées.
Donc, si vous comparez deux codes fonctionnant (idéalement) à 100% sur des GPU, un sur une instance Tensorflow compilée avec le support SIMD et un sans, vous devriez obtenir les mêmes résultats en termes de vitesse (et, espérons-le, numériquement également).

IC:\tf_jenkinshome\workspace\rel-win\M\windows\PY\36\tensorflow\core\platform\cpu_feature_guard.cc:137] Votre CPU prend en charge les instructions pour lesquelles ce binaire TensorFlow n'a pas été compilé pour être utilisé : AVX AVX2

Comme vous pouvez le voir, l'avertissement concerne également mon système, mais en cela, je ne suis pas en mesure de comprendre « je » au début de l'avertissement afin que quelqu'un puisse m'aider dans ce cas

"Je" il y a juste un raccourci pour "INFO". Les autres lettres que vous pouvez voir sont E pour erreur ou F pour fatale.

J'ai donc installé avec conda. Si je souhaite maintenant compiler à partir des sources à la place pour profiter de toute augmentation de vitesse, dois-je faire quelque chose pour supprimer mon installation conda de tensorflow ? Ou est-il dans son propre petit conteneur et je peux compiler séparément à partir des sources ?

J'avais installé DeepSpeech ainsi qu'un serveur DeepSpeech. Je suis allé démarrer le serveur et j'ai reçu un message d'erreur - "2018-01-17 08:21:49.120154: F tensorflow/core/platform/cpu_feature_guard.cc:35] La bibliothèque TensorFlow a été compilée pour utiliser les instructions AVX2, mais ce ne sont pas t disponible sur votre machine.
Abandonné (core vidé)"

Apparemment, j'ai besoin de compiler TensorFlow sur le même ordinateur. Existe-t-il une liste quelque part pour correspondre à Kubuntu 17.10.1 et à un HP Probook 4330S s'il vous plaît ?

Pourquoi n'y a-t-il pas de compilation Windows ? J'ai les mêmes problèmes, mais au lieu de désactiver les avertissements que je souhaite utiliser mon GPU, j'ai également une carte graphique et et non Nvidia, que dois-je faire ?

*Je n'ai pas de carte graphique Nvidia, j'en ai une et que dois-je faire ?

*Carte graphique AMD .. correction automatique

Ce ne sont pas simplement des avertissements car cela tue le processus sur mes boîtes de test. Comme j'utilise également des GPU AMD, j'ai créé une boîte de tensorflow Digital Ocean pour essayer, mais il semble qu'il n'y ait pas non plus de support GPU là-bas, et il échoue lamentablement.

`# ID de tâche 0

Chargement de hparams depuis /home/science/tf-demo/models/nmt-chatbot/model/hparams

enregistrer hparams dans /home/science/tf-demo/models/nmt-chatbot/model/hparams
enregistrer hparams dans /home/science/tf-demo/models/nmt-chatbot/model/best_bleu/hparams
attention=scaled_luong
attention_architecture=standard
taille_bat=128
largeur_faisceau=10
meilleur_bleu=0
best_bleu_dir=/home/science/tf-demo/models/nmt-chatbot/model/best_bleu
check_special_token=Vrai
colocate_gradients_with_ops=Vrai
facteur_décroissance=1.0
Decay_steps=10000
dev_prefix=/home/science/tf-demo/models/nmt-chatbot/data/tst2012
abandon=0.2
encoder_type=bi
eos=
epoch_step=0
oubli_biais=1.0
infer_batch_size=32
init_op=uniforme
init_weight=0.1
taux_apprentissage=0.001
learning_rate_decay_scheme=
length_penalty_weight=1.0
log_device_placement=Faux
max_gradient_norm=5.0
max_train=0
métriques=['bleu']
num_buckets=5
num_embeddings_partitions=0
num_gpus=1
nombre_couches=2
num_residual_layers=0
num_train_steps=500000
num_translations_per_input=10
nombre_unités=512
optimiseur=adam
out_dir=/home/science/tf-demo/models/nmt-chatbot/model
output_attention=Vrai
override_loaded_hparams=Vrai
pass_hidden_state=Vrai
random_seed=Aucun
résiduel=Faux
share_vocab=Faux
sos=
source_reverse=Faux
src=de
src_max_len=50
src_max_len_infer=Aucun
src_vocab_file=/home/science/tf-demo/models/nmt-chatbot/data/vocab.from
src_vocab_size=15003
start_decay_step=0
step_per_external_eval=Aucun
step_per_stats=100
sous-mot_option=
test_prefix=/home/science/tf-demo/models/nmt-chatbot/data/tst2013
objectif=à
objectif_max_len=50
tgt_max_len_infer=Aucun
tgt_vocab_file=/home/science/tf-demo/models/nmt-chatbot/data/vocab.to
tgt_vocab_size=15003
time_major=Vrai
train_prefix=/home/science/tf-demo/models/nmt-chatbot/data/train
unit_type=lstm
vocab_prefix=/home/science/tf-demo/models/nmt-chatbot/data/vocab
warmup_scheme=t2t
warmup_steps=0

création d'un graphique de train...

num_bi_layers = 1, num_bi_residual_layers=0
cellule 0 LSTM, forget_bias=1 DropoutWrapper, dropout=0.2 DeviceWrapper, device=/ gpu:0
cellule 0 LSTM, forget_bias=1 DropoutWrapper, dropout=0.2 DeviceWrapper, device=/ gpu:0
cellule 0 LSTM, forget_bias=1 DropoutWrapper, dropout=0.2 DeviceWrapper, device=/ gpu:0
cellule 1 LSTM, forget_bias=1 DropoutWrapper, dropout=0.2 DeviceWrapper, device=/ gpu:0
learning_rate=0.001, warmup_steps=0, warmup_scheme=t2t
Decay_scheme=, start_decay_step=0, Decay_steps 10000, Decay_factor 1

Variables entraînables

embeddings/encoder/embedding_ encoder:0 , (15003, 512),
embeddings/decoder/embedding_ decoder:0 , (15003, 512),
dynamic_seq2seq/encoder/bidirectionnel_rnn/fw/basic_lstm_cell/ kernel:0 , (1024, 2048), / device:GPU :0
dynamic_seq2seq/encoder/bidirectionnel_rnn/fw/basic_lstm_cell/ bias:0 , (2048,), / device:GPU :0
dynamic_seq2seq/encoder/bidirectionnel_rnn/bw/basic_lstm_cell/ kernel:0 , (1024, 2048), / device:GPU :0
dynamic_seq2seq/encoder/bidirectionnel_rnn/bw/basic_lstm_cell/ bias:0 , (2048,), / device:GPU :0
dynamic_seq2seq/decoder/memory_layer/ kernel:0 , (1024, 512),
dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_0/basic_lstm_cell/ kernel:0 , (1536, 2048), / device:GPU :0
dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_0/basic_lstm_cell/ bias:0 , (2048,), / device:GPU :0
dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_1/basic_lstm_cell/ kernel:0 , (1024, 2048), / device:GPU :0
dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_1/basic_lstm_cell/ bias:0 , (2048,), / device:GPU :0
dynamic_seq2seq/decoder/attention/luong_attention/attention_g:0, (), / device:GPU :0
dynamic_seq2seq/decoder/attention/attention_layer/ kernel:0 , (1536, 512), / device:GPU :0
dynamic_seq2seq/decoder/output_projection/ kernel:0 , (512, 15003), / device:GPU :0

création d'un graphique d'évaluation...

num_bi_layers = 1, num_bi_residual_layers=0
cellule 0 LSTM, forget_bias=1 DeviceWrapper, device=/ gpu:0
cellule 0 LSTM, forget_bias=1 DeviceWrapper, device=/ gpu:0
cellule 0 LSTM, forget_bias=1 DeviceWrapper, device=/ gpu:0
cellule 1 LSTM, forget_bias=1 DeviceWrapper, device=/ gpu:0

Variables entraînables

embeddings/encoder/embedding_ encoder:0 , (15003, 512),
embeddings/decoder/embedding_ decoder:0 , (15003, 512),
dynamic_seq2seq/encoder/bidirectionnel_rnn/fw/basic_lstm_cell/ kernel:0 , (1024, 2048), / device:GPU :0
dynamic_seq2seq/encoder/bidirectionnel_rnn/fw/basic_lstm_cell/ bias:0 , (2048,), / device:GPU :0
dynamic_seq2seq/encoder/bidirectionnel_rnn/bw/basic_lstm_cell/ kernel:0 , (1024, 2048), / device:GPU :0
dynamic_seq2seq/encoder/bidirectionnel_rnn/bw/basic_lstm_cell/ bias:0 , (2048,), / device:GPU :0
dynamic_seq2seq/decoder/memory_layer/ kernel:0 , (1024, 512),
dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_0/basic_lstm_cell/ kernel:0 , (1536, 2048), / device:GPU :0
dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_0/basic_lstm_cell/ bias:0 , (2048,), / device:GPU :0
dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_1/basic_lstm_cell/ kernel:0 , (1024, 2048), / device:GPU :0
dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_1/basic_lstm_cell/ bias:0 , (2048,), / device:GPU :0
dynamic_seq2seq/decoder/attention/luong_attention/attention_g:0, (), / device:GPU :0
dynamic_seq2seq/decoder/attention/attention_layer/ kernel:0 , (1536, 512), / device:GPU :0
dynamic_seq2seq/decoder/output_projection/ kernel:0 , (512, 15003), / device:GPU :0

création d'un graphique d'inférence ...

num_bi_layers = 1, num_bi_residual_layers=0
cellule 0 LSTM, forget_bias=1 DeviceWrapper, device=/ gpu:0
cellule 0 LSTM, forget_bias=1 DeviceWrapper, device=/ gpu:0
cellule 0 LSTM, forget_bias=1 DeviceWrapper, device=/ gpu:0
cellule 1 LSTM, forget_bias=1 DeviceWrapper, device=/ gpu:0

Variables entraînables

embeddings/encoder/embedding_ encoder:0 , (15003, 512),
embeddings/decoder/embedding_ decoder:0 , (15003, 512),
dynamic_seq2seq/encoder/bidirectionnel_rnn/fw/basic_lstm_cell/ kernel:0 , (1024, 2048), / device:GPU :0
dynamic_seq2seq/encoder/bidirectionnel_rnn/fw/basic_lstm_cell/ bias:0 , (2048,), / device:GPU :0
dynamic_seq2seq/encoder/bidirectionnel_rnn/bw/basic_lstm_cell/ kernel:0 , (1024, 2048), / device:GPU :0
dynamic_seq2seq/encoder/bidirectionnel_rnn/bw/basic_lstm_cell/ bias:0 , (2048,), / device:GPU :0
dynamic_seq2seq/decoder/memory_layer/ kernel:0 , (1024, 512),
dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_0/basic_lstm_cell/ kernel:0 , (1536, 2048), / device:GPU :0
dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_0/basic_lstm_cell/ bias:0 , (2048,), / device:GPU :0
dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_1/basic_lstm_cell/ kernel:0 , (1024, 2048), / device:GPU :0
dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_1/basic_lstm_cell/ bias:0 , (2048,), / device:GPU :0
dynamic_seq2seq/decoder/attention/luong_attention/attention_g:0, (), / device:GPU :0
dynamic_seq2seq/decoder/attention/attention_layer/ kernel:0 , (1536, 512), / device:GPU :0
dynamic_seq2seq/decoder/output_projection/ kernel:0 , (512, 15003),

log_file=/home/science/tf-demo/models/nmt-chatbot/model/log_1519669184

2018-02-26 18:19:44.862736: I tensorflow/core/platform/cpu_feature_guard.cc:137] Votre CPU prend en charge les instructions que ce binaire TensorFlow n'a pas été compilé pour utiliser : SSE4.1 SSE4.2 AVX AVX2 FMA
Tué`

quelle commande doit être exécutée et où exécuter ces commandes et comment le dire. J'ai désespérément besoin d'aide.

Mais cela signifie-t-il que le système n'utilise pas de GPU pour le processus ?

Eh bien, vous devez résoudre ce problème si vous créez un tensorflow dans un environnement d'accélération tel que l'utilisation de k-fold dans KerasClassifier.
Pour résoudre ce problème, vous devrez créer tensorflow à partir de la source, comme tout le monde le recommande.
Pour construire tensorflow à partir de la source, vous aurez besoin de l'outil suivant

1. Installez git sur votre machine si vous ne l'avez pas déjà fait - sur la machine Ubuntu, tapez simplement " sudo apt-get install git
2. Vous devrez installer bazel. Il est fortement recommandé d'utiliser le référentiel APT personnalisé. Suivez les instructions sur ce lien pour installer bazel https://docs.bazel.build/versions/master/install-ubuntu.html.
3. Vous avez besoin des dépendances python suivantes... en utilisant la commande ci-dessous
   numpy, dev et roue
   sudo apt-get install python-numpy python-dev python-pip python-wheel
   4.Une fois toutes les dépendances installées, clonez le github tensorflow sur votre lecteur local
   git clone https://github.com/tensorflow/tensorflow
4. Accédez à l'emplacement pour cloner tensorflow et cd vers le fichier tensorflow et exécutez le fichier de configuration
   tenseur cd
   ./configurer

Suivez simplement les instructions à l'écran pour terminer l'installation de tensorflow.
Je recommanderai fortement de mettre à jour votre machine une fois que tensorflow est installé
sudo apt-get mise à jour

Bonne chance et profite bien...

Juste en disant sur ce fil que vous ne devriez pas simplement faire taire ces avertissements - j'obtiens un temps de formation environ 43% plus rapide en construisant à partir de la source, je pense que cela en vaut la peine.

• Les instructions de Tensorflow
• ... mais ils n'expliquent pas vraiment comment activer SSE/AVX/FMA, etc. - utilisez donc ce fil pour avoir une idée de la façon de définir vos indicateurs de construction Bazel

comment installer tensorflow en utilisant ce fichier" tensorflow-1.6.0-cp36-cp36m-win_amd64.whl"

@anozele pip3 install --upgrade *path to wheel file*

@gunan --config=opt n'est pas suffisant, vous devez également ajouter, par exemple, --copt="-msse4.2", lorsque vous compilez TensorFlow à partir des sources.

Selon Intel, https://software.intel.com/en-us/articles/intel-optimization-for-tensorflow-installation-guide , Si vous utilisez Tensorflow construit par Intel, vous pouvez ignorer ces avertissements car tous les jeux d'instructions disponibles seraient être utilisé par le backend MKL. Quelqu'un de Tensorflow peut-il le confirmer ?

Ce n'est pas une erreur, juste des avertissements indiquant que si vous créez TensorFlow à partir de la source, cela peut être plus rapide sur votre machine.

Donc question à ce sujet : http://stackoverflow.com/questions/41293077/how-to-compile-tensorflow-with-sse4-2-and-avx-instructions
Guide TensorFlow pour créer à partir de la source : https://www.tensorflow.org/install/install_sources

Cependant, ce n'est pas plus rapide que je n'utilise pas -FMA -AVX -SSE https://stackoverflow.com/questions/57197854/fma-avx-sse-flags-did-not-bring-me-good-performance

Salut. Désolé si je bats un cheval mort. Vous vous demandez simplement pourquoi la roue de pip par défaut n'est pas les binaires compilées avec des instructions préalables?

Salut. Désolé si je bats un cheval mort. Vous vous demandez simplement pourquoi la roue de pip par défaut n'est pas les binaires compilées avec des instructions préalables?

C'est parce que les anciennes architectures de processeurs ne prennent pas en charge les jeux d'instructions avancés. Voir le wiki pour la liste détaillée des processeurs prenant en charge AVX, AVX2 ou AVX512. Si le binaire pip par défaut est compilé avec ces jeux d'instructions, alors tensorflow ne peut pas fonctionner sur les anciens processeurs.

Mais cela signifie-t-il que le système n'utilise pas de GPU pour le processus ?

Non, cela s'affiche même si vous utilisez un GPU, si vous n'avez pas coupé les messages, vous devriez également voir Tensorflor charger votre périphérique GPU dans l'invite de commande.

Si vous vérifiez avec ce dépôt :
Veuillez vérifier le code ci-dessous :

https://github.com/fo40225/tensorflow-windows-wheel

Il a compilé presque toutes les versions de TF avec SSE et AVX
Il a compilé presque toutes les versions de TF !

Cet article était un bon tutoriel sur la façon de construire à partir de la source, y compris les drapeaux
https://medium.com/@pierreontech/setup -a-high-performance-conda-tensorflow-environment-976995158cb1

essayez de forcer l'inclusion des extensions appropriées en utilisant des options bazel supplémentaires comme --copt=-mavx --copt=-msse4.1 --copt=-msse4.2