Это не ошибка, а просто предупреждения, говорящие о том, что если вы создадите TensorFlow из исходного кода, он может быть быстрее на вашем компьютере.

ТАК вопрос об этом: http://stackoverflow.com/questions/41293077/how-to-compile-tensorflow-with-sse4-2-and-avx-instructions
Руководство TensorFlow по сборке из исходного кода: https://www.tensorflow.org/install/install_sources

Как заявил @Carmezim, это просто предупреждающие сообщения.
Для каждой из ваших программ вы увидите их только один раз.
И, как говорится в предупреждениях, вы должны компилировать TF с этими флагами только в том случае, если вам нужно сделать TF быстрее.

Вы можете следовать нашему руководству, чтобы установить TensorFlow из исходников для компиляции TF с поддержкой наборов инструкций SIMD.

Хорошо спасибо. Я понял.

Есть ли способ заставить это замолчать?

Единственный способ заглушить эти предупреждающие сообщения - построить из исходных кодов с помощью параметра --config opt .

Что-то вроде «обходного пути» (хотя и несовершенного), который перенаправляет сообщения в Unix / Linux / OSX:
python myscript.py 2> / dev / null

@CGTheLegend @ocampesato вы можете использовать переменную среды TF TF_CPP_MIN_LOG_LEVEL и это работает следующим образом:

• По умолчанию 0 , отображаются все журналы.
• Чтобы отфильтровать журналы INFO установите для него значение 1
• WARNINGS дополнительно, 2
• и для дополнительной фильтрации журналов ERROR установите значение 3

Таким образом, вы можете сделать следующее, чтобы отключить предупреждения:

import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
import tensorflow as tf

@gunan @mrry Я видел много людей, заинтересованных в отключении предупреждений, есть ли интерес в добавлении такой информации в документы?

Я устанавливаю из руководства по установке tensorflow, также получил это предупреждение.

pip3 install --upgrade tensorflow

@jadeydi Вместо того, чтобы компилировать из исходного кода, "pip" просто также установите двоичный файл, чтобы вы по-прежнему получали эти предупреждения.

Я только что скомпилировал тензорный поток с поддержкой SSE4.1 SSE4.2 AVX AVX2 и FMA. Сборка доступна здесь: https://github.com/lakshayg/tensorflow-build . Надеюсь, это будет полезно.

Привет @lakshayg , спасибо, что поделились. Возможно, вы захотите проверить https://github.com/yaroslavvb/tensorflow-community-wheels

Примерно намного быстрее сборка по сравнению со стандартной pip install tensorflow-gpu на Ubuntu? Это только быстрее для вычислений CPU или есть какие-то преимущества для вычислений на GPU?

http://www.anandtech.com/show/2362/5

Это появилось в Google и содержит некоторые приличные технические подробности.

test - это кодирование DivX с использованием VirtualDub 1.7.6 и DivX 6.7. SSE4 появляется, если вы решите включить новый алгоритм полного поиска для оценки движения, который ускоряется двумя инструкциями SSE4: MPSADBW и PHMINPOSUW . Идея состоит в том, что оценка движения (выяснение того, что произойдет в последующих кадрах видео) требует большого количества вычислений сумм абсолютных разностей, а также нахождения минимальных значений результатов этих вычислений. Инструкция SSE2 PSADBW может вычислить две суммы разностей из пары 16B целых чисел без знака; инструкция SSE4 MPSADBW может выполнить восемь.

...

На нашем QX9650 полный поиск с включенным SSE4 выполняется примерно на 45% быстрее, чем только с SSE2.

Теперь вы знаете, какие функции использует tensorflow, но, возможно, они того стоят.

Извините, но по умолчанию выводить во всех сценариях TF - это нелепо. Большинство людей, вероятно, не компилируют TF из исходников и не хотят этого делать.

@ TomAshley303 , это

Я прошел через весь процесс ... Был прямолинейным и совсем не занимал времени. Это не обычный кошмар для cmake C ++.

У меня есть небольшой сценарий bash для компиляции TF под MacOS / Linux. Он динамически вычисляет характеристики ЦП и помещает их в качестве параметров сборки. Думал создать PR, но папки со скриптами (хелперами) для локальных сборок не нашел, только ci_build. Если есть смысл, я сделаю это

суть
https://gist.github.com/venik/9ba962c8b301b0e21f99884cbd35082f

Примечание для @gunan

Я столкнулся с этой проблемой, когда впервые устанавливал TensorFlow. Теперь мне нужно снова выяснить, как решить эту проблему, потому что я устанавливаю TensorFlow на новую машину. Это головная боль, а предоставленная вами документация совсем не ясна.

Тот факт, что мне приходится это делать со своей стороны, смешон и приводит в бешенство. Бесполезно делать что-то доступным из pip / pip3, если он затем просто выдает вам предупреждения в течение всего дня.

По крайней мере, вы должны отредактировать https://www.tensorflow.org/install/install_sources и явно объяснить, как скомпилировать его с помощью SSE / AVX.

Решение, которое сработало для меня: введите «-mavx -msse4.1 -msse4.2» при появлении запроса в процессе настройки (при запуске ./configure).

Неужели сложно добавить это в инструкции по установке?

Спасибо, согласно ответу @Carmezim , я получаю версию для ускорения процессора на основе avx и sse. Я тестировал fast-rcnn (resnet-101) на Intel. Стоимость времени увеличивается примерно на 30%, это действительно полезно.

Вы можете отключить предупреждения.
Просто добавьте эти коды вверху.
импорт ОС
os.environ ['TF_CPP_MIN_LOG_LEVEL'] = '2'
импортировать тензорный поток как tf
Как упоминалось здесь: https://stackoverflow.com/a/44984610

вы можете легко добавить пользовательскую переменную в переменную системной среды:
TF_CPP_MIN_LOG_LEVEL, value = 2. Затем перезапустите IDE.

Нельзя ожидать улучшений
Поэтому, если вы сравните два кода, работающие (в идеале) на 100% на графических процессорах, один на экземпляре Tensorflow, скомпилированном с поддержкой SIMD, а другой без него, вы должны получить те же результаты с точки зрения скорости (и, надеюсь, и в числовом отношении).

IC: \ tf_jenkinshome \ workspace \ rel-win \ M \ windows \ PY \ 36 \ tensorflow \ core \ platform \ cpu_feature_guard.cc: 137] Ваш ЦП поддерживает инструкции, для использования которых этот двоичный файл TensorFlow не был скомпилирован: AVX AVX2

Как видите, предупреждение также относится к моей системе, но в этом случае я не могу понять «Я» в начале предупреждения, поэтому в этом случае кто-то может мне помочь.

«I» - это просто сокращение от «INFO». Другие буквы, которые вы видите, это E для ошибки или F для фатального.

Итак, я установил с помощью conda. Если я хочу теперь скомпилировать из исходного кода, а не воспользоваться каким-либо повышением скорости, нужно ли мне что-нибудь делать, чтобы удалить мою conda install tenorflow? Или он находится в своем собственном маленьком контейнере, и я могу отдельно скомпилировать из исходного кода?

Я установил DeepSpeech, а также сервер DeepSpeech. Пошел, чтобы запустить сервер, и получил сообщение об ошибке - «2018-01-17 08: 21: 49.120154: F tensorflow / core / platform / cpu_feature_guard.cc: 35] Библиотека TensorFlow была скомпилирована для использования инструкций AVX2, но это не так. t доступно на вашей машине.
Прервано (ядро сброшено) "

Очевидно, мне нужно скомпилировать TensorFlow на том же компьютере. Есть ли список где-нибудь, чтобы сопоставить Kubuntu 17.10.1 и HP Probook 4330S, пожалуйста?

Почему нет компиляторов windows? У меня те же проблемы, но вместо отключения предупреждений о том, что я хотел бы использовать свой графический процессор, у меня также есть видеокарта и, а не Nvidia. Что мне делать?

* У меня нет видеокарты Nvidia, у меня есть и одна, что мне делать?

* Видеокарта AMD .. автозамена

Это не просто предупреждения, так как это убивает процесс на моих тестовых блоках. Поскольку я также использую графические процессоры AMD, я создал коробку Tenorflow Digital Ocean, чтобы попробовать, но, похоже, там тоже нет поддержки графических процессоров, и это с треском проваливается.

`# Job id 0

Загрузка hparams из / home / science / tf-demo / models / nmt-chatbot / model / hparams

сохранение hparams в / home / science / tf-demo / models / nmt-chatbot / model / hparams
сохранение hparams в / home / science / tf-demo / models / nmt-chatbot / model / best_bleu / hparams
внимание = scaled_luong
внимание_архитектура = стандарт
batch_size = 128
beam_width = 10
best_bleu = 0
best_bleu_dir = / главная / наука / tf-demo / models / nmt-chatbot / model / best_bleu
check_special_token = Правда
colocate_gradients_with_ops = Верно
decay_factor = 1.0
decay_steps = 10000
dev_prefix = / главная / наука / tf-demo / модели / nmt-chatbot / data / tst2012
выпадение = 0,2
encoder_type = bi
eos =
epoch_step = 0
Forgot_bias = 1.0
infer_batch_size = 32
init_op = униформа
init_weight = 0,1
learning_rate = 0,001
learning_rate_decay_scheme =
length_penalty_weight = 1.0
log_device_placement = Ложь
max_gradient_norm = 5.0
max_train = 0
метрики = ['bleu']
num_buckets = 5
num_embeddings_partitions = 0
num_gpus = 1
num_layers = 2
num_residual_layers = 0
num_train_steps = 500000
num_translations_per_input = 10
num_units = 512
оптимизатор = адам
out_dir = / главная / наука / tf-demo / модели / nmt-chatbot / модель
output_attention = Правда
override_loaded_hparams = Верно
pass_hidden_state = Верно
random_seed = Нет
остаток = Ложь
share_vocab = Ложь
sos =
source_reverse = Ложь
src = от
src_max_len = 50
src_max_len_infer = Нет
src_vocab_file = / главная / наука / tf-demo / модели / nmt-chatbot / data / vocab.from
src_vocab_size = 15003
start_decay_step = 0
steps_per_external_eval = Нет
steps_per_stats = 100
subword_option =
test_prefix = / главная / наука / tf-demo / модели / nmt-chatbot / data / tst2013
tgt = to
tgt_max_len = 50
tgt_max_len_infer = Нет
tgt_vocab_file = / главная / наука / tf-demo / модели / nmt-chatbot / data / vocab.to
tgt_vocab_size = 15003
time_major = Верно
train_prefix = / главная / наука / tf-demo / модели / nmt-chatbot / data / train
unit_type = lstm
Dictionary_prefix = / главная / наука / tf-демо / модели / nmt-чат-бот / данные / словарь
Warmup_scheme = t2t
Warmup_steps = 0

создание графика поездов ...

num_bi_layers = 1, num_bi_residual_layers = 0
ячейка 0 LSTM, Forgot_bias = 1 DropoutWrapper, dropout = 0.2 DeviceWrapper, device = / gpu: 0
ячейка 0 LSTM, Forgot_bias = 1 DropoutWrapper, dropout = 0.2 DeviceWrapper, device = / gpu: 0
ячейка 0 LSTM, Forgot_bias = 1 DropoutWrapper, dropout = 0.2 DeviceWrapper, device = / gpu: 0
ячейка 1 LSTM, Forgot_bias = 1 DropoutWrapper, dropout = 0.2 DeviceWrapper, device = / gpu: 0
скорость обучения = 0,001, шаги_разминки = 0, схема_разминки = t2t
decay_scheme =, start_decay_step = 0, decay_steps 10000, decay_factor 1

Обучаемые переменные

вложения / кодировщик / кодировщик_встраиваний: 0 , (15003, 512),
вложения / декодер / встраивание_ декодер: 0 , (15003, 512),
dynamic_seq2seq / encoder / twoirectional_rnn / fw / basic_lstm_cell / kernel: 0 , (1024, 2048), / устройство: GPU : 0
dynamic_seq2seq / encoder / twoirectional_rnn / fw / basic_lstm_cell / bias: 0 , (2048,), / устройство: GPU : 0
dynamic_seq2seq / кодировщик / двунаправленный_rnn / bw / basic_lstm_cell / ядро: 0 , (1024, 2048), / устройство: графический процессор : 0
dynamic_seq2seq / encoder / twoirectional_rnn / bw / basic_lstm_cell / bias: 0 , (2048,), / устройство: GPU : 0
dynamic_seq2seq / decoder / memory_layer / kernel: 0 , (1024, 512),
dynamic_seq2seq / decoder / Внимание / multi_rnn_cell / cell_0 / basic_lstm_cell / kernel: 0 , (1536, 2048), / устройство: GPU : 0
dynamic_seq2seq / decoder / Внимание / multi_rnn_cell / cell_0 / basic_lstm_cell / bias: 0 , (2048,), / устройство: GPU : 0
dynamic_seq2seq / decoder / Внимание / multi_rnn_cell / cell_1 / basic_lstm_cell / kernel: 0 , (1024, 2048), / устройство: GPU : 0
dynamic_seq2seq / decoder / Внимание / multi_rnn_cell / cell_1 / basic_lstm_cell / bias: 0 , (2048,), / device: GPU : 0
динамический_seq2seq / декодер / внимание / luong_attention / внимание_g: 0, (), / устройство: графический процессор : 0
динамический_seq2seq / декодер / внимание / уровень внимания / ядро: 0 , (1536, 512), / устройство: графический процессор : 0
dynamic_seq2seq / decoder / output_projection / kernel: 0 , (512, 15003), / устройство: GPU : 0

создание оценочного графика ...

num_bi_layers = 1, num_bi_residual_layers = 0
ячейка 0 LSTM, Forgot_bias = 1 DeviceWrapper, device = / gpu: 0
ячейка 0 LSTM, Forgot_bias = 1 DeviceWrapper, device = / gpu: 0
ячейка 0 LSTM, Forgot_bias = 1 DeviceWrapper, device = / gpu: 0
ячейка 1 LSTM, Forgot_bias = 1 DeviceWrapper, device = / gpu: 0

Обучаемые переменные

вложения / кодировщик / кодировщик_встраиваний: 0 , (15003, 512),
вложения / декодер / встраивание_ декодер: 0 , (15003, 512),
dynamic_seq2seq / encoder / twoirectional_rnn / fw / basic_lstm_cell / kernel: 0 , (1024, 2048), / устройство: GPU : 0
dynamic_seq2seq / encoder / twoirectional_rnn / fw / basic_lstm_cell / bias: 0 , (2048,), / устройство: GPU : 0
dynamic_seq2seq / кодировщик / двунаправленный_rnn / bw / basic_lstm_cell / ядро: 0 , (1024, 2048), / устройство: графический процессор : 0
dynamic_seq2seq / encoder / twoirectional_rnn / bw / basic_lstm_cell / bias: 0 , (2048,), / устройство: GPU : 0
dynamic_seq2seq / decoder / memory_layer / kernel: 0 , (1024, 512),
dynamic_seq2seq / decoder / Внимание / multi_rnn_cell / cell_0 / basic_lstm_cell / kernel: 0 , (1536, 2048), / устройство: GPU : 0
dynamic_seq2seq / decoder / Внимание / multi_rnn_cell / cell_0 / basic_lstm_cell / bias: 0 , (2048,), / устройство: GPU : 0
dynamic_seq2seq / decoder / Внимание / multi_rnn_cell / cell_1 / basic_lstm_cell / kernel: 0 , (1024, 2048), / устройство: GPU : 0
dynamic_seq2seq / decoder / Внимание / multi_rnn_cell / cell_1 / basic_lstm_cell / bias: 0 , (2048,), / device: GPU : 0
динамический_seq2seq / декодер / внимание / luong_attention / внимание_g: 0, (), / устройство: графический процессор : 0
динамический_seq2seq / декодер / внимание / уровень внимания / ядро: 0 , (1536, 512), / устройство: графический процессор : 0
dynamic_seq2seq / decoder / output_projection / kernel: 0 , (512, 15003), / устройство: GPU : 0

создание логического графика ...

num_bi_layers = 1, num_bi_residual_layers = 0
ячейка 0 LSTM, Forgot_bias = 1 DeviceWrapper, device = / gpu: 0
ячейка 0 LSTM, Forgot_bias = 1 DeviceWrapper, device = / gpu: 0
ячейка 0 LSTM, Forgot_bias = 1 DeviceWrapper, device = / gpu: 0
ячейка 1 LSTM, Forgot_bias = 1 DeviceWrapper, device = / gpu: 0

Обучаемые переменные

вложения / кодировщик / кодировщик_встраиваний: 0 , (15003, 512),
вложения / декодер / встраивание_ декодер: 0 , (15003, 512),
dynamic_seq2seq / encoder / twoirectional_rnn / fw / basic_lstm_cell / kernel: 0 , (1024, 2048), / устройство: GPU : 0
dynamic_seq2seq / encoder / twoirectional_rnn / fw / basic_lstm_cell / bias: 0 , (2048,), / устройство: GPU : 0
dynamic_seq2seq / кодировщик / двунаправленный_rnn / bw / basic_lstm_cell / ядро: 0 , (1024, 2048), / устройство: графический процессор : 0
dynamic_seq2seq / encoder / twoirectional_rnn / bw / basic_lstm_cell / bias: 0 , (2048,), / устройство: GPU : 0
dynamic_seq2seq / decoder / memory_layer / kernel: 0 , (1024, 512),
dynamic_seq2seq / decoder / Внимание / multi_rnn_cell / cell_0 / basic_lstm_cell / kernel: 0 , (1536, 2048), / устройство: GPU : 0
dynamic_seq2seq / decoder / Внимание / multi_rnn_cell / cell_0 / basic_lstm_cell / bias: 0 , (2048,), / устройство: GPU : 0
dynamic_seq2seq / decoder / Внимание / multi_rnn_cell / cell_1 / basic_lstm_cell / kernel: 0 , (1024, 2048), / устройство: GPU : 0
dynamic_seq2seq / decoder / Внимание / multi_rnn_cell / cell_1 / basic_lstm_cell / bias: 0 , (2048,), / device: GPU : 0
динамический_seq2seq / декодер / внимание / luong_attention / внимание_g: 0, (), / устройство: графический процессор : 0
динамический_seq2seq / декодер / внимание / уровень внимания / ядро: 0 , (1536, 512), / устройство: графический процессор : 0
dynamic_seq2seq / decoder / output_projection / ядро: 0 , (512, 15003),

log_file = / home / science / tf-demo / models / nmt-chatbot / model / log_1519669184

2018-02-26 18: 19: 44.862736: I tensorflow / core / platform / cpu_feature_guard.cc: 137] Ваш ЦП поддерживает инструкции, для использования которых этот двоичный файл TensorFlow не был скомпилирован: SSE4.1 SSE4.2 AVX AVX2 FMA
Убит

какую команду нужно запускать и где запускать эти команды и как скажите, пожалуйста. Мне отчаянно нужна помощь.

Но означает ли это, что система не использует графический процессор для этого процесса?

Что ж, вам нужно решить эту проблему, если вы создаете тензорный поток в среде ускорения, например, используя k-fold в KerasClassifier.
Чтобы решить эту проблему, вам нужно будет создать тензорный поток из исходного кода, как все рекомендуют.
Чтобы построить тензорный поток из исходного кода, вам понадобится следующий инструмент

1. Установите git на свой компьютер, если вы еще этого не сделали - на машине с Ubuntu просто введите «sudo apt-get install git».
2. Вам нужно будет установить базел. Настоятельно рекомендуется использовать собственный репозиторий APT. Следуйте инструкциям по этой ссылке, чтобы установить bazel https://docs.bazel.build/versions/master/install-ubuntu.html.
3. Вам нужны следующие зависимости Python ... используя команду ниже
   numpy, dev и колесо
   sudo apt-get install python-numpy python-dev python-pip python-wheel
   4.Как только у вас установлены все зависимости, клонируйте tenorflow github на свой локальный диск.
   git clone https://github.com/tensorflow/tensorflow
4. Перейдите в место для клонирования tensorflow и cd в файл tensorflow и запустите файл конфигурации.
   CD тензор
   ./configure

Просто следуйте инструкциям на экране, чтобы завершить установку tenorflow.
Я настоятельно рекомендую обновить вашу машину после установки tenorflow
sudo apt-get update

Удачи и наслаждайтесь ...

Просто напомню в этой теме, что вы не должны просто заглушать эти предупреждения - я получаю примерно на 43% меньше времени на обучение, создавая из исходников, я думаю, что это того стоит.

• Инструкции Tensorflow по сборке из исходников довольно ясны ...
• ... но они на самом деле не объясняют, как включить SSE / AVX / FMA и т. д. - поэтому используйте этот поток, чтобы получить представление о том, как установить флаги сборки Bazel

как установить tenorflow с помощью этого файла "tensorflow-1.6.0-cp36-cp36m-win_amd64.whl"

@anozele pip3 install --upgrade *path to wheel file*

@gunan --config = opt недостаточно, вам также следует добавить, например, --copt = "- msse4.2", когда вы собираете TensorFlow из исходного кода.

Согласно Intel, https://software.intel.com/en-us/articles/intel-optimization-for-tensorflow-installation-guide , если вы используете построенный Intel Tensorflow, вы можете игнорировать это предупреждение, поскольку весь доступный набор инструкций будет использоваться серверной частью MKL. Кто-нибудь из Tensorflow может это подтвердить?

Это не ошибка, а просто предупреждения, говорящие о том, что если вы создадите TensorFlow из исходного кода, он может быть быстрее на вашем компьютере.

ТАК вопрос об этом: http://stackoverflow.com/questions/41293077/how-to-compile-tensorflow-with-sse4-2-and-avx-instructions
Руководство TensorFlow по сборке из исходного кода: https://www.tensorflow.org/install/install_sources

Однако, это не быстрее , чем я не пользуюсь -FMA -AVX -sse https://stackoverflow.com/questions/57197854/fma-avx-sse-flags-did-not-bring-me-good-performance

Привет. Извините, если я бью мертвую лошадь. Просто интересно, почему колесо пипса по умолчанию не является двоичным файлом, скомпилированным с предварительными инструкциями?

Привет. Извините, если я бью мертвую лошадь. Просто интересно, почему колесо пипса по умолчанию не является двоичным файлом, скомпилированным с предварительными инструкциями?

Это связано с тем, что старые архитектуры процессоров не поддерживают расширенный набор инструкций. См. Вики для подробного списка процессоров, поддерживающих AVX, AVX2 или AVX512. Если двоичный файл pip по умолчанию скомпилирован с этими наборами инструкций, тензорный поток не может работать на старых процессорах.

Но означает ли это, что система не использует графический процессор для этого процесса?

Нет, это показывает, даже если вы используете графический процессор, если вы не отключили звук сообщений, вы также должны увидеть, как Tensorflor загружает ваше устройство с графическим процессором в командной строке.

Если вы проверите с этим репо:
Пожалуйста, проверьте код ниже:

https://github.com/fo40225/tensorflow-windows-wheel

Он скомпилировал почти все версии TF с SSE и AVX.
Он собрал почти все версии TF!

Эта статья была хорошим руководством по сборке из исходного кода, включая флаги.
https://medium.com/@pierreontech/setup -a-high-performance-conda-tensorflow-environment-976995158cb1

попробуйте принудительно включить соответствующие расширения, используя дополнительные параметры базеля, такие как --copt=-mavx --copt=-msse4.1 --copt=-msse4.2