Scikit-learn: Я не понимаю, как строить с помощью anaconda / MKL

как ты его установил?

это довольно автоматически, так как мне просто нужно добавить файл лицензии и запустить
обновление конды (или что-то в этом роде)

Я тоже это сделал, и это доставляет мне неприятности с mkl. Но если я затем попытаюсь скомпилировать sklearn, я получаю ошибки связывания при импорте.

гул, я не знаю. Возможно, конфликт с вашим локальным питоном и анакондой
во время настройки :(

хм, может мне нужно установить LD_LIBRARY_PATH или что-то в этом роде?

У меня есть что-то вроде

LD_LIBRARY_PATH = $ {LD_LIBRARY_PATH}: / u / kkastne / miniconda / lib /

хотя порядок может быть важен, если он находит другие библиотеки из других
сначала устанавливается python.

В среду, 29 июля 2015 г., в 17:01, Андреас Мюллер [email protected]
написал:

хм, может мне нужно установить LD_LIBRARY_PATH или что-то в этом роде?

-
Ответьте на это письмо напрямую или просмотрите его на GitHub
https://github.com/scikit-learn/scikit-learn/issues/5046#issuecomment -126094651
.

это была комбинация смешения системного numpy и LD_LIBRARY_PATH ... всегда хорошее развлечение .... извините за шум.

У меня такая же проблема. @amueller Noob вопрос: где вы ищете

У меня такая же проблема, когда я использую pyinstaller в anaconda для компиляции моей программы. Когда я выполняю его на определенных машинах, возникает вышеупомянутая ошибка. В моем случае, если я повторяю $ LD_LIBRARY_PATH, я вижу несколько путей, которые наш системный менеджер установил для работы некоторых программ. Я попытался установить его на путь к anaconda lib и оставить его пустым, но он продолжает выдавать ошибку.

Я думаю, что это новая ошибка, я только что получил ее на экземпляре Travis.

Когда возникает ваша проблема? Потому что в моем случае я мог установить с помощью conda install numpy и не получал сообщений об ошибках. Впоследствии я успешно сгенерировал однофайловый двоичный файл с помощью pyinstaller. Именно при фактическом использовании исполняемого файла в какой-то момент вызов некоторого кода Biopython вызывает ошибку. Итак, я полагаю, у вас также есть проблема при тестировании кода во время выполнения, верно?

Если я проверю свою установку conda, и libmkl_avx2.so, и libmkl_def.so находятся в папке $ home / anaconda2 / lib. Я также попытался добавить файлы в виде двоичных файлов в файл спецификации pyintaller, но ничего из этого не работает ...

Я думаю, что это новая ошибка, я только что получил ее на экземпляре Travis.

@amueller Я видел эту ошибку:

Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so.

на Трэвисе тоже. Из того, что я мог понять, это было связано с тем, что в numpy 1.10.2 отсутствуют некоторые вещи mkl. numpy 1.10.4 был в порядке. Это было отмечено в https://github.com/scikit-learn/scikit-learn/pull/6508#issuecomment -194908920.

Для записи мне никогда не приходилось устанавливать LD_LIBRARY_PATH для создания scikit-learn с помощью anaconda (с MKL или без него).

@clacri , ваша проблема вообще связана с scikit-learn? Если нет, похоже, вы должны задать свой вопрос либо pyinstaller, либо ребятам из Biopython ...

Из того, что я мог понять, это было связано с тем, что в numpy 1.10.2 отсутствуют некоторые вещи mkl.

Вот фрагмент, который воспроизводит проблему на моей машине:

conda create -n mkl --yes python=3.5 pip nose numpy=1.10.2 scipy=0.16.1 cython=0.23.4 mkl
. activate mkl
cd ~/dev/scikit-learn
make in
python -c 'import sklearn.linear_model.tests.test_randomized_l1'

Intel MKL FATAL ERROR: Cannot load libmkl_mc3.so or libmkl_def.so.

Нет, ты прав. Я должен опубликовать их список проблем. Просто я увидел, что указанная здесь ошибка была такой же, и при использовании анаконды, поэтому я подумал, что это может быть связано. Я уже спрашивал о проекте pyinstaller, потому что похоже, что у него аналогичная проблема с другими библиотеками mkl. В любом случае, я проверил свою версию numpy в анаконде, и она 1.10.4. Спасибо, в любом случае :)

Для записи, просматривая указанный вами комментарий, я нашел сообщение в блоге Anaconda, в котором описывается, как деактивировать версии библиотек mkl (https://www.continuum.io/blog/developer-blog/anaconda-25 -release-now-mkl-optimizations), и теперь, по крайней мере, я могу скомпилировать рабочую версию. Спасибо!

Из-за той же проблемы я отключаю mkl с помощью conda install nomkl. Теперь я счастлив. Если эта проблема будет решена, поделитесь с нами, чтобы я мог снова включиться. Спасибо за проработку этой проблемы.

Та же проблема

Перешел по ссылке выше и решил мою проблему. Спасибо.

Решилось теперь по крайней мере для меня. Вы можете попробовать с новым numpy 11.
В среду, 27 апреля 2016 г., в 22:42 gjzhu [email protected] написал:

Та же проблема. Не знаю, как с этим бороться.

-
Вы получили это, потому что прокомментировали.
Ответьте на это письмо напрямую или просмотрите его на GitHub
https://github.com/scikit-learn/scikit-learn/issues/5046#issuecomment -215292024

Сонджин (Джеймс) Ким, доктор философии

Постдок, CCB в Гарварде

[email protected]

[Интернет] http://aspuru.chem.harvard.edu/james-sungjin-kim/

[Linkedin] https://www.linkedin.com/in/jamessungjinkim

[Facebook] https://www.facebook.com/jamessungjin.kim

[альтернативный адрес электронной почты] jamessungjin. [email protected]

conda install numpy
Исправлена ​​ошибка для меня

Хорошо. Как я уже отмечал, это также работает для меня.

Во вторник, 3 мая 2016 г., в 11:26 утра alinabee [email protected] написал:

conda установить numpy
Исправлена ​​ошибка для меня

-
Вы получили это, потому что прокомментировали.
Ответьте на это письмо напрямую или просмотрите его на GitHub
https://github.com/scikit-learn/scikit-learn/issues/5046#issuecomment -216563766

Сонджин (Джеймс) Ким, доктор философии

Постдок, CCB в Гарварде

[email protected]

[Интернет] http://aspuru.chem.harvard.edu/james-sungjin-kim/

[Linkedin] https://www.linkedin.com/in/jamessungjinkim

[Facebook] https://www.facebook.com/jamessungjin.kim

[альтернативный адрес электронной почты] jamessungjin. [email protected]

Привет,

Просто хотел отметить, что Anaconda 4.0.0, поставляемая с включенным по умолчанию mkl, имеет эту проблему.
Проблема действительно в Anaconda, поскольку ее можно воспроизвести с помощью теста python sklearn, предложенного выше @pcgreat.

Фактическая проблема заключается в том, что Anaconda связана с mkl, но не с libmkl_core.so, поэтому у нее отсутствует символ, и это можно увидеть, запустив:

$ LD_DEBUG=symbols python -c 'import sklearn.linear_model.tests.test_randomized_l1' 2>&1 | grep -i error
      2200:     /opt/anaconda/lib/python2.7/site-packages/scipy/special/../../../../libmkl_avx.so: error: symbol lookup error: undefined symbol: mkl_dft_fft_fix_twiddle_table_32f (fatal)

Я не хотел удалять mkl, так как хотел повысить производительность, поэтому нашел обходной путь, который сработал для меня - предварительно загрузить libmkl_core.so перед выполнением.

$ python -c 'import sklearn.linear_model.tests.test_randomized_l1'
Intel MKL FATAL ERROR: Cannot load libmkl_avx.so or libmkl_def.so.
$

$ LD_PRELOAD=/opt/anaconda/lib/libmkl_core.so python -c 'import sklearn.linear_model.tests.test_randomized_l1'
$

С уважением,
Янир.

Это настолько чудесное решение мысли.

В среду, 11 мая 2016 г., в 7:00 yanirj [email protected] написал:

Привет,

Просто хотел отметить, что Anaconda 4.0.0 поставляется с mkl, поддерживаемым
default, имеет эту проблему.
Проблема действительно в Anaconda, поскольку ее можно воспроизвести с помощью
тест python sklearn, предложенный выше @pcgreat
https://github.com/pcgreat.

Фактическая проблема в том, что Anaconda связана с mkl, но не с
libmkl_core.so, поэтому в нем отсутствует символ, и его можно увидеть, запустив:

$ LD_DEBUG = символы python -c 'import sklearn.linear_model.tests.test_randomized_l1' 2> & 1 | grep -i ошибка
2200: /opt/anaconda/lib/python2.7/site-packages/scipy/special/../../../../libmkl_avx.so: error: ошибка поиска символа: неопределенный символ: mkl_dft_fft_fix_twiddle_table_32f (фатальный)

Я не хотел удалять mkl, так как хотел бы прироста производительности,
поэтому я нашел обходной путь, который сработал для меня - предварительно загрузите libmkl_core.so перед
исполнение.

$ python -c 'импорт sklearn.linear_model.tests.test_randomized_l1'
Неустранимая ошибка Intel MKL: невозможно загрузить libmkl_avx.so или libmkl_def.so.
$

$ LD_PRELOAD = / opt / anaconda / lib / libmkl_core.so python -c 'импортировать sklearn.linear_model.tests.test_randomized_l1'
$

С уважением,
Янир.

-
Вы получили это, потому что прокомментировали.
Ответьте на это письмо напрямую или просмотрите его на GitHub
https://github.com/scikit-learn/scikit-learn/issues/5046#issuecomment -218427199

Сонджин (Джеймс) Ким, доктор философии

Постдок, CCB в Гарварде

[email protected]

[Интернет] http://aspuru.chem.harvard.edu/james-sungjin-kim/

[Linkedin] https://www.linkedin.com/in/jamessungjinkim

[Facebook] https://www.facebook.com/jamessungjin.kim

[альтернативный адрес электронной почты] jamessungjin. [email protected]

У меня была та же проблема, несмотря на использование последних доступных пакетов. Оказалось, что решение оказалось проще, чем я думал: по какой-то причине Anaconda установила версии стека numpy / scipy с поддержкой MKL, но на самом деле не установила сам mkl . Я видел это при создании образов Docker на основе минимального стека блокнотов Jupyter .

Простой conda install --yes mkl mkl-service решил это за меня.

Я открывал терминал ipython с предварительно загруженной библиотекой и столкнулся со следующей ошибкой, когда запустил одну из подпрограмм pca.
:
/ home / rp2801 / anaconda2 / bin / python: ошибка поиска символа: /home/rp2801/anaconda2/lib/libmkl_core.so: неопределенный символ: mkl_serv_get_max_threads
Я открыл свой терминал ipython как
$ LD_PRELOAD = / путь / к / libmkl_core.so ipython

https://www.continuum.io/blog/developer-blog/anaconda-25-release-now-mkl-optimizations
эта ссылка решила проблему

Я получал ту же ошибку. Альтернатива удалению MKL с переключением на более раннюю версию cvxopt также решила проблему для меня:

conda install cvxopt = 1.1.8 = py35_0

Решаю проблему успешно, это руководство https://docs.continuum.io/mkl-optimizations/
команда:
conda update conda
conda update анаконда
conda update mkl

Я обнаружил, что у меня такая же проблема под numpy: 1.11.2 , которую можно воспроизвести с помощью
$ python -c 'import sklearn.linear_model.tests.test_randomized_l1'
Неустранимая ошибка Intel MKL: невозможно загрузить libmkl_avx.so или libmkl_def.so.

После понижения версии numpy до 1.11.1 эта ошибка исчезла.
conda install numpy=1.11.1
Следующие пакеты будут ВЫКЛЮЧЕНЫ из-за конфликтов зависимостей:
numpy: 1.11.2-py35_0 -> 1.11.1-py35_0
Продолжить ([y] / n)? у

[Решено] http://debugjournal.tumblr.com/post/98401758462/intel-mkl-dynamic-link-library-error

Добавление
импортировать numpy как np
в начале скрипта решил проблему :-)

Не хотелось отключать МКЛ с номкл.
Добавление

import mkl
mkl.get_max_threads()

Решил эту проблему за меня.

conda install numpy
решил проблему для меня.

conda install -c intel mkl

Работал на меня

conda установить numpy
решил проблему и для меня.