PyTorch๋ฅผ ์ค์นํ๋ ค๊ณ ํ์ง๋ง ์ฌ์ฉํ ์ ์์ต๋๋ค. ๋์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ libomp.dylib๋ฅผ ์ฐ๊ฒฐํ ์ ์์ต๋๋ค.
๋์์ ์ฌํํ๋ ๋จ๊ณ:
from torch.utils.data import Dataset
Traceback (most recent call last):
File "/Users/kaspersapala/Documents/Airly/new-pollution-forecast/Datasets/__init__.py", line 3, in <module>
from torch.utils.data import Dataset
File "/Users/kaspersapala/.local/share/virtualenvs/new-pollution-forecast-BSetKF9E/lib/python3.7/site-packages/torch/__init__.py", line 79, in <module>
from torch._C import *
ImportError: dlopen(/Users/kaspersapala/.local/share/virtualenvs/new-pollution-forecast-BSetKF9E/lib/python3.7/site-packages/torch/_C.cpython-37m-darwin.so, 9): Library not loaded: /usr/local/opt/libomp/lib/libomp.dylib
Referenced from: /Users/kaspersapala/.local/share/virtualenvs/new-pollution-forecast-BSetKF9E/lib/python3.7/site-packages/torch/lib/libshm.dylib
Reason: image not found
PyTorch๋ฅผ ์ฌ์ฉํ๊ณ ๊ฐ์ ธ์ฌ ์ ์์
conda
, pip
, ์์ค): pipenvbrew install libomp
์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํฉ๋๋ค.
cc @JerryShih
cc @ pjh5 @kostmo
brew install libomp
์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํฉ๋๋ค.
@ezyang
pytorch pip ์ค์น์์ libomp ์ข
์์ฑ์ ์ถ๊ฐํ๋ ๋ฐฉ๋ฒ์ ๋ฌด์์
๋๊น?
๋ชจ๋ pytorch ์ข
์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๊ฐ ํ ํจํค์ง๋ก ๋ฐฑ์
๋ฉ๋๊น?
๊ทธ๋ ๋ค๋ฉด ๋ค์ ์ฝ๋์ ๊ฐ์ libomp ํ์ผ์ ์ถ๊ฐํ๊ฒ ์ต๋๋ค. https://github.com/pytorch/pytorch/blob/2356fac9a5205a2e11f1abf6105fdb3124246d41/setup.py#L738 -L825
๋ค๋ฅธ ์ข ์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ ์ด๋ป์ต๋๊น? ๊ทธ๊ฒ๋ค์ ๋ชจ๋ third_party ํด๋์ ์๊ณ ์์ค์์ ๋น๋๋์์ต๋๊น?
pip๋ brew์ ๋ํด ์๋ฌด๊ฒ๋ ๋ชจ๋ฅด๊ธฐ ๋๋ฌธ์ brew install ํจํค์ง๋ฅผ ์์ฒญํ ์ ์์ต๋๋ค. ๋ํ ์ด ํด๊ฒฐ ๋ฐฉ๋ฒ์ด ๋ฌธ์ ๋ฅผ "ํด๊ฒฐ"ํ๋ ๋์ ์ด ์ข ์์ฑ์ด ์ด๋ป๊ฒ ๋์๋์ง ๋ ์ ์ดํดํ๊ณ ์ถ์ต๋๋ค(ํนํ, ์์กฐ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ๋ํ ์ข ์์ฑ์ ์ฌ์ฉํ์ฌ ๋ฐ์ด๋๋ฆฌ๋ฅผ ๋น๋ํ๋ ์ด์ ๋ ๋ฌด์์ ๋๊น? ์ข์ง ์๊ฒ ๋ค๋ฆฝ๋๋ค.)
์ต์ข ์ฌ์ฉ์์๊ฒ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๊ฐ ์ค์น๋์ด ์๋ค๊ณ ๊ฐ์ ํ ์ ์๋ ๊ฒฝ์ฐ์๋ ๋ฐ์ด๋๋ฆฌ์ ํจ๊ป ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ๋ฐฐํฌํฉ๋๋ค. ๊ทธ๋ฌ๋ libomp.dylib์ ๋ํด ์ด ์์ ์ ์ํํด์ผ ํ๋์ง ์ ๋ชจ๋ฅด๊ฒ ์ต๋๋ค. cc @sumith
์ด๊ฒ์ ์์ ํด์ผ ํ ์ฌํญ์
๋๋ค. ๋ฐ์ด๋๋ฆฌ๋ฅผ ์์ ํ๊ณ ๋ค์ ์
๋ก๋ํ๋ ๊ฒ์ ๋ณผ ์ ์์ต๋๋ค.
๋ฌธ์ ๋ ์ฐ๋ฆฌ macos CI๊ฐ ์ฌ๊ธฐ์ libomp๋ฅผ ์ค์นํ๋ค๋ ๊ฒ์
๋๋ค. https://github.com/pytorch/pytorch/blob/0da0c4be48c675d61c39b4554131e1dbe9177cab/.circleci/verbatim-sources/header-section.yml#L294 ๊ทธ๋ฌ๋ ๋ฐ์ด๋๋ฆฌ ๋น๋๋ ์ด๋ฅผ ์ ํํ์ฌ ์ฌ์ฉํฉ๋๋ค.
๋ฐ์ด๋๋ฆฌ์ ๋ํ ์ด ์ข ์์ฑ์ ์ ๊ฑฐํ ์ ์์ต๋๋ค. ๊ณง PR์ ์ฌ๋ฆฌ๊ฒ ์ต๋๋ค.
brew install libomp๊ฐ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํฉ๋๋ค.
์ด๊ฒ์ ๋ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐ
๋๋ pip๋ฅผ ํตํ pytorch ์ค์น๊ฐ brew์ ์์กดํด์๋ ์๋๋ค๋ @ezyang์ ๋์ํฉ๋๋ค. PyTorch๋ ๋ด ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ๋ํ ์ข ์์ฑ์ด๋ฉฐ ์ฌ์ฉ์๋ brew์ ๋ํด ๊ด์ฌ์ ๊ฐ์ง ์๋ ์๊ณ ์์ ์๋ ์์ต๋๋ค.
๊ทธ๋์ ๋ช
ํํํ๊ธฐ ์ํด ์๋ฃจ์
์ brew install libomp
๋จ๊ณ๋ฅผ ์ ๊ฑฐํ๊ณ && libomp(.dylib, .so ๋ฑ)์ ํ๋ซํผ๋ณ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ฌ๋ฐ๋ฅด๊ฒ ํจํค์งํ๋ ๊ฒ์ด์์ต๋๊น? ๊ทธ ๋ง์ต๋๊น?
์ด ์์ ์ฌํญ์ผ๋ก ์ต์ ์ผ๊ฐ ์๋ฃ๋ฅผ ์ป๊ณ ์ถ๋ค๋ฉด... pip install torch_nightly -f blah.html
?
@ruohoruotsi ๋ชจ๋ ๊ฒ์ด ๋ง์ต๋๋ค.
์ฐธ๊ณ ๋ก: macports๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ sudo ln -s /opt/local/lib/libomp/libomp.dylib
์์ /usr/local/opt/libomp/lib/
sudo ln -s /opt/local/lib/libomp/libomp.dylib
๋ฅผ ์ฌ์ฉํ์ฌ ์ฌ๋ณผ๋ฆญ ๋งํฌ๋ฅผ ๋ง๋ค์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ ์ ์์ต๋๋ค.
์ฐธ๊ณ ๋ก: macports๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ
sudo ln -s /opt/local/lib/libomp/libomp.dylib
์์/usr/local/opt/libomp/lib/
sudo ln -s /opt/local/lib/libomp/libomp.dylib
๋ฅผ ์ฌ์ฉํ์ฌ ์ฌ๋ณผ๋ฆญ ๋งํฌ๋ฅผ ๋ง๋ค์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ ์ ์์ต๋๋ค.
/usr/local/opt/๋ง ํ์ธํ๋ ๋์ ์์คํ ์์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ํ์ธํ์ฌ PyTorch์์ ๋ฌธ์ ๋ฅผ ์์ ํด์ผ ํฉ๋๋ค.
brew install libomp
์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํฉ๋๋ค.
์๋ํฉ๋๋ค!
pytorch๋ฅผ 1.0.1์์ 1.1๋ก ์ ๊ทธ๋ ์ด๋ํ๋ ค๊ณ ํ ๋ ๋์ผํ ๋ฌธ์ ๊ฐ ๋ฐ์ํ์ฌ ์ด ์ค๋ ๋๋ฅผ ์ฐพ์์ต๋๋ค.
Linux ์๋ฒ์ ์ ๋ฐ์ดํธ๋ ์ ๋๋ก ์๋ํ์ง๋ง ๋ด ๋งฅ๋ถ(OSX)์์๋ ์๋ํ์ง ์์์ต๋๋ค.
brew install libomp๋ฅผ ์๋ํ์ง๋ง brew ๊ณต์์ ์ฐพ์ ์ ์์์ผ๋ฏ๋ก ๋ฌธ์ ๊ฐ ํด๊ฒฐ๋์ง ์์์ผ๋ฉฐ ํ ์น๋ฅผ ๋ค์ ๊ฐ์ ธ์ฌ ์ ์์ผ๋ ค๋ฉด OSX์์ ๋ค์ 1.0.1๋ก ๋ค์ด๊ทธ๋ ์ด๋ํด์ผ ํ์ต๋๋ค.
pytorch์ pip ์ค์น์ libomp์ brew ์ค์น ๋ชจ๋์ ๋ํด ๋์ผํ ๋ฌธ์ ๊ฐ ์๋ ์ฌ๋์ด ์์ต๋๊น?
@sumith
๋ฐ์ด๋๋ฆฌ๋ฅผ ์์ ํ๊ณ ๋ค์ ์ ๋ก๋ํ๋ ๊ฒ์ ๋ณผ ์ ์์ต๋๋ค.
์์ง ์ด๋ฅผ ์ํํ ๊ณํ์ด ์์ต๋๊น? ์๋๋ฉด ์๋ก์ด ๋ฐ์ด๋๋ฆฌ ๋ฆด๋ฆฌ์ค๊ฐ ๋ค์ PyTorch ๋ฆด๋ฆฌ์ค๋ฅผ ๊ธฐ๋ค๋ฆด ๊ฒ์ ๋๊น?
pytorch๋ฅผ 1.0.1์์ 1.1๋ก ์ ๊ทธ๋ ์ด๋ํ๋ ค๊ณ ํ ๋ ๋์ผํ ๋ฌธ์ ๊ฐ ๋ฐ์ํ์ฌ ์ด ์ค๋ ๋๋ฅผ ์ฐพ์์ต๋๋ค.
Linux ์๋ฒ์ ์ ๋ฐ์ดํธ๋ ์ ๋๋ก ์๋ํ์ง๋ง ๋ด ๋งฅ๋ถ(OSX)์์๋ ์๋ํ์ง ์์์ต๋๋ค.
brew install libomp๋ฅผ ์๋ํ์ง๋ง brew ๊ณต์์ ์ฐพ์ ์ ์์์ผ๋ฏ๋ก ๋ฌธ์ ๊ฐ ํด๊ฒฐ๋์ง ์์์ผ๋ฉฐ ํ ์น๋ฅผ ๋ค์ ๊ฐ์ ธ์ฌ ์ ์์ผ๋ ค๋ฉด OSX์์ ๋ค์ 1.0.1๋ก ๋ค์ด๊ทธ๋ ์ด๋ํด์ผ ํ์ต๋๋ค.
pytorch์ pip ์ค์น์ libomp์ brew ์ค์น ๋ชจ๋์ ๋ํด ๋์ผํ ๋ฌธ์ ๊ฐ ์๋ ์ฌ๋์ด ์์ต๋๊น?
๋จผ์ brew๋ฅผ ์ค์นํ๊ณ brew ์ฌ์ดํธ ๋ก ์ด๋ํ์ฌ ์ค์น ์ง์นจ์ ๋ฐ๋ผ์ผ ํฉ๋๋ค.
๋ต๋ณ ๊ฐ์ฌํฉ๋๋ค. brew๋ฅผ ์ค์นํ์ง๋ง ์ต์ ์ํ๊ฐ ์๋๋๋ค.
๊ทธ๋์ ๋๋ ๋ชจ๋ ๊ฒ์ ์
๋ฐ์ดํธํ๊ณ ์ด์ ์๋ํฉ๋๋ค.
๋ค๋ฅธ ์ฌ์ฉ์๋ฅผ ์ํด brew install libomp๋ฅผ ์ํํ์ ๋ ์คํ๋์์ง๋ง ๋ค๋ฅธ ์์ฉ ํ๋ก๊ทธ๋จ์ ๋ ์ด์ ์๋ํ์ง ์์์ต๋๋ค(Spyder IDE) ; ์ด ์๊ฐ ๋ด OS๋ ์ฌ์ ํ 10.11(Capitan)์ด์๊ณ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ค๋ฉด 10.12(Sierra)๋ก ์ ๊ทธ๋ ์ด๋ํด์ผ ํ์ต๋๋ค.
๋ด ๊ฒฝํ์ ๋น์ถ์ด ๋ณผ ๋ ์ ์ด๋ pytorch 1.1 ๋ฐ libomp๋ฅผ ์ค์นํ๊ธฐ ์ ์ Sierra๋ก ์ ๊ทธ๋ ์ด๋ํ๋ ๊ฒ์ด ์ข์ต๋๋ค(๋ชจ๋ ์ค์น์ pip ๋ฐ brew ์ฌ์ฉ)
libomp.dylib
์ ๋ํ ์ข
์์ฑ์ ์ ๊ฑฐํ๋ ์ ๋ฐ์ด๋๋ฆฌ๋ฅผ ์
๋ก๋ํ์ต๋๋ค.
์ด์ clang: error: unsupported option '-fopenmp'
์ค๋ฅ๊ฐ ๋ฐ์ํฉ๋๋ค.
@sukuya PyTorch๋ฅผ ์ง์ ์ปดํ์ผํ๋ ค๋ ๊ฒ์ฒ๋ผ ๋ค๋ฆฌ๊ธฐ ๋๋ฌธ์ ๋ค๋ฅธ ๋ฌธ์ ์ฒ๋ผ ๋ค๋ฆฌ์ง๋ง ์ด ๋ฌธ์ ๋ ๋ฏธ๋ฆฌ ์ปดํ์ผ๋ ๋ฐ์ด๋๋ฆฌ ๋ฌธ์ ์ ๊ด๋ จ์ด ์์ต๋๋ค.
์ด ๋ฌธ์ ๋ ์ฌ์ ํ ํ ์น 1.1.0.post2์ ์กด์ฌํฉ๋๋ค. ์์ ์ ์ธ ๋ฆด๋ฆฌ์ค์์ ์์ ์ฌํญ์ ์ธ์ ์ฌ์ฉํ ์ ์๋์ง ์์ญ๋๊น?
@torrmal 1.1.0.post2 ๋ฅผ ์ฌ์ฉํ๊ณ ์๋์ง ์ด๋ป๊ฒ ํ์ธํ๊ณ ์์ต๋๊น? ๋ด ํ ์คํธ์์ 1.1.0.post2์ ์ํด ๋์ ๋ ๋ณ๊ฒฝ ์ฌํญ์ผ๋ก ์ด ๋ฌธ์ ๊ฐ ์์ ํ ํด๊ฒฐ๋์์ผ๋ฏ๋ก 1.1.0 non-post2๊ฐ ์ด๋๊ฐ์ ์ค์๋ก ์ ํ๋๋ ์์น์ ์๋์ง ๊ถ๊ธํฉ๋๋ค.
@sukuya PyTorch๋ฅผ ์ง์ ์ปดํ์ผํ๋ ค๋ ๊ฒ์ฒ๋ผ ๋ค๋ฆฌ๊ธฐ ๋๋ฌธ์ ๋ค๋ฅธ ๋ฌธ์ ์ฒ๋ผ ๋ค๋ฆฌ์ง๋ง ์ด ๋ฌธ์ ๋ ๋ฏธ๋ฆฌ ์ปดํ์ผ๋ ๋ฐ์ด๋๋ฆฌ ๋ฌธ์ ์ ๊ด๋ จ์ด ์์ต๋๋ค.
@alex-xnor ๋ฏธ๋ฆฌ ๋น๋๋ libtorch
๋ฅผ ์ฌ์ฉํ๋ C++ ํ๋ก๊ทธ๋จ์ ์ปดํ์ผํ๊ณ ์์๋๋ฐ ํด๋น ์ค๋ฅ๊ฐ ๋ฐ์ํ์ต๋๋ค.
@sukuya ๋ฌธ์ ์ ๋ํ ์์ธํ ๋ด์ฉ์ผ๋ก ์ ๋ฌธ์ ๋ฅผ ๋ง๋ค ์ ์์ต๋๊น? ํนํ, ์คํ ์ค์ธ cmake/makefile๊ณผ ์ฌ์ฉ ์ค์ธ ์ปดํ์ผ๋ฌ ๋ช ๋ น์ ํฌํจํ ์ ์์ต๋๊น?
brew install libomp
์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํฉ๋๋ค.
Thx bro ๋ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ์ต๋๋ค.
brew install libomp๊ฐ ์๋ํ์ง ์๋ ๊ฒฝ์ฐ์ ๋ํ ์ ์์ด ์๋ ์ฌ๋์ด ์์ต๋๊น? ๋ค์ ์ค์นํ๊ณ ๋ค์ ์ฐ๊ฒฐํ์ง๋ง ์๋ฌด ์์ฉ์ด ์์ต๋๋ค.
์ด๊ฒ์ ํฐ๋ฏธ๋์ ๋ฃ๊ณ ์๋ํ๊ธฐ๋ฅผ ๋ฐ๋๋๋ค. ์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ๋ฐ 2์๊ฐ์ด ๊ฑธ๋ ธ๊ณ ๋ ๋นจ๋ฆฌ ํด๊ฒฐํ ์ ์๊ธฐ๋ฅผ ๋ฐ๋๋๋ค.
install_name_tool - @rpath/libc++.1.dylib ๋ณ๊ฒฝ /usr/lib/libc++.1.dylib /Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/_cvxcore.cpython-37m- darwin.so
๊ฐ์ฅ ์ ์ฉํ ๋๊ธ
brew install libomp
์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํฉ๋๋ค.