CUDA 9 ๋ฐ CuDNN 7์ ์ง์ํ๋๋ก TensorFlow๋ฅผ ์ ๊ทธ๋ ์ด๋ํ์ญ์์ค. Nvidia๋ ์ด๊ฒ์ด Pascal GPU์์ 2๋ฐฐ์ ์ฑ๋ฅ ํฅ์์ ์ ๊ณตํ ๊ฒ์ด๋ผ๊ณ ์ฃผ์ฅํฉ๋๋ค.
@tfboyd ์ด์ ๋ํ ์๊ฒฌ์ด ์์ต๋๊น?
cuDNN 7์ ์์ง ๋ฏธ๋ฆฌ๋ณด๊ธฐ ๋ชจ๋์ด๋ฉฐ ์์ ์ค์ ๋๋ค. ์ฐ๋ฆฌ๋ 1.3๊ณผ ํจ๊ป cuDNN 6.0์ผ๋ก ๋ฐฉ๊ธ ์ฎ๊ฒผ์ต๋๋ค. ์ด ๋ฒ์ ์ ๋ช ์ฃผ ์์ ์ต์ข ๋ฒ์ ์ด ๋ ๊ฒ์ ๋๋ค. ๊ด์ฌ์ด ์๋ ๊ฒฝ์ฐ cuDNN 1.3.0rc2๋ฅผ ๋ค์ด๋ก๋ํ ์ ์์ต๋๋ค. ์์ง cuDNN 7 ๋๋ CUDA 9๋ก ์ปดํ์ผํ์ง ์์์ต๋๋ค. CUDA 9๋ ๋ชจ๋ ํ๋ซํผ์ ์ค์นํ๊ธฐ ์ฝ์ง ์์ผ๋ฉฐ ์ผ๋ถ ์ค์น ํจํค์ง๋ง ์ฌ์ฉํ ์ ์๋ค๊ณ ๋ค์์ต๋๋ค. ๋ผ์ด๋ธ๋ฌ๋ฆฌ๊ฐ ์ต์ข ์์ฑ๋๋ฉด ์ต์ข ํ๊ฐ๋ฅผ ์์ํฉ๋๋ค. NVIDIA๋ ๋ํ ์ด๋ฌํ ์๋ก์ด ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ์ธก๋ฉด์ ์ง์ํ๊ธฐ ์ํด ์ฃผ์ ML ํ๋ซํผ์ ํจ์น๋ฅผ ๋ณด๋ด๊ธฐ ์์ํ์ผ๋ฉฐ ์ถ๊ฐ ์์ ์ด ์์ ๊ฒ์ผ๋ก ์๊ฐํฉ๋๋ค.
ํธ์ง: CUDA 9๋ ๋ชจ๋ ํ๋ซํผ์ ์ค์นํ๊ธฐ ์ฝ์ง ์๊ณ ๋์ cuDNN์ด๋ผ๊ณ ๋งํ๊ณ ์ถ์์ต๋๋ค. ๋๋ ๋ํ ์ถ๊ฐ ์์ ์ด์์ ๊ฒ์ด๋ผ๊ณ ์์ฌ๋๋ ์์ ์ด ์๋์ง ํ์ธํ์ต๋๋ค. ๋ด๊ฐ ๋จ๊ธด ์ด๋ฆฌ์์ ์ง์ ์ ๋๋จธ์ง ๋ถ๋ถ์ ์๋ฅผ ๋ค์ด ์ด์ cuDNN 7์ด ์คํ๋์๋ค๋ ๊ฒ์ ๊นจ๋ซ์ง ๋ชปํ์ต๋๋ค.
์น์ฌ์ดํธ๋ฅผ ์ด๋ป๊ฒ ์ฝ์ด์ผ ํ๋์ง ๋งํ์ง ์์ต๋๋ค. ๊ทธ๋ฌ๋ ํ์ค์นผ์์ 2๋ฐฐ ๋ ๋น ๋ฅธ ๊ฒ์ CUDA 8 ๋ฆด๋ฆฌ์ค์ ์ผ๋ถ์ธ ๊ฒ ๊ฐ์ต๋๋ค. ์ฌ์ดํธ๋ฅผ ์ด๋ป๊ฒ ๋ณด๋๋์ ๋ฐ๋ผ ๋ค๋ฅผ ๊ฒ ๊ฐ์์. NVIDIA๋ CUDA 9๊ฐ Pascal์ ์๋๋ฅผ (๋ชจ๋ ๊ฒ์์) 2๋ฐฐ ํฅ์์ํฌ ๊ฒ์ด๋ผ๊ณ ์ธ๊ธํ์ง ์์์ผ๋ฉฐ ๋ชจ๋ ๊ฒ์ด ๊ฐ๋ฅํ์ง๋ง ๊ทธ๋ฐ ์ผ์ด ์ผ์ด๋๋ฆฌ๋ผ๊ณ ๊ธฐ๋ํ์ง๋ ์์ต๋๋ค.
https://developer.nvidia.com/cuda-toolkit/whatsnew
์ฌ์ดํธ๊ฐ ์ฝ๊ฐ ํผ๋์ค๋ฝ๊ธด ํ์ง๋ง ์ธ์ฉํ๊ณ ์๋ ์น์ ์ด CUDA 8 ์๋์ ์ค์ฒฉ๋์ด ์๋ค๊ณ ์๊ฐํฉ๋๋ค. ์ด ๋ถ๋ถ๋ง ์ธ๊ธํ ๊ฒ์ด๋ฏ๋ก ๋ฆด๋ฆฌ์ค์ ๋ํ ๋นํ์ค์ ์ธ ๊ธฐ๋๋ฅผ ํ์ง ๋ง์ญ์์ค. Volta์ ๊ฒฝ์ฐ ๋ด๊ฐ ์ดํดํ๊ณ ์๋ ๊ฒ์์ ์๋นํ ์ด๋์ด ์์ด์ผ ํ๋ฉฐ (์ง๊ธ์ ํ์คํ์ง ์์) ์ฌ๋๋ค์ด ์ ์ฒด ๋ฆด๋ฆฌ์ค๋ฅผ ์ค๋นํ๊ธฐ ์ํด ๋์ ์์ค์ ์์ ์ ์์ํ๊ธฐ ์ํด Volta์ ์์ง๋์ด๋ง ์ํ์ ์ป๊ณ ์๋ค๊ณ ์๊ฐํฉ๋๋ค.
@tfboyd cuDNN 7์ ์ด์ ๋ถ๋ก ๋ ์ด์ ๋ฏธ๋ฆฌ๋ณด๊ธฐ ๋ชจ๋๊ฐ ์๋๋๋ค. CUDA 8.0 ๋ฐ CUDA 9.0 RC์ฉ์ผ๋ก ๊ณต์ ์ถ์๋์์ต๋๋ค.
์, ๋๋ ๊ทธ๊ฒ์ ๋์ณค๋ค. @sclarkson ์๊ฒ ๊ฐ์ฌํ๊ณ ์๋ชป๋ ์ ๋ณด์ ๋ํด ์ฃ์กํฉ๋๋ค.
๋ง์นจ๋ด gcc 6์ด CUDA 9์์ ์ง์๋๊ณ Ubuntu 17.04๊ฐ ํจ๊ป ์ ๊ณต๋๊ธฐ ๋๋ฌธ์ ํ์คํ ์๋ํด ๋ณผ ๊ฒ์ ๋๋ค.
์ด์ด ์ข์ผ๋ฉด ์ค๋ ๋์๊ฒ ์๋ ค์ฃผ์ญ์์ค. ์ ๋ ๊ฐ์ธ์ ์ผ๋ก ์ด์ ๋ง ์์ํ๋
cuDNN 6์ ์์ ํ ํ
์คํธํฉ๋๋ค(๋ด๋ถ์ ์ผ๋ก ๋ง์ด ํ
์คํธ๋์์ง๋ง
๊ฐ์ธ์ ์ผ๋ก ์ฌ์ฉ). ๋๋ ์ข
์ข
์ต์ ํญ๋ชฉ์ผ๋ก ์
๊ทธ๋ ์ด๋ํ๋ ๊ฒ์ด ๋๋ฆฝ๋๋ค. ๋์
๋ชจ๋ ๊ฒ์ด ์๋ฃ๋ ๋๊น์ง cuDNN 7์์ ์ค์ ๋ณ๊ฒฝ ์ฌํญ์ ๋ณด์ง ๋ชปํ ์๋ ์์ต๋๋ค.
์ต์ API๋ฅผ ์ฌ์ฉํ๋๋ก ํจ์น๋์์ต๋๋ค. ๋ด๊ฐ ๋ค ํ๋ ธ๋ค๋ ๊ฒ์ ๋ค์ ๊ฐ์กฐํ๊ณ ์ถ๋ค
์๊ฐ์. ๋ด๊ฐ ์ธ๋ถ์ธ์ผ๋ก์ ๋ณธ ๊ฒ์ ์๋ก์ด cuDNN ๋ฒ์ ์ด ์ถ๊ฐ๋๋ค๋ ๊ฒ์
๋๋ค.
์๋ก์ด ๋ฐฉ๋ฒ/API. ์ผ๋ถ๋ ํฅ๋ฏธ๋กญ๊ณ ์ผ๋ถ๋ ์ฆ์ ์ ์ฉ๋์ง ์์ต๋๋ค.
์ ์ฉํ. ๊ทธ๋ฐ ๋ค์ ํด๋น API๋ TensorFlow API๋ฅผ ํตํด ๋
ธ์ถ๋๊ฑฐ๋ ๊ทธ๋ฅ ์ฌ์ฉ๋ฉ๋๋ค.
๋ฐฐํ์์ ๊ธฐ์กด ๋ฐฉ๋ฒ์ ๋ ๋น ๋ฅด๊ฒ ๋ง๋ญ๋๋ค. ๋ด ๋งค์ฐ ๋์ ์์ค
cuDNN 7 + CUDA 9๋
๋ณผํ. ์ฃผ์ ์ด์ ์ค ํ๋๋ ๋ชจ๋ธ์ ์ป๋ ๋ฐฉ๋ฒ์ด๋ผ๊ณ ์๊ฐํฉ๋๋ค.
๋ช) ๋์์ด ์ค๋ฅธ์ชฝ์ ์ถ์ธกํ ํ์ ์์ด FP16์ผ๋ก ์๋ ด
์ฌ์ฉํ ๊ตฌ์ฑ/์ด๋งค๊ฐ๋ณ์. ๋๋ ์ด๊ฒ์ด ๋ด๊ฐ ํ๋ ๋ฐฉ์์์ ๊ฐ์กฐํ๊ณ ์ถ๋ค.
๋ํ๋ฅผ ์ดํดํ๊ณ ๋ด๊ฐ ํ๋ฆด ์๋ ์๊ณ ๋ฐ์ฏค ๋ง์ ์๋ ์์ต๋๋ค.
์คํธ๋ ์ค: ์ถ๊ฐํด์ผ ํ๋ค๊ณ ์๊ฐํ๋ ๋ฐฉ๋ฒ์ด ์๋ ๊ฒฝ์ฐ(๋๋
์ฑ๋ฅ)์ cuDNN์์ TensorFlow๋ก ๋ณํํ๋ ค๋ฉด ํญ์ ๋ชฉ๋ก์ ๊ด์ฌ์ด ์์ต๋๋ค.
๋ด๋ถ์ ์ผ๋ก ์ด๊ฒ์ cuDNN 6์์ ๋ฐ์ํ์ผ๋ฉฐ ์ฐ๋ฆฌ๋ ๊ตฌํ์ ์ง์คํ์ต๋๋ค.
๊ธฐ๋ฅ ํ์ ํ๋ก์ ํธ์ ๋์์ด ๋ ๊ฒ์ด๋ผ๊ณ ๋งํ์ต๋๋ค.
2017๋
8์ 5์ผ ํ ์์ผ ์ค์ 8์ 46๋ถ, ํ๋ก๋ฆฌ์ ์๋ฆผ @github.com
์ผ๋ค:
๋ง์นจ๋ด gcc 6์ด CUDA 9์์ ์ง์๋๊ณ
์ฐ๋ถํฌ 17.04๊ฐ ํจ๊ป ์ ๊ณต๋ฉ๋๋ค.โ
๋น์ ์ด ์ธ๊ธ๋์๊ธฐ ๋๋ฌธ์ ์ด๊ฒ์ ๋ฐ๋ ๊ฒ์ ๋๋ค.
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ณ GitHub์์ ํ์ธ
https://github.com/tensorflow/tensorflow/issues/12052#issuecomment-320450756 ,
๋๋ ์ค๋ ๋ ์์๊ฑฐ
https://github.com/notifications/unsubscribe-auth/AWZessKqj_nPY1br9SD9L9SX-8Kf5Dbtks5sVI5TgaJpZM4OuRL7
.
์ถ๊ฐ๋ ๋ฉ์๋์ ๋ํด ๋งํ์๋ฉด, cudnn7์ ๊ทธ๋ฃน ์ปจ๋ณผ๋ฃจ์ ์ ๋น์ ์ปค๋ฎค๋ํฐ์ ์ค์ํ ๊ธฐ๋ฅ์ด ๋ ๊ฒ์ ๋๋ค.
๋ฉ์ ธ์. ์์ํ๋ ๋ชฉ๋ก์ ์ถ๊ฐํ๊ฒ ์ต๋๋ค. ์์ ์ ์์ง๋ง ์์ ๋กญ๊ฒ
๋ด๊ฐ ๋ช ๊ฐ์ง ์ง์นจ์ ์ ๊ณตํ ์ ์๋ ์ผ์ข
์ ๋ชฉ๋ก์ ๊ฒ์ํ๋๋ก ์๊ธฐ์ํค๊ธฐ ์ํด
์์
์ค์ธ ๊ฒ ๊ฐ์ต๋๋ค. ์ฝ์์ ์๋์ง๋ง ์ฐ๋ฆฌ๋ ์ํ๋ค
์ฌ๋๋ค์ด ์ํ๊ณ ํ์๋ก ํ๋ ๊ฒ์ ์ฐ์ ์์๋ฅผ ์ ํ ์ ์๋๋ก ํผ๋๋ฐฑ์ ์ ๊ณตํฉ๋๋ค. Yuxin๋, ๊ฐ์ฌํฉ๋๋ค.
2017๋ 8์ 5์ผ ํ ์์ผ ์คํ 12์ 26๋ถ์ Yuxin Wu [email protected]์ด ๋ค์๊ณผ ๊ฐ์ด ์ผ์ต๋๋ค.
์ถ๊ฐํ ๋ฉ์๋์ ๋ํด ๋งํ๋ฉด cudnn7์ ๊ทธ๋ฃน ์ปจ๋ณผ๋ฃจ์ ์
๋น์ ์ปค๋ฎค๋ํฐ์ ์ค์ํ ๊ธฐ๋ฅ์ ๋๋ค.โ
๋น์ ์ด ์ธ๊ธ๋์๊ธฐ ๋๋ฌธ์ ์ด๊ฒ์ ๋ฐ๋ ๊ฒ์ ๋๋ค.
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ณ GitHub์์ ํ์ธ
https://github.com/tensorflow/tensorflow/issues/12052#issuecomment-320465264 ,
๋๋ ์ค๋ ๋ ์์๊ฑฐ
https://github.com/notifications/unsubscribe-auth/AWZesv9udRRxy9WvsK2eUEZCj7LAGM8bks5sVMHVgaJpZM4OuRL7
.
๋ฐฉ๊ธ CUDA 8๊ณผ ํจ๊ป cuDNN 7๋ก ์ปดํ์ผ์ ์๋ํ๋๋ฐ ์คํจํ์ต๋๋ค.
์์. ๋ผ์ธ์ ๋์์ผ ํ๋ NVIDIA์์ ๋ค์ด์ค๋ ํจ์น๊ฐ ์์ต๋๋ค.
์ผ์ ์๋ก. ๋๊ตฐ๊ฐ๊ฐ ์๋ํ๋ ๊ฒฝ์ฐ์๋ง ์ฃผ์ํ์ญ์์ค.
2017๋ 8์ 5์ผ ํ ์์ผ ์คํ 1์ 47๋ถ์ Toby Boyd [email protected]์ด ๋ค์๊ณผ ๊ฐ์ด ์ผ์ต๋๋ค.
๋ฉ์ ธ์. ์์ํ๋ ๋ชฉ๋ก์ ์ถ๊ฐํ๊ฒ ์ต๋๋ค. ์์ ์ ์์ง๋ง ์์ ๋กญ๊ฒ
๋ด๊ฐ ๋ช ๊ฐ์ง ์ง์นจ์ ์ ๊ณตํ ์ ์๋ ์ผ์ข ์ ๋ชฉ๋ก์ ๊ฒ์ํ๋๋ก ์๊ธฐ์ํค๊ธฐ ์ํด
์์ ์ค์ธ ๊ฒ ๊ฐ์ต๋๋ค. ์ฝ์์ ์๋์ง๋ง ์ฐ๋ฆฌ๋ ์ํ๋ค
์ฌ๋๋ค์ด ์ํ๊ณ ํ์๋ก ํ๋ ๊ฒ์ ์ฐ์ ์์๋ฅผ ์ ํ ์ ์๋๋ก ํผ๋๋ฐฑ์ ์ ๊ณตํฉ๋๋ค. Yuxin๋, ๊ฐ์ฌํฉ๋๋ค.2017๋ 8์ 5์ผ ํ ์์ผ ์คํ 12์ 26๋ถ, Yuxin Wu [email protected]
์ผ๋ค:์ถ๊ฐํ ๋ฉ์๋์ ๋ํด ๋งํ๋ฉด cudnn7์ ๊ทธ๋ฃน ์ปจ๋ณผ๋ฃจ์ ์
๋น์ ์ปค๋ฎค๋ํฐ์ ์ค์ํ ๊ธฐ๋ฅ์ ๋๋ค.โ
๋น์ ์ด ์ธ๊ธ๋์๊ธฐ ๋๋ฌธ์ ์ด๊ฒ์ ๋ฐ๋ ๊ฒ์ ๋๋ค.
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ณ GitHub์์ ํ์ธ
https://github.com/tensorflow/tensorflow/issues/12052#issuecomment-320465264 ,
๋๋ ์ค๋ ๋ ์์๊ฑฐ
https://github.com/notifications/unsubscribe-auth/AWZesv9udRRxy9WvsK2eUEZCj7LAGM8bks5sVMHVgaJpZM4OuRL7
.
CUDA 8/9๊ฐ ์คํ๋๋ cuDNN 7์ ์ป์ผ๋ ค๊ณ ํฉ๋๋ค. CUDA 8์ GTX 1080 Ti์์ ์ง์๋์ง ์์ต๋๋ค - ์ ์ด๋ ์ค์น ํ๋ก๊ทธ๋จ์ ๊ทธ๋ ๊ฒ ๋งํฉ๋๋ค ^^
ํจ๊ป ์คํํ๋ ๋ฐ ํฐ ์ด๋ ค์์ ๊ฒช๊ณ ์์ต๋๋ค. ๋ด๊ฐ ์ด๋ฏธ ์๋ํ ๊ฒ์ ์์ฝํ ์ด ํ๋ฅญํ ๊ธฐ์ฌ๋ฅผ ์ง์ ํ๊ณ ์ถ์ต๋๋ค. https://nitishmutha.github.io/tensorflow/2017/01/22/TensorFlow-with-gpu-for-windows.html
CUDA ์์ ๋ ๋ ์ค์ ์กฐํฉ์์ Visual-Studio๋ฅผ ํตํด ์๋ํฉ๋๋ค.
Visual-Studio๋ฅผ ์ฌ์ฉํ์ฌ ์ปดํ์ผ๋ deviceQuery.exe์ ์ถ๋ ฅ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
PS C:\ProgramData\NVIDIA Corporation\CUDA Samples\v9.0\bin\win64\Release> deviceQuery.exe
C:\ProgramData\NVIDIA Corporation\CUDA Samples\v9.0\bin\win64\Release\deviceQuery.exe Starting...
CUDA Device Query (Runtime API) version (CUDART static linking)
Detected 1 CUDA Capable device(s)
Device 0: "GeForce GTX 1080 Ti"
CUDA Driver Version / Runtime Version 9.0 / 9.0
CUDA Capability Major/Minor version number: 6.1
Total amount of global memory: 11264 MBytes (11811160064 bytes)
(28) Multiprocessors, (128) CUDA Cores/MP: 3584 CUDA Cores
GPU Max Clock rate: 1683 MHz (1.68 GHz)
Memory Clock rate: 5505 Mhz
Memory Bus Width: 352-bit
L2 Cache Size: 2883584 bytes
Maximum Texture Dimension Size (x,y,z) 1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)
Maximum Layered 1D Texture Size, (num) layers 1D=(32768), 2048 layers
Maximum Layered 2D Texture Size, (num) layers 2D=(32768, 32768), 2048 layers
Total amount of constant memory: 65536 bytes
Total amount of shared memory per block: 49152 bytes
Total number of registers available per block: 65536
Warp size: 32
Maximum number of threads per multiprocessor: 2048
Maximum number of threads per block: 1024
Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
Max dimension size of a grid size (x,y,z): (2147483647, 65535, 65535)
Maximum memory pitch: 2147483647 bytes
Texture alignment: 512 bytes
Concurrent copy and kernel execution: Yes with 2 copy engine(s)
Run time limit on kernels: Yes
Integrated GPU sharing Host Memory: No
Support host page-locked memory mapping: Yes
Alignment requirement for Surfaces: Yes
Device has ECC support: Disabled
CUDA Device Driver Mode (TCC or WDDM): WDDM (Windows Display Driver Model)
Device supports Unified Addressing (UVA): Yes
Supports Cooperative Kernel Launch: No
Supports MultiDevice Co-op Kernel Launch: No
Device PCI Domain ID / Bus ID / location ID: 0 / 1 / 0
Compute Mode:
< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 9.0, CUDA Runtime Version = 9.0, NumDevs = 1, Device0 = GeForce GTX 1080 Ti
Result = PASS
@tfboyd Nvidea ์ cuDNN ์ ๋ฐ์ดํธ๋ฅผ ํ์ธํ๋ ๋งํฌ๊ฐ ์์ต๋๊น?
@4F2E4A2E 1080 Ti๋ ํ์คํ CUDA 8.0์ ์ง์ํฉ๋๋ค. ์ด๊ฒ์ด ์ ๊ฐ ์ง๋ ๋ช ๋ฌ ๋์ TensorFlow์ ํจ๊ป ์ฌ์ฉํด ์จ ๊ฒ์ ๋๋ค.
์๋ ํ์ธ์, ์ ๋ cuda 8.0์ด ์ค์น๋ gtx 1080 ti๋ฅผ ๊ฐ์ง๊ณ ์์ต๋๋ค. tensorflow-gpu๋ฅผ ์ค์นํ๋ ค๊ณ ํฉ๋๋ค. cuDNN 5.1, 6.0 ๋๋ 7.0์ผ๋ก ๊ฐ๊น์?
๋น๋ถ๊ฐ์ 5.1์ ์ ์งํ๋ ๊ฒ์ด ์ข์ต๋๋ค. ๋ ๊น์ ์ฑ๋ฅ์ ์คํ ์ค์
๋๋ค.
6์ ๋ํ ํ
์คํธ์ ์์๋ด๊ธฐ ์ํด ๋ ๋ง์ ํ
์คํธ๊ฐ ํ์ํ ํผํฉ ๊ฒฐ๊ณผ๋ฅผ ์ป์ต๋๋ค.
2017๋ 8์ 6์ผ ์คํ 9์ 30๋ถ์ "colmantse" [email protected]์ด ์์ฑํ์ต๋๋ค.
์๋ ํ์ธ์, ์ ๋ cuda 8.0์ด ์ค์น๋ gtx 1080 ti๋ฅผ ๊ฐ์ง๊ณ ์์ต๋๋ค. ์ค์นํ๋ ค๊ณ ํฉ๋๋ค
tensorflow-gpu, cuDNN 5.1, 6.0 ๋๋ 7.0์ ์ ํํฉ๋๊น?โ
๋น์ ์ด ์ธ๊ธ๋์๊ธฐ ๋๋ฌธ์ ์ด๊ฒ์ ๋ฐ๋ ๊ฒ์ ๋๋ค.
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ณ GitHub์์ ํ์ธ
https://github.com/tensorflow/tensorflow/issues/12052#issuecomment-320566071 ,
๋๋ ์ค๋ ๋ ์์๊ฑฐ
https://github.com/notifications/unsubscribe-auth/AWZeshvEFsdeWz-1uyzl_L6HE15E0BzSks5sVpLlgaJpZM4OuRL7
.
๊ณ ๋ง์, ๋๋ cudnn 6.0์ผ๋ก ์๋ํ์ง๋ง ์๋ํ์ง ์๋๋ค. ๋ด ๋๋ฏธ tf-gpu ์ค์น ๋๋ฌธ์ ์ถ์ธก๋๋ค. cudnn 5.1์ python 3.6์์ ์๋ํฉ๋๋ค.
@tpankaj ๊ฐ์ฌํฉ๋๋ค! CUDA 8 ๋ฐ cuDNN 5.1์์ ์คํ ์ค์ ๋๋ค.
cuDNN 7์ ์ ์ฒด ๊ธฐ๋ฅ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
์ฃผ์ ๊ธฐ๋ฅ ๋ฐ ๊ฐ์ ์ฌํญ
์ด cuDNN ๋ฆด๋ฆฌ์ค์๋ ๋ค์๊ณผ ๊ฐ์ ์ฃผ์ ๊ธฐ๋ฅ ๋ฐ ๊ฐ์ ์ฌํญ์ด ํฌํจ๋์ด ์์ต๋๋ค.
ํ ์ ์ฝ์ด
cuDNN ๋ฒ์ 7.0.1์ ํ ์ ์ฝ์ด ์์ ์ ์ง์ํ๋ ์ฒซ ๋ฒ์งธ ๋ฒ์ ์ ๋๋ค.
๊ตฌํ. Tensor Core๋ ๊ณ ๋๋ก ์ต์ ํ๋ ํ๋ ฌ ๊ณฑ์ ์ ์ ๊ณตํฉ๋๋ค.
์ ํต์ ์ธ ๋ฐฉ์์์ ๋๋ฑํ ์์น์ ํ๋์ ํ์ง ์๋ ๋น๋ฉ ๋ธ๋ก
๋ฐ๋ผ์ ๋ช ๋ น์ด์ ์์น์ ๋์์ ์ฝ๊ฐ ๋ค๋ฆ ๋๋ค.
cudnnSetConvolutionMathType, cudnnSetRNNMatrixMathType ๋ฐ
cudnn์ํ ์ ํ_t
cudnnSetConvolutionMathType ๋ฐ cudnnSetRNNMatrixMathType
๊ธฐ๋ฅ์ ์ฌ์ฉํ๋ฉด Tensor Core ์์ ์ ์ฌ์ฉํ ์ง ์ฌ๋ถ๋ฅผ ์ ํํ ์ ์์ต๋๋ค.
์ํ ๋ชจ๋๋ฅผ ๋ค์ ์ค ํ๋๋ก ์ค์ ํ์ฌ ๊ฐ๊ฐ ์ปจ๋ณผ๋ฃจ์ ๋ฐ RNN ๋ ์ด์ด
CUDNN_TENSOR_OP_MATH ๋๋ CUDNN_DEFAULT_MATH.
Tensor Core ์ฐ์ฐ์ ์ฌ๋ฌ ๊ฐ์ ๋ณ๋ ฌ ๋ถ๋ ์์์ ๋์ ์ ์ํํฉ๋๋ค.
๋ถ๋ ์์์ ์ ํ.
์ํ ๋ชจ๋๋ฅผ CUDNN_TENSOR_OP_MATH๋ก ์ค์ ํ๋ฉด ๋ผ์ด๋ธ๋ฌ๋ฆฌ๊ฐ ๋ค์์ ์ฌ์ฉํ ๊ฒ์์ ๋ํ๋ ๋๋ค.
ํ ์ ์ฝ์ด ์์ .
๊ธฐ๋ณธ๊ฐ์ CUDNN_DEFAULT_MATH์ ๋๋ค. ์ด ๊ธฐ๋ณธ๊ฐ์ Tensor Core๊ฐ
๋ผ์ด๋ธ๋ฌ๋ฆฌ์์ ์์ ์ ํผํ ์ ์์ต๋๋ค. ๊ธฐ๋ณธ ๋ชจ๋๋ ์ง๋ ฌํ๋ ์์ ์ ๋๋ค.
๋ฐ๋ฉด Tensor Core๋ ๋ณ๋ ฌ ์์ ์ด๋ฏ๋ก ๋ ๊ฐ์ง ๊ฒฐ๊ณผ๊ฐ
์์ ์์๊ฐ ๋ค๋ฅด๊ธฐ ๋๋ฌธ์ ์์น ๊ฒฐ๊ณผ๊ฐ ์ฝ๊ฐ ๋ค๋ฆ ๋๋ค.
Tensor Core ์ฐ์ฐ์ด ๋ค์๊ณผ ๊ฐ์ ๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ ๊ธฐ๋ณธ ์ํ ๋ชจ๋๋ก ํด๋ฐฑํฉ๋๋ค.
์ง์๋์ง ์๊ฑฐ๋ ํ์ฉ๋์ง ์์ต๋๋ค.
cudnnSetConvolutionGroupCount
์ ํ๋ฆฌ์ผ์ด์ ์ด ์ปจ๋ณผ๋ฃจ์ ๊ทธ๋ฃน์ ์ํํ ์ ์๋๋ก ํ๋ ์๋ก์ด ์ธํฐํ์ด์ค
๋จ์ผ API ํธ์ถ์์ ์ปจ๋ณผ๋ฃจ์ ๋ ์ด์ด.
cudnnCTCLLoss
cudnnCTCLoss๋ Connectionist Temporal์ GPU ๊ตฌํ์ ์ ๊ณตํฉ๋๋ค.
RNN์ ๋ํ ๋ถ๋ฅ(CTC) ์์ค ํจ์. CTC ์์ค ํจ์๋ ๋ค์์ ์ํด ์ฌ์ฉ๋ฉ๋๋ค.
์์ฑ ๋ฐ ํ๊ธฐ ์ธ์์ ์์ ์ธ์.
CUDNN_BATCHNORM_SPATIAL_PERSISTENT
CUDNN_BATCHNORM_SPATIAL_PERSISTENT ํจ์๋ ์ ๋ฐฐ์น์ ๋๋ค.
cudnnBatchNormalizationForwardTraining์ ์ ๊ทํ ๋ชจ๋
๋ฐ cudnnBatchNormalizationBackward. ์ด ๋ชจ๋๋ ๋ค์๊ณผ ์ ์ฌํฉ๋๋ค.
๊ทธ๋ฌ๋ CUDNN_BATCHNORM_SPATIAL์ ์ผ๋ถ ์์ ์ ๊ฒฝ์ฐ ๋ ๋น ๋ฅผ ์ ์์ต๋๋ค.
cudnnQueryRuntimeError
cudnnQueryRuntimeError ํจ์๋ GPU์์ ์์ฑํ ์ค๋ฅ ์ฝ๋๋ฅผ ๋ณด๊ณ ํฉ๋๋ค.
cudnnBatchNormalizationForwardTraining์ ์คํํ ๋ ์ปค๋
๋ฐ cudnnBatchNormalizationBackward
CUDNN_BATCHNORM_SPATIAL_PERSISTENT ๋ชจ๋.
cudnnGetConvolutionForwardAlgorithm_v7
์ด ์๋ก์ด API๋ ์์ ์ฑ๋ฅ์ ๋ฐ๋ผ ์ ๋ ฌ๋ ๋ชจ๋ ์๊ณ ๋ฆฌ์ฆ์ ๋ฐํํฉ๋๋ค.
(๋ด๋ถ ํด๋ฆฌ์คํฑ ์ฌ์ฉ). ์ด๋ฌํ ์๊ณ ๋ฆฌ์ฆ์ ๋ค์๊ณผ ์ ์ฌํ๊ฒ ์ถ๋ ฅ๋ฉ๋๋ค.
cudnnFindConvolutionForwardAlgorithm.
cudnnGetConvolutionBackwardDataAlgorithm_v7
์ด ์๋ก์ด API๋ ์์ ์ฑ๋ฅ์ ๋ฐ๋ผ ์ ๋ ฌ๋ ๋ชจ๋ ์๊ณ ๋ฆฌ์ฆ์ ๋ฐํํฉ๋๋ค.
(๋ด๋ถ ํด๋ฆฌ์คํฑ ์ฌ์ฉ). ์ด๋ฌํ ์๊ณ ๋ฆฌ์ฆ์ ๋ค์๊ณผ ์ ์ฌํ๊ฒ ์ถ๋ ฅ๋ฉ๋๋ค.
cudnnFindConvolutionBackwardAlgorithm.
cudnnGetConvolutionBackwardFilterAlgorithm_v7
์ด ์๋ก์ด API๋ ์์ ์ฑ๋ฅ์ ๋ฐ๋ผ ์ ๋ ฌ๋ ๋ชจ๋ ์๊ณ ๋ฆฌ์ฆ์ ๋ฐํํฉ๋๋ค.
(๋ด๋ถ ํด๋ฆฌ์คํฑ ์ฌ์ฉ). ์ด๋ฌํ ์๊ณ ๋ฆฌ์ฆ์ ๋ค์๊ณผ ์ ์ฌํ๊ฒ ์ถ๋ ฅ๋ฉ๋๋ค.
cudnnFindConvolutionBackwardFilter ์๊ณ ๋ฆฌ์ฆ.
CUDNN_REDUCE_TENSOR_MUL_NO_ZEROS
MUL_NO_ZEROS ํจ์๋ 0์ ๋ฌด์ํ๋ ๊ณฑ์ ๊ฐ์์ ๋๋ค.
๋ฐ์ดํฐ.
CUDNN_OP_TENSOR_NOT
OP_TENSOR_NOT ํจ์๋ ์์๋ฅผ ์ทจํ๋ ๋จํญ ์ฐ์ฐ์ ๋๋ค.
(์ํ*A).
cudnnGetDropoutDescriptor
cudnnGetDropoutDescriptor ํจ์๋ฅผ ์ฌ์ฉํ๋ฉด ์ ํ๋ฆฌ์ผ์ด์ ์ด ๋๋กญ์์๋ ์ ์์ต๋๋ค.
๊ฐ์น.
์ข์ต๋๋ค. ์ ๋ CUDA 9 RC + cuDNN 7.0์ "๋ธ๋ก๊ทธ"์ ๊ฐ๊น์ด ์๋ก์ด ๋ฌธ์ ๋ฅผ ์์ํ๋ ๊ฒ์ ๋ํด ์๊ฐํ๊ณ ์์ต๋๋ค. ๋๋ ํจ๊ป ํจ์น๋์์ง๋ง CUDA 9RC ๋ฐ cuDNN 7.0์ธ "๋ด ์์" TF ๋น๋๋ฅผ ๊ฐ์ง๊ณ ์์ผ๋ฉฐ ๋๊ตฐ๊ฐ๊ฐ ๊ทธ๊ฒ์ ์๋ํ๋ ๋ฐ ๊ด์ฌ์ด ์๋์ง ์๊ณ ์ถ์ต๋๋ค. ๋ํ ๊ณต์ ํ ์ ์๋ ์ด์ํ ์ด์ ๊ฐ ์๋์ง ํ์ธํด์ผ ํฉ๋๋ค. TensorFlow๊ฐ ์ฌ์ฉํ๋ ์ผ๋ถ ์ ์คํธ๋ฆผ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ๋ณ๊ฒฝํด์ผ ํ์ง๋ง ๊ฐ๊น์ด ์์ผ ๋ด์ NVIDIA์์ PR์ด ๋ค์ด์ค๋ ๊ฒ์ ๋ณด๊ฒ ๋ ๊ฒ์ ๋๋ค. ๋์ ํ์ Volta์์ CUDA 8 + cuDNN 6์ ํ ์คํธํ ๋ค์ Volta(V100)์์ FP32 ์ฝ๋๋ก CUDA 9RC + cuDNN 7์ ํ ์คํธํ ์ ์์์ต๋๋ค. ์ ๋ Linux ๋น๋์ Python 2.7๋ง ์ํํ์ง๋ง ์ฌ๋ฌ๋ถ ๋ชจ๋/๋๊ตฌ๋ผ๋ ๊ด์ฌ์ด ์๋ค๋ฉด cuDNN 6.0๋ณด๋ค ์ปค๋ฎค๋ํฐ๋ฅผ ๋ ๋ง์ด ์ฐธ์ฌ์ํค๊ณ ์ถ์ต๋๋ค. ์์ฃผ ์ฌ๋ฏธ์์ง๋ ์์ ์๋ ์์ง๋ง ์ ๊ณตํ๊ณ ์ถ์ต๋๋ค. ์ฐ๋ฆฌ๊ฐ ํจ๊ป ์๋ ๊ฒ๊ณผ ๊ฐ์ ๋๋์ ์ฃผ๊ธฐ ์ํด ๋ ธ๋ ฅํ๊ณ ์์ต๋๋ค. ๋๋ ๋ํ ์ฐ๋ฆฌ๊ฐ ์์ ํ๊ณ ์์ง๋ง cuDNN 7(๋ฐ 6.0)์ ๋ํด ์ฝ์ํ์ง ์์ ๊ธฐ๋ฅ ๋ชฉ๋ก์ ์์ฑํ๊ณ ์ถ์ต๋๋ค. @cancan101 ์ ์ฒด ๋ชฉ๋ก ๊ฐ์ฌํฉ๋๋ค.
@tfboyd : CUDA 9.0RC+cuDNN 7.0์ ๋ํ ์ค๋ช ์ ํด์ฃผ์๋ฉด ๊ฐ์ฌํ๊ฒ ์ต๋๋ค. ๋๋ ์ด์ํ ์์คํ (TF1.3, CUDA 8.0 ๋ฐ cuDNN 6.0 gcc-4.8์ด ํฌํจ๋ ์ฐ๋ถํฌ 17.10 ๋ฒ ํ)์ ์ฌ์ฉํ๊ณ ์์ผ๋ฉฐ cuda 9 ๋ฐ cudnn 7๋ก ์ ๊ทธ๋ ์ด๋ํ๋ ๊ฒ์ด ์ค์ ๋ก ์ปดํ์ผ๋ฌ ๋ฉด์์ ์ข์ ๊ฒ์ ๋๋ค.
๋๋ ๋น์ ์ด ์ค์ค๋ก๋ฅผ ๊ตฌ์ถํ๋ ๋ฐ ํ์ํ ๊ฒ์ ์ป๊ธฐ ์ํด ๋ฌด์์ ํ ์ ์๋์ง ๋ณผ ๊ฒ
๋ฐ์ด๋๋ฆฌ. ์ฑ๊ณผ ํ ๋ฆฌ๋๋ ๋ด๊ฐ ์ด๊ฒ์ ๊ฐ๋ฅํ๊ฒ ํ ์ ์๋ค๊ณ ๋งํ์ต๋๋ค.
๊ทธ๋์ ์ฐ๋ฆฌ๋ ๋ ํฌ๋ช
ํ ์ ์๊ณ ๋๋ ์ปค๋ฎค๋ํฐ๋ก์ ๋ ์ฌ๋ฏธ์๊ธฐ๋ฅผ ๋ฐ๋๋๋ค.
๋น์ ์๊ฒ ํจ์น๋ฅผ ์ป๋ ๊ฒ๊ณผ ๊ทธ๊ฒ์ ๋ง๋๋ ๋ฐฉ๋ฒ์ ์์ฃผ ์ด๋ ต์ง๋ ์์ง๋ง ์กฐ๊ธ
๋ ์ด์ฌํ. ๋ํ ๊ด๋ฆฌํ ์๊ฐ์ด ์๊ธฐ ๋๋ฌธ์ ๋งค์ฐ ๋น๊ณต์์ ์ผ ๊ฒ์
๋๋ค.
๊ฐ์ง์ ํจ์น๊ฐ ๋งค์ฐ ๋นจ๋ฆฌ ์ฉ์ ์ ์์ต๋๋ค(๊นจ๋ํ๊ฒ ์ ์ฉ๋์ง ์์). NS
ํจ์น๋ ๊ด๋ จ๋ ๋ชจ๋ ์ฌ๋๋ค์ด ๋ณ๊ฒฝ ์ฌํญ์ ๋ํด ๊ด์ฐฎ์์ง ํ์ธํ๋ ๋ฐ ์ฌ์ฉ๋์์ต๋๋ค.
์ผ๋ฐ ๋ฐ ๊ฐ๋ณ PR์ด ๋ค์ด์ค๊ธฐ ์์ํ ๊ฒ์ผ๋ก ์์ํฉ๋๋ค.
2017๋
8์ 11์ผ ๊ธ์์ผ ์ค์ 5:22 Erlend Aune ์๋ฆผ @github.com
์ผ๋ค:
@tfboyd https://github.com/tfboyd : ์ค๋ช ํด์ฃผ์๋ฉด ๊ฐ์ฌํ๊ฒ ์ต๋๋ค
CUDA 9.0RC+cuDNN 7.0์ ์ํํ ๋. ๋๋ ์ด์ํ ์์คํ ์ ์ฌ์ฉํ๊ณ ์์ต๋๋ค (์ฐ๋ถํฌ
17.10 ๋ฒ ํ(TF1.3, CUDA 8.0 ๋ฐ cuDNN 6.0 gcc-4.8 ํฌํจ) ๋ฐ ์ ๊ทธ๋ ์ด๋
cuda 9์ cudnn 7์ ์ค์ ๋ก ์ปดํ์ผ๋ฌ ๋ฉด์์ ํ๋ฅญํ ๊ฒ์ ๋๋ค.โ
๋น์ ์ด ์ธ๊ธ๋์๊ธฐ ๋๋ฌธ์ ์ด๊ฒ์ ๋ฐ๋ ๊ฒ์ ๋๋ค.
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ณ GitHub์์ ํ์ธ
https://github.com/tensorflow/tensorflow/issues/12052#issuecomment-321798364 ,
๋๋ ์ค๋ ๋ ์์๊ฑฐ
https://github.com/notifications/unsubscribe-auth/AWZesj4WRkFKNX-Nt2oKtvp0oyQVBtM5ks5sXEdqgaJpZM4OuRL7
.
@tfboyd : ๊ด์ฌ์ด ์๋๋ฐ ์ด๋ป๊ฒ ๊ณต์ ํ๋์? ์ง์ ?
@tfboyd ์ ๋ ๋ถ๋ช ํ ๊ด์ฌ์ด ์์ ๊ฒ์ ๋๋ค. ๊ฐ์ฌ ํด์!
์ด๋ฒ์ฃผ์ ํด๊ฒฐํ๋ ค๊ณ ํฉ๋๋ค. ๋๋ณด๋ค ๋ฌผ๋ฅ๊ฐ ํ๋ ๊ฒฝ์ฐ๊ฐ ๋ง๋ค
์๊ฐํ๋ค.
2017๋ 8์ 12์ผ ์ค์ 10์ 18๋ถ์ "Tanmay Bakshi" [email protected]์ด ๋ค์๊ณผ ๊ฐ์ด ์ผ์ต๋๋ค.
@tfboyd https://github.com/tfboyd ๋๋ ํ์คํ ๋งค์ฐ ๊ด์ฌ์ด ์์ ๊ฒ์ ๋๋ค
์. ๊ฐ์ฌ ํด์!โ
๋น์ ์ด ์ธ๊ธ๋์๊ธฐ ๋๋ฌธ์ ์ด๊ฒ์ ๋ฐ๋ ๊ฒ์ ๋๋ค.
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ณ GitHub์์ ํ์ธ
https://github.com/tensorflow/tensorflow/issues/12052#issuecomment-321994065 ,
๋๋ ์ค๋ ๋ ์์๊ฑฐ
https://github.com/notifications/unsubscribe-auth/AWZesjO42Rl1WCyW0KR22KgbydKh1O4Zks5sXd6AgaJpZM4OuRL7
.
Python 2.7์ ์ข์ํ๋ ๊ฒฝ์ฐ ์ฌ์ฉํ ์ง์นจ ๋ฐ ๋ฐ์ด๋๋ฆฌ. ๋ ธ๋ ฅ์ ์ถ์ ํ๊ธฐ ์ํด ์์ฑํ ๋ฌธ์ ๋ฅผ ์ ๋ฐ์ดํธํ๋ฏ๋ก ์ด ๊ธ์ ๋ซ์ ๊ฒ์ ๋๋ค. @sssssssssss ใ
๋ฐฉ๊ธ Windows x64์์ Python 3.6์ฉ์ผ๋ก ๋ฏธ๋ฆฌ ์ปดํ์ผ๋ tensorflow-gpu-1.3.0์ ์ค์นํ๋ ค๊ณ ์๋ํ๊ณ Cuda 8.0๊ณผ ํจ๊ป cuDNN ๋ผ์ด๋ธ๋ฌ๋ฆฌ ๋ฒ์ 7.0์ ์ ๊ณตํ์ผ๋ฉฐ ์ ์ด๋ ์ ์๊ฒ๋ ๋ชจ๋ ๊ฒ์ด ์๋ํ๋ ๊ฒ ๊ฐ์ต๋๋ค. ์์ธ๋ ๋ฌธ์ ๊ฐ ๋ณด์ด์ง ์์ต๋๋ค.
์ด๊ฒ์ด ์์๋๋ ์ผ์
๋๊น? cuDNN 7.0์ cuDNN 6.0๊ณผ ์ด์ ๋ฒ์ ๊ณผ ํธํ๋ฉ๋๊น? ์ด๋ก ์ธํด ๋ฌธ์ ๊ฐ ๋ฐ์ํ ์ ์์ต๋๊น?
@apacha ๋๋ ๊ทธ๊ฒ์ด ํจ๊ณผ๊ฐ ์๋ค๋ ๊ฒ์ ์ฝ๊ฐ ๋๋์ต๋๋ค. TensorFlow ๋ฐ์ด๋๋ฆฌ๊ฐ ์ด๋ฆ์ผ๋ก ์ฐพ๊ณ *.so ํ์ผ์ ์ด๋ฆ์ 6.0/7.0์ด ํฌํจ๋์ด ์๊ธฐ ๋๋ฌธ์ TensorFlow ๋ฐ์ด๋๋ฆฌ๊ฐ cuDNN์ ์ฐพ์ ์ ์๋ ํ ์คํธ์์ ์ด์ ์ ์ค๋ฅ๋ฅผ ๋ณธ ์ ์ด ์์ต๋๋ค. ์๊ฒฉ์ผ๋ก ๊ฐ๋ฅํ๋ฉด cuDNN 6์ด ์ฌ์ ํ ๊ฒฝ๋ก์ ์์ต๋๋ค. ๋๋ ๋น์ ์ ์ค์ ์ ๋ํด ์ถ์ธกํ๋ ๊ฒ์ ์ข์ํ์ง ์์ง๋ง ๋ด๊ฐ ๋ด๊ธฐ๋ฅผ ํ๋ค๋ฉด ๋๋ ๊ทธ๊ฒ์ด ์ฌ์ ํ cuDNN 6์ ์ฌ์ฉํ๊ณ ์๋ค๊ณ ๋งํ ๊ฒ์ ๋๋ค.
ํน์ ๋ฒ์ ์ ์ฐพ๊ธฐ ์ํด ์ปดํ์ผ๋๋ TensorFlow๋ฅผ ๋บ ํ์ ํธํ๊ณผ ๊ด๋ จํ์ฌ. ๋ชจ๋ฅด๊ฒ ์ด์.
๋ง์ง๋ง์ผ๋ก, ๊ทธ๊ฒ์ ํฐ ๋ฌธ์ ๊ฐ ์๋๋๋ค. cuDNN 7 PR์ ๊ฑฐ์ ์น์ธ/๋ณํฉ๋์์ผ๋ฉฐ ์ฌ์ ์ปดํ์ผ๋ ๋ฐ์ด๋๋ฆฌ๋ 1.5์์ cuDNN 7๋ก ์ด๋ํ ๊ฐ๋ฅ์ฑ์ด ๋์ต๋๋ค.
CUDA 9RC ๋ฐ cuDNN 7 ์งํ์ ๋ํ ์ ๋ฐ์ดํธ
์์ ์ฑ ์ ์ํด cudnn64_5.dll
์ญ์ ํ๋๋ฐ CUDA ์ค์น ๊ฒฝ๋ก์ cudnn64_6.dll
๊ฐ ์์ต๋๋ค. ์๋ง๋ Windows ๋ง์ ์ผ ๊ฒ์
๋๋ค. :-NS
ํ ๊ฐ์ง ์ฃผ์ํ ์ ์: ์ ๋ ์ฌ์ ํ 9.0์ด ์๋๋ผ CUDA 8.0์ ์ฌ์ฉํ๊ณ ์์ต๋๋ค.
@apacha ์ฐฝ์ ๋ง๋ฒ์ผ ์๋ ์์ต๋๋ค. ๋๋ ์๋ฌด ์๊ฐ์ด ์์๊ธฐ ๋๋ฌธ์ ๋นํ์ ์ธ ์๋ฆฌ๋ฅผ ํ๊ณ ์ถ์ง ์์๋ค. cuDNN ํธ์ถ์ด ๋ณ๊ฒฝ๋์ง ์์์ผ ํ๋ฏ๋ก ์ด์ ๋ฒ์ ๊ณผ ํธํ๋ ๊ฐ๋ฅ์ฑ์ด ์์ผ๋ฏ๋ก Windows ๋ง์ ์ด ๊ฐ๋ฅํ๋ค๊ณ ์๊ฐํฉ๋๋ค. Linux ๋น๋์ ๊ฒฝ์ฐ TensorFlow๋ ํน์ ํ์ผ์ ์ฐพ๊ณ ์์ผ๋ฉฐ(๋๋ ์ค๋ฅ๊ฐ ๋ฐ์ํ์ ๋์ ๋ชจ์ต์ ๋๋ค) cudnnblahblah.6.so๋ฅผ ์ฐพ์ง ๋ชปํ๋ฉด ๋งค์ฐ ๋ถํํฉ๋๋ค. ์ ๋ฐ์ดํธ ๋ฐ ์ธ๋ถ ์ ๋ณด์ ๊ฐ์ฌ๋๋ฆฝ๋๋ค.
์ฒดํฌ์์ํ๊ณ ์ฌ์ฉํด ๋ณผ ์ ์๋ ๋ถ๊ธฐ/ํ๊ทธ๊ฐ ์์ต๋๊น?
์๋ก์ด ์ค์น๋ฅผ ์์ํ์ต๋๋ค. Ubuntu 17... ๊ทธ๋ฐ ๋ค์ ์๋ก์ด gcc๊ฐ CUDA 9๋ฅผ ๋ถ๊ณผํ์ต๋๋ค. CuDNN์ด 7์ด๋ผ๋ ๊ฒ์ ์์์ต๋๋ค... ๋ด๊ฐ ์ด๋๋ก ๊ฐ๊ณ ์๋์ง ์ ์ ์์ต๋๋ค.
๋๋ ํ์คํ ๋ง์ ๊ณณ์์ ๋ด ์ค์ ์ ํดํนํ ์ ์์ต๋๋ค(๊ทธ๋ฆฌ๊ณ Ubuntu 16์ผ๋ก ์ฒ์๋ถํฐ ๋ค์ ์์ํ ์ ์์ต๋๋ค). ๋จ์ง ๋๋ฌด ๊ฐ๊น๊ณ ์์ ์ฌํญ์ด ๊ฐ๊น๋ค๊ณ ํฉ๋๋ค... ๋ด๊ฐ ํ ์ ์๋ค๋ฉด ๊ณผ๊ฑฐ์ ํฐ ๋์ฝ์ ํ๋ ์ด์ ๋ฏธ๋์ ์์ ๋์ฝ!
PR์ด ๊ฑฐ์ ์น์ธ๋์์ต๋๋ค. ๊ฒํ ์ค์
๋๋ค. ๋๋ ๋ช ๊ฐ์ง ๋ ์์ฌ
๊ธฐ๊ปํด์ผ ๋ช ์ฃผ์ด์ง๋ง ์ด๋ฌํ ๊ฒํ ์๋ ์๊ฐ์ด ๊ฑธ๋ฆด ์ ์์ต๋๋ค. ๋๋ ์ด๊ฒ๋ค์ด ๋ชจ๋๋ผ๊ณ ์๊ฐํ๋ค.
๊ทธ๋ค์. EIGEN ๋ณ๊ฒฝ์ ์ํด ๋์ค์ ๋๋ ๋ณ๊ฒฝ์ด ์์ ์ ์์ต๋๋ค.
CUDA 9. ๊ฐ์ธ์ ์ผ๋ก ์ค๋นํ์ง ์์์ต๋๋ค. ๊ทธ๋ค์ ๋งค์ผ ๋ ๊ฐ๊น์์ง๋๋ค.
https://github.com/tensorflow/tensorflow/pull/12504
https://github.com/tensorflow/tensorflow/pull/12503
https://github.com/tensorflow/tensorflow/pull/12502
2017๋
9์ 12์ผ ํ์์ผ ์คํ 7์ 49๋ถ, Remi Morin [email protected]
์ผ๋ค:
์ฒดํฌ์์ํ๊ณ ์ฌ์ฉํด ๋ณผ ์ ์๋ ๋ถ๊ธฐ/ํ๊ทธ๊ฐ ์์ต๋๊น?
์๋ก์ด ์ค์น์ธ Ubuntu 17์ ์์ํ ๋ค์ ์ gcc๋ CUDA 9๋ฅผ ๋ถ๊ณผํ๊ณ ,
์ ๋ง๋ CuDNN์ด 7์ด๋ผ๋ ๊ฒ์ ์์์ต๋๋ค. ์ ๊ฐ ์ด๋๋ก ๊ฐ๊ณ ์๋์ง ์ ์ ์์ต๋๋ค.
๋๋ ํ์คํ ๋ง์ ๊ณณ์์ ๋ด ์ค์ ์ ํดํนํ ์ ์์ต๋๋ค(๊ทธ๋ฆฌ๊ณ ์ฒ์๋ถํฐ ์์ํ ์ ์์ต๋๋ค)
์ฐ๋ถํฌ 16์์ ๋ค์) ๋๋ ๋๋ฌด ๊ฐ๊น๊ณ ์์ ์ฌํญ์ด ๊ฐ๊น๋ค๊ณ ํฉ๋๋ค ... ์
๋ฏธ๋์ ์์ ๋์ฝ์ ํ ์ ์๋ค๋ฉด ๊ณผ๊ฑฐ์ ํฐ ๋์ฝ์!โ
๋น์ ์ด ์ธ๊ธ๋์๊ธฐ ๋๋ฌธ์ ์ด๊ฒ์ ๋ฐ๋ ๊ฒ์ ๋๋ค.
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ณ GitHub์์ ํ์ธ
https://github.com/tensorflow/tensorflow/issues/12052#issuecomment-329041739 ,
๋๋ ์ค๋ ๋ ์์๊ฑฐ
https://github.com/notifications/unsubscribe-auth/AWZesrpX6TSN6fVESEsql3QNtjgo-LM9ks5sh0KqgaJpZM4OuRL7
.
@tfboyd ์ด๊ฒ์ด ์ฌ์ ํ ๋ฌธ์ ์ ๋๊น? cuda 9.0์ด ์ค๋ ์ถ์๋์๋ค๋ ๊ฒ์ ๊นจ๋ฌ์์ต๋๋ค.
cuda 9.0์ด ์ถ์๋์๋๋ฐ cuda 8.0 ์ค์น ํ์ผ์ ์ฐพ์ ์ ์์ต๋๋ค....
ํ
์ํ๋ก ์
๊ทธ๋ ์ด๋ ํด์ฃผ์ธ์...
cuda 9.0์ด ์ถ์๋์๋๋ฐ cuda 8.0 ์ค์น ํ์ผ์ ์ฐพ์ ์ ์์ต๋๋ค....
@thomasjo ๊ฐ์ฌํฉ๋๋ค!
@tfboyd๊ฐ ์ธ๊ธํ PR์ ์น์ธํ๋ฉด tensorflow 1.3์ด ์ด์ CUDA 9 ๋ฐ cuDNN 7๊ณผ ํธํ๋ฉ๋๊น? ๋๊ตฌ๋ ์ง ์ค์ ๋ก ์ด๊ฒ์ ์ฑ๊ณต์ ์ผ๋ก ์ค์น ํ์ต๋๊น?
@voxmenthe ๋ฐฉ๊ธ CUDA 9.0 ๋ฐ cuDNN7๊ณผ ํจ๊ป tf1.3์ ์ค์นํ๋ ค๊ณ ํ์ต๋๋ค. ์ด ๋ฌธ์ ์ ๊ด๋ จ๋ ์ค๋ฅ๊ฐ ๋ฐ์ํ์ต๋๋ค. #12489
ํธ์ง: ๊ธฐ๋ณธ์ ์ผ๋ก ๋ฐฉ๋ฒ์ ๋ชจ๋ฅด๊ฒ ์ต๋๋ค. ๊ทธ๋ฌ๋ ๋ ์ด์ ๋ณ๊ฒฝํ์ง ์๊ณ ๋ง์คํฐ ๋ธ๋์น(์ฒ์์๋ ์ค์นํ์ง ์์์)๋ก ์ด๋ํ์ฌ ์ค์นํ ์ ์์์ต๋๋ค. ํ์ง๋ง ์ด์ tensorflow๋ฅผ ๊ฐ์ ธ์ค๋ ค๊ณ ํ๋ฉด ํ๋ซํผ ๋ชจ๋์ด ๋๋ฝ๋์๋ค๊ณ ํ์๋ฉ๋๋ค.
๊ด๋ จ PR์ด ์ผ๋ง๋ ๊ฐ๊น์ด์ ์๋์ง์ ๋ํ ํ์๊ฐ ์์ต๋๊น? cuDNN 7์ ์ค์นํ ๋ค์ ๋ฌธ์ ๋ฅผ ์ผ์ผํค๊ณ ์์์ ๊นจ๋ฌ์์ต๋๋ค. v6์ผ๋ก ๋ค์ด๊ทธ๋ ์ด๋ํ ์ ์์ง๋ง ๋ฌธ์ ๊ฐ ํด๊ฒฐ๋ ๋๊น์ง ๊ธฐ๋ค๋ฆด ์ ์๋ค๊ณ ์๊ฐํ์ต๋๋ค...
PR์ด ์น์ธ๋ ๊ฒ ๊ฐ์ต๋๋ค. ๋ฉฐ์น ๋์ ์ง์ ๋น๋๋ฅผ ์คํํ์ง ์์์ต๋๋ค. 1.3์๋ ์ผ๋ง ์ ๊ณผ ๊ฐ์ด ์ด๋ฌํ ๋ณ๊ฒฝ ์ฌํญ์ด ์์ต๋๋ค. 1.4์๋ ๋ณ๊ฒฝ ์ฌํญ์ด ์์ต๋๋ค. ์ด๋ฒ ์ฃผ์ ์ต์ ๋ฒ์ ์ ๋ค์ด๋ก๋ํ๊ณ ์๋ก ๋น๋ํ ์ ์๊ธฐ๋ฅผ ๋ฐ๋๋๋ค. ๋๋ ๋ด๊ฐ ์๊ฐ์ด ์๊ธฐ ์ ์ ๋๊ตฐ๊ฐ๊ฐ ๊ทธ๊ฒ์ ์ ํ ๊ฒ์ด๋ผ๊ณ ์๊ฐํฉ๋๋ค.
๋๋ํ ์ฌ๋๋ค์ด Win 10 x64์ฉ CUDA v9.0, cudnn 7.0์ ์ฌ์ฉํ์ฌ tf 1.3 ๋๋ 1.4์ ๋ํ ์์ต์๋ฅผ ๋ง๋ค ๊ฐ๋ฅ์ฑ์ด ์์ต๋๊น? (Anaconda) ์ค์น๋ฅผ ์๋ํ์ง๋ง '_pywrap_tensorflow_internal' ์ค๋ฅ๊ฐ ๊ณ์ ๋ฐ์ํ๊ณ ์ด๋ฏธ msvcp140.dll์ด ๋ด ๊ฒฝ๋ก์ ์ถ๊ฐ๋์๋์ง ํ์ธํ์ต๋๋ค.
@devilsnare007 : https://github.com/philferriere/dlwin์ ํ๋ก์ฐ ํ๋ ๊ฒ์ด ๊ฐ์ฅ ์ข์ ๊ธฐํ๋ผ๊ณ ์๊ฐํฉ๋๋ค . ๋์ด๋ ๋ฒ์ ์ ํ์ฌ ๋ฒ์ ์ผ๋ก ๋ฐ๊พธ๊ธฐ๋ง ํ๋ฉด ๋ฉ๋๋ค. TF 1.4๋ ์์ง ์ถ์๋์ง ์์์ต๋๋ค. ๊ทธ๋ฌ๋ TF 1.3์ ์ ๊ณต๋ ์ง์นจ์ ๋ฐ๋ผ ์ ๋๋ก ์๋ํด์ผ ํฉ๋๋ค. ๋ชจ๋ ๊ฒ์ด ์ ๊ทธ๋ ์ด๋๋๊ณ TF 1.4๊ฐ ๋ฆด๋ฆฌ์ค๋๋ฉด ํด๋น ์์ต์๋ฅผ ์ ๋ฐ์ดํธํฉ๋๋ค.
TF 1.4๊ฐ ์ถ์๋๋ฉด cuDNN 7.0์ด ์ง์๋๋์?
@์๋ก์ด์ค
๋จธ๋ฆฌ์์ (๋ฉฐ์น ์ ํ์ฌ) ๋๋ ํน๋ณํ ๋ณ๊ฒฝ ์์ด cuDNN 7.0์ผ๋ก CUDA 9(๋ฆด๋ฆฌ์ค ๋ฒ์ )๋ฅผ ์ปดํ์ผํ ์ ์์๊ณ GTX 1080์์ ๋ช ๊ฐ์ง tf_cnn_benchmarks.py ํ
์คํธ๋ฅผ ์คํํ์ต๋๋ค. ๋ชจ๋ ๊ฒ์ด ๊ด์ฐฎ์ ๋ณด์
๋๋ค. ์ด๋ฒ ์ฃผ์ RC์ ํฌํจ๋์ด์ผ ํ๋ TF 1.4์๋ CUDA 8 ๋ฐ cuDNN 6 ๋ฐ์ด๋๋ฆฌ๊ฐ ์์ง๋ง CUDA 9 ๋ฐ cuDNN 7์์๋ ์ ์ปดํ์ผ๋ฉ๋๋ค. ๋ชฉํ๋ TF 1.5๊ฐ ๋ฐ์ด๋๋ฆฌ์ CUDA 9 ๋ฐ cuDNN 7์ ํฌํจํ๋ ๊ฒ์
๋๋ค. ์ด๋ฅผ ํตํด ์ฌ๋๋ค์ ์์คํ
๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์
๊ทธ๋ ์ด๋ํ๊ณ ํ
์คํธ์ ๋ ๋ง์ ์๊ฐ์ ํ ์ ํ ์ ์์ต๋๋ค. Voltas๋ฅผ ์คํ ์ค์ด๋ผ๋ฉด ์์ ๋กญ๊ฒ ๋ค๋ฅธ ์ค๋ ๋๋ฅผ ์์ํ๊ณ ์
๋ฐ์ดํธํ๊ฒ ์ต๋๋ค. ์ค์๊ฐ์ผ๋ก FP16์์ ์งํ๋ฉ๋๋ค.
@tfboyd TF 1.4๊ฐ cuDNN 7๋ก ์ปดํ์ผ๋๋ค๋ ์์์ ๋ฃ๊ฒ ๋์ด ๊ธฐ์ฉ๋๋ค! ์ด๋ ์์ ์์ ์ค์น ๊ฐ์ด๋๋ฅผ ์์ฑํด์ผ ํ๋ค๊ณ ๋๋๋ค๋ฉด DL ์ปค๋ฎค๋ํฐ๋ฅผ ์ํ ํ๋ฅญํ ๊ณต๊ณต ์๋น์ค๊ฐ ๋ ๊ฒ์ ๋๋ค.
๋ฌธ์ ์์ต๋๋ค. ์ถฉ๋ถํ ์ฌ์์ผ ํ๋ฉฐ ๊ธฐ๊บผ์ด ์ฑ์ฐ๊ฒ ์ต๋๋ค.
๊ฐญ.
2017๋ 10์ 9์ผ ์์์ผ ์ค์ 9์ 42๋ถ์ Jeff [email protected]์ด ๋ค์๊ณผ ๊ฐ์ด ์ผ์ต๋๋ค.
@tfboyd https://github.com/tfboyd TF 1.4๊ฐ ์ปดํ์ผ๋๋ค๋ ์์์ ๋ฃ๊ฒ ๋์ด ๊ธฐ์ฉ๋๋ค.
cuDNN 7๊ณผ ํจ๊ป! ์ด๋ ์์ ์์ ์ค์น ๊ฐ์ด๋๋ฅผ ๋ง๋ค ์๊ฐ์ด๋ผ๋ฉด
DL ์ปค๋ฎค๋ํฐ๋ฅผ ์ํ ํ๋ฅญํ ๊ณต๊ณต ์๋น์ค๊ฐ ๋ ๊ฒ์ ๋๋ค.โ
๋น์ ์ด ์ธ๊ธ๋์๊ธฐ ๋๋ฌธ์ ์ด๊ฒ์ ๋ฐ๋ ๊ฒ์ ๋๋ค.
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ณ GitHub์์ ํ์ธ
https://github.com/tensorflow/tensorflow/issues/12052#issuecomment-335212652 ,
๋๋ ์ค๋ ๋ ์์๊ฑฐ
https://github.com/notifications/unsubscribe-auth/AWZesp7d2aT8gsGOWb6YjHH_CnpKXUIPks5sqkztgaJpZM4OuRL7
.
CUDA 9 ๋ฐ cuDNN 7.0์์ ์๋ํ๋ whl์ ๊ฐ์ง ๊ฐ๋ฅ์ฑ์ด ์์ต๋๊น?
๊ฐ์ฌ ํด์!
๋ด ๊ฒ์ ๊ฒ์ํ ๊ฒ์
๋๋ค(1.4๊ฐ ์๋ ๊ฐ๋ฅ์ฑ์ด ๋์ง๋ง ์ผ๋ถ๋ ๊ฑฐ์ ์ผ์นํฉ๋๋ค.
ํ
์คํธ๋ฅผ ์ํด ๋น๋ํ ๋ ์ด๋ฆ์ ํด์๋ฅผ ํฌํจํ์ง๋ง
์ฐ๋ถํฌ 16.04(gcc ๋ฒ์ ์ด ๋ฌด์์ธ์ง ์์ด๋ฒ๋ ธ์ต๋๋ค), linux, python 2.7์ ์ฐธ๊ณ ์ฉ์
๋๋ค.
๊ทธ๋ฆฌ๊ณ ๊ทธ ๋น๋๋ฅผ ๊ณต์ ํ ์๊ฐ์ ์์ต๋๋ค.
์ฌ๋๋ค์ ํผ๋์ค๋ฝ๊ฒ ํ๊ณ ๋๋ ๋น์ ์ด ์๊ณ ์๋ ๋ชจ๋ ์ฌ๋๋ค์ ์ํด ๊ฐ์กฐํ ๊ฒ์
๋๋ค.
๋ฏธ์น ๋ท๋ฌธ. ์ผ๋ถ ๋น๋ฐ ์ฝ๋๋ฅผ ์ถ๊ฐํ๋ ๊ฒ์ด ๋๋ฌด ๋ง์ ์์
์ฒ๋ผ ๋๊ปด์ง์ง๋ง
๋์๊ฒ.
๋๋ nightly-gpu ๋น๋๊ฐ ๊ฑฐ์ pip์ ์๋ค๊ณ ์๊ฐํฉ๋๋ค.
ํญ์ ๋ฐ์ํ์ต๋๋ค ๋น์ ์ ๋จ์ง ๊ทธ๋ค์ ์ฐพ์์ผํ์ต๋๋ค) 1.4 ์ดํ๋ฅผ ์๋ฏธํฉ๋๋ค
์ผ๊ฐ ๋น๋๋ CUDA 9 + cuDNN 7๋ก ๋งค์ฐ ๋น ๋ฅด๊ฒ ์ด๋ํฉ๋๋ค.
2017๋ 10์ 9์ผ ์์์ผ ์ค์ 11์ 41๋ถ์ alexirae [email protected]์์ ๋ค์๊ณผ ๊ฐ์ด ์ผ์ต๋๋ค.
CUDA 9 ๋ฐ cuDNN 7.0์์ ์๋ํ๋ whl์ ๊ฐ์ง ๊ฐ๋ฅ์ฑ์ด ์์ต๋๊น?
๊ฐ์ฌ ํด์!
โ
๋น์ ์ด ์ธ๊ธ๋์๊ธฐ ๋๋ฌธ์ ์ด๊ฒ์ ๋ฐ๋ ๊ฒ์ ๋๋ค.
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ณ GitHub์์ ํ์ธ
https://github.com/tensorflow/tensorflow/issues/12052#issuecomment-335249979 ,
๋๋ ์ค๋ ๋ ์์๊ฑฐ
https://github.com/notifications/unsubscribe-auth/AWZeskJ5LXJwFcRpm-sKZ9QORoltrHOEks5sqmj1gaJpZM4OuRL7
.
@tfboyd ๋ต๋ณ ๊ฐ์ฌํฉ๋๋ค. ๋ง์ง๋ง์ผ๋ก Ubuntu 16.04์์ CUDA 8 + cuDNN 7์ ์ง์ํ๋ ์์ค์์ ์ต์ TF๋ฅผ ๋น๋ํ์ผ๋ฉฐ ๋ชจ๋ ๊ฒ์ด GTX 1080 Ti์์ ์ ๋๋ก ์๋ํฉ๋๋ค.
@tfboyd 14.rc TF๋ CuDNN 7 ๋ฐ CUDA 9๋ฅผ ์ง์ํฉ๋๊น?
์์ค์์ ๋น๋ํ๋ ๊ฒฝ์ฐ ํฌํจ๋ฉ๋๋ค. ๊ธฐ๋ณธ๊ฐ์ ๋ณ๊ฒฝํ๊ณ ์ถ์ต๋๋ค
AWS์ K80์์ ํ๊ท ํ
์คํธ๋ฅผ ์คํํด์ผ ํ๋ ๋ฐ์ด๋๋ฆฌ
๋ชจ๋ ๊ฒ์ด ์ ๋ณด์ด๋์ง ํ์ธํ๊ณ ๋น๋๋ฅผ ์์ฑํ์ญ์์ค. ์ฐ๋ฆฌ
NVIDIA ๋๋ผ์ด๋ฒ๊ฐ ์ฑ๋ฅ ์ ํ๋ฅผ ํ์๋ก ํ๊ธฐ ๋๋ฌธ์ ์ฆ์ ๋ฌธ์ ๊ฐ ๋ฐ์ํ์ต๋๋ค.
Google Cloud์์ ์คํ๋๋ Kokoro์์ 30% ๋ชจ๋ ์คํธ๋ ์ดํธ๋ ์์ต๋๋ค
ํ์ง๋ง CUDA 9 ๋ฐ cuDNN 7์ 1.4 ์์ค์ ์์ผ๋ฉฐ ์์๋๋ก
๋๋ฅผ ์ํด Pascal์ ๋ํ ๋งค์ฐ ์ ํ๋ ํ
์คํธ.
2017๋
10์ 12์ผ ๋ชฉ์์ผ ์ค์ 2์ 40๋ถ, Konstantin [email protected]
์ผ๋ค:
@tfboyd https://github.com/tfboyd 14.rc TF๋ CuDNN 7์ ์ง์ํ๋ฉฐ
์ฟ ๋ค 9?โ
๋น์ ์ด ์ธ๊ธ๋์๊ธฐ ๋๋ฌธ์ ์ด๊ฒ์ ๋ฐ๋ ๊ฒ์ ๋๋ค.
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ณ GitHub์์ ํ์ธ
https://github.com/tensorflow/tensorflow/issues/12052#issuecomment-336075883 ,
๋๋ ์ค๋ ๋ ์์๊ฑฐ
https://github.com/notifications/unsubscribe-auth/AWZesq03dvnXWd0GLXODBTNCWExlZGPnks5srd6pgaJpZM4OuRL7
.
CUDA 9, cuDNN 7.0 ๋ฐ python 3.5์์ ์๋ํ๋ whl์ ๊ฐ์ง ๊ฐ๋ฅ์ฑ์ด ์์ต๋๊น?
TF 1.4๊ฐ ์๋ฃ๋ ํ ์ผ๊ฐ ๋น๋๋ CUDA 9 +
cuDNN 7์ ๋ฌธ์ ๊ฐ ์๋ค๊ณ ๊ฐ์ ํฉ๋๋ค. ๋ด๊ฐ ๋ง๋ค๊ณ ์ฌ๋ฏธ๋ก ๊ณต์ ํ๋ ๋น๋๋
๋ด ํ
์คํธ ์์คํ
์ ๊ธฐ๋ณธ๊ฐ์ด๊ธฐ ๋๋ฌธ์ ํญ์ python 2.7์
๋๋ค.
2017๋
10์ 16์ผ ์์์ผ ์ค์ 6์ 59๋ถ, Diego Stalder [email protected]
์ผ๋ค:
CUDA 9, cuDNN 7.0 ๋ฐ
ํ์ด์ฌ 3.5?โ
๋น์ ์ด ์ธ๊ธ๋์๊ธฐ ๋๋ฌธ์ ์ด๊ฒ์ ๋ฐ๋ ๊ฒ์ ๋๋ค.
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ณ GitHub์์ ํ์ธ
https://github.com/tensorflow/tensorflow/issues/12052#issuecomment-336894073 ,
๋๋ ์ค๋ ๋ ์์๊ฑฐ
https://github.com/notifications/unsubscribe-auth/AWZesqgclWqET4OufQHV3FAD4XxgnZiKks5ss2E6gaJpZM4OuRL7
.
์ถ์ ์์ ์ผ์ ์๋์?
๋นํธ๋ฅผ ์น๋ ๋ชจ๋ ์ฌ๋๋ค์ ์์ค์์ #master๋ฅผ ๋น๋ํ์ญ์์ค. ๋๋ฌด ์ด๋ ต์ง ์์ต๋๋ค(์๊ฐ๋ง ์์๋จ). pip/whl ์ค์น๋ฅผ ํตํด ์ต์ CUDA/cuDNN, _๋ฐ_ ์ถ๊ฐ ์ต์ ํ๋ฅผ ์ป์ ์ ์์ต๋๋ค(์: ์ด tut ์ CPU ์ต์ ํ ์ฐธ์กฐ). ๋ํ ๋ค์์ CUDA/cuDNN์ ์ ๊ทธ๋ ์ด๋ํ ๋ ๊ธฐ๋ค๋ฆด ํ์ ์์ด ๋ค์ ๋น๋ํ ์ ์์ต๋๋ค.
์์ค์์ ๋น๋, TF1.4๋ cuda 9.0, cuDNN v7.0.3 ๋ฐ python3.5์์ ์๋ํฉ๋๋ค.
win10 ํ๋ซํผ์ ์์ค์์ ๋น๋ํ ์ ์์ต๋๊น?
TF๊ฐ cuda 9.0, cuDNN v7, python3์์ ์๋ํ๊ธฐ๋ฅผ ์ํฉ๋๋ค. 6 ๋ฐ win10
์์ค์์ ๋น๋ํ TF1.4๋ cuda 9.0, cuDNN v7.0.3 ๋ฐ python2.7์์๋ ์๋ํฉ๋๋ค.
@affromero ์ฐ์ฐํ jsoncpp์ ๋ฌธ์ ๊ฐ
CUDA 9 / cuDNN 7์ ์ฌ์ฉํ์ฌ TF 1.4RC0 ๋ถ๊ธฐ์์ AWS ๊ตฌ์ถ์ ๋ํ tf_cnn_benchmarks ํ ์คํธ๋ฅผ ์ํํ์ผ๋ฉฐ ๊ฒฐ๊ณผ๋ CUDA 8 + cuDNN 6๊ณผ ๊ฐ๊ฑฐ๋ ์ฝ๊ฐ ๋น ๋ฆ ๋๋ค.
ํธ์ง: elipeters ์๊ฒฌ์ ๋ค๋ฃจ์ง ์์ ์ธ๊ธ ์ ๊ฑฐ. :-)
@์๋ฆฌํํฐ์ค
๋น๋๋ผ๊ณ ํ ๋ ํ ํ์ผ์ ์ค์นํ์ง ์๊ณ ์์ค์์ ๋น๋ํ๋ ๊ฒ์ ์๋ฏธํฉ๋๋ค. ํ ์ ์ด๋ฏธ ์ปดํ์ผ๋์์ผ๋ฉฐ 1.4 ๋ฐ์ด๋๋ฆฌ๋ CUDA 8 + cuDNN 6์ ์ง์ํฉ๋๋ค. CUDA 9๋ฅผ ์ป์ผ๋ ค๋ฉด ์์ค์์ ๋น๋ํด์ผ ํฉ๋๋ค. ์ ๋ ์๋์ฐ ๋น๋๋ฅผ ํด๋ณธ์ ์ด ์์ต๋๋ค. 1.4๊ฐ ์ถ์๋๋ฉด ํ์ ์ผ๊ฐ ๋น๋๋ฅผ CUDA 9๋ก ์ ํํฉ๋๋ค.
์ฌ์ ์ปดํ์ผ๋ ํ ( https://pypi.python.org/pypi/tensorflow )๋ก 1.4์ ๋ํ ๋ ๋ฒ์งธ ๋ฆด๋ฆฌ์ค ํ๋ณด(rc1)๊ฐ ์์ต๋๋ค. ์์ง CUDA 9๋ก ํ ์คํธํ ์ฌ๋์ด ์์ต๋๊น?
์๋ํ์ง๋ง cuda 9.0์์ ์๋ํ์ง ์์ต๋๋ค.
๋ค์ ํ๋ฒ ์๋ํด ๋ณด๊ฒ ์ต๋๋ค.
1.4๋ CUDA 8 + cuDNN 6์
๋๋ค. CUDA 9์์๋ ์๋ํ์ง ์์ต๋๋ค. ์์ค์์ ์ปดํ์ผํด์ผ ํฉ๋๋ค.
1.4๊ฐ ๋ฆด๋ฆฌ์ค๋๋ฉด ์ผ๊ฐ ๋น๋๋ฅผ CUDA 9๋ก ์ ํํ๊ณ 1.5๋ CUDA 9๊ฐ ๋ ๊ฐ๋ฅ์ฑ์ด ๋์ต๋๋ค.
์ง๋ ์ฃผ๋ง์ AWS์์ ๋ฒค์น๋งํฌ๋ฅผ ์ํํ๊ธฐ ๋๋ฌธ์ ์์ค(์ฐ๋ถํฌ 16.04/python 2)์์ 1.4๋ฅผ ๋น๋ํ ๋ CUDA 9๊ฐ ์ ๋๋ก ์๋ํ๋ค๋ ๊ฒ์ ์๊ณ ์์ต๋๋ค.
์ฌ๊ธฐ์ ์์ค์์ ๋น๋ํ๋ ๋ฐฉ๋ฒ์ ๋ํ ์ต๊ทผ ๋ ์ํผ๊ฐ
๋น์ ์ ์ต๊ณ ์ ์ผ๋ก์ฌ๋ผํ์ ๋๋ค.
2017๋
10์ 25์ผ ์์์ผ ์ค์ 8์ 11๋ถ, Yaroslav Bulatov [email protected]
์ผ๋ค:
์ฌ๊ธฐ์ ์์ค์์ ๋น๋์ ๋ํ ์ต๊ทผ ๋ ์ํผ๊ฐ ์์ต๋๋ค.
https://github.com/yaroslavvb/tensorflow-community-wheels (๊ฒ์ํ์ญ์์ค
๋น๋ํ๋ฉด CUDA 9.0 ํ ์ ๋ํ ๋งํฌ๋ ๊ฑฐ๊ธฐ์ ์์ต๋๋ค)โ
๋น์ ์ด ์ธ๊ธ๋์๊ธฐ ๋๋ฌธ์ ์ด๊ฒ์ ๋ฐ๋ ๊ฒ์ ๋๋ค.
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ณ GitHub์์ ํ์ธ
https://github.com/tensorflow/tensorflow/issues/12052#issuecomment-339361959 ,
๋๋ ์ค๋ ๋ ์์๊ฑฐ
https://github.com/notifications/unsubscribe-auth/AWZesmRwb0UmLWxzANWCq5RrT6teYtr5ks5sv0-IgaJpZM4OuRL7
.
์๋
ํ์ธ์, win10 env๋ก tensorflow gpu๋ฅผ ๋น๋ํ๋ ค๊ณ ํฉ๋๋ค. ๊ทธ๋ฐ ๋ค์์๋ ์ด ๋ฌธ์ ๋ฅผ ๋ง๋ฌ์ต๋๋ค. ๋๊ตฌ๋ ์ง ๋๋ฅผ ๋์ธ ์ ์์ต๋๊น? ๋จผ์ ๊ฐ์ฌํฉ๋๋ค.
๋ด ํ๊ฒฝ:
win10 + gtx 1080ti + cuda 9.0 + cuDNN 7 + Visual Studio ์ง์
2015 + cmake 3.6.3 + ํ์ด์ฌ 3.5.4
tensorflow r1.4๋ก ์ ํํ๊ณ win10 ํ๊ฒฝ์์ cmake๋ก ๋น๋ํ๋ฉด ๋ฌธ์ ๊ฐ ๋ฐ์ํฉ๋๋ค.
`CUSTOMBUILD : ๋ด๋ถ ์ค๋ฅ: ์ด์ค์ ์คํจ: "C:/dvs/p4/build/sw/rel/gpu_drv/r384/r384_00/drivers/compiler/edg/EDG_4.12/src/lookup.c", ์ค 2652 [ C:\TF\tensorflow\tensorflow\contrib\cmake\build\tf_core_gpu_kernels.vcxproj]
1 "C:/Users/ADMINI~1/AppData/Local/Temp/tmpxft_00000c94_00000000-8_adjust_contrast_op_gpu.cu.cpp4.ii" ์ปดํ์ผ์์ ์น๋ช ์ ์ธ ์ค๋ฅ๊ฐ ๊ฐ์ง๋์์ต๋๋ค.
์ปดํ์ผ์ด ์ค๋จ๋์์ต๋๋ค.
adjust_contrast_op_gpu.cu.cc
CUSTOMBUILD: nvcc ์ค๋ฅ: 'cudafe++'๊ฐ ์ํ 0xC0000409๋ก ์ฌ๋งํ์ต๋๋ค. [C:\TF\tensorflow\tensorflow\contrib\cmake\build\tf_core_gpu_kernels.vcxproj]
tf_core_gpu_kernels_generated_adjust_contrast_op_gpu.cu.cc.obj.Release์์ CMake ์ค๋ฅ. cmake:267 (๋ฉ์์ง):
ํ์ผ ์์ฑ ์ค ์ค๋ฅ ๋ฐ์
C:/TF/tensorflow/tensorflow/contrib/cmake/build/CMakeFiles/tf_core_gpu_kernels.dir/__/__/core/kernels/Release/tf_core_gpu_kernels_generated_adjust_contrast_op_gpu.cu.cc.obj`
์์ ๋ฌธ์ ๋ cuda compolie ์์ฒด ๋ฌธ์ ์ฒ๋ผ ๋ณด์ด์ง๋ง tensorflow ๋ฒ์ ์ r1.3์ผ๋ก ์ ํํ๋ฉด ๋ ๋ค๋ฅธ ๋ฌธ์ ๊ฐ ๋ฐ์ํฉ๋๋ค.
`c:\tftest\tensorflow\tensorflow\contrib\cmake\build\external\eigen_archive\eigen\src/Core/util/Macros.h(416): ์น๋ช
์ ์ธ ์ค๋ฅ C1017:
[C:\TFtest\tensorflow\tensorflow\contrib\cmake\build\tf_core_gpu_kernels.vcxproj]
tf_core_gpu_kernels_generated_adjust_contrast_op_gpu.cu.cc.obj.Release์์ CMake ์ค๋ฅ. cmake:267 (๋ฉ์์ง):
ํ์ผ ์์ฑ ์ค ์ค๋ฅ ๋ฐ์
C:/TF/test/tensorflow/tensorflow/contrib/cmake/build/CMakeFiles/tf_core_gpu_kernels.dir/__/__/core/kernels/Release/tf_core_gpu_kernels_generated_adjust_contrast_op_gpu.cu.cc.obj`
adjust_contrast_op_gpu.cu.cc ํ์ผ์ ๋ฌธ์ ๊ฐ ์๋ ๊ฒ ๊ฐ์ง๋ง ์ค๋ฅ๋ฅผ ์ฐพ์ ์ ์์ต๋๋ค.
์์ ๋ฌธ์ ๋ก ์ธํด ๋ฉฐ์น ๋์ ๋ฌธ์ ๊ฐ ๋ฐ์ํ์ต๋๋ค. ๋๊ตฐ๊ฐ๊ฐ ์ด ์๋์ ์ฑ๊ณต์ ์งํํ๋ ๋ฐ ๋์์ด ๋์์ผ๋ฉด ํฉ๋๋ค. Google ์ ๊ทธ๋ ์ด๋ tensorflow๊ฐ win10 ํ๊ฒฝ์์ cuda 9.0 ๋ฐ cudnn 7์ ์ง์ํ๊ธฐ๋ฅผ ๊ฐ๋ ฅํ ๊ธฐ๋ํฉ๋๋ค.
CUDA 9 ๋ฐ cuDNN 7.0์ด ํฌํจ๋ TensorFlow์ฉ wl์ ์ถ์ํ ์ฌ๋์ด ์์ต๋๊น?
@vellamike ๊ทํ์ ์ง๋ฌธ์ด ์ผ๋ฐ์ ์ถ์ ๋ 1.5์ ํจ๊ป ๋ฐ์ด๋๋ฆฌ์ CUDA 9๋ฅผ ๊ฐ๊ฒ ๋ฉ๋๋ค. ์ง๊ธ์ ์์ค์์ ๋น๋ํด์ผ ํฉ๋๋ค.
Mac 10.13 high sierra์์ CUDA 9 ๋ฐ cuDNN 7๋ก 1.4๋ฅผ ๋น๋ํ๋ ค๊ณ ํฉ๋๋ค. ์ด ์ค๋ฅ๊ฐ ๊ณ์ ๋ฐ์ํฉ๋๋ค.
ERROR: /Users/smitshilu/tensorflow/tensorflow/core/kernels/BUILD:2948:1: output 'tensorflow/core/kernels/_objs/depthwise_conv_op_gpu/tensorflow/core/kernels/depthwise_conv_op_gpu.cu.pic.o' was not created.
ERROR: /Users/smitshilu/tensorflow/tensorflow/core/kernels/BUILD:2948:1: not all outputs were created or valid.
Target //tensorflow/tools/pip_package:build_pip_package failed to build
์ด์ ๋ํ ํด๊ฒฐ์ฑ ์ด ์์ต๋๊น?
@smitshilu ๊ด๋ จ https://github.com/tensorflow/tensorflow/issues/2143
1.4๊ฐ ์ฌ์ ํ ๋ฐ์ด๋๋ฆฌ์ CUDA 9๊ฐ ์๋ ์ด์ ๋ ๋ฌด์์ ๋๊น? ์ด ๋ฒ์ ์ ์ค๋ ์ ์ ์ข ๋ฃ๋์์ผ๋ฉฐ ๋ณด๊ณ ๋ ์ฌ๋ฌ ๋ฌธ์ ์ ๋ฐ๋ผ ๋งค๋๋ฝ๊ณ ๋น ๋ฅด์ง ์์ ์์ค์์ ๋น๋ํ๋ V100์ด ํ์ํฉ๋๋ค.
@ViktorM ์์ค์์ ์ด๋ค ๋ฌธ์ ๋ฅผ ์ปดํ์ผ ํ์ต๋๊น? ์กฐ๊ธ ๊น๋ค๋กญ๊ธด ํ์ง๋ง ๊ทธ๋ ๊ฒ ์ด๋ ต์ง๋ ์์์ต๋๋ค.
2017๋ 9์ 26์ผ์ CUDA 9์ GA์์ต๋๋ค. 4๋ถ๊ธฐ์ CUDA 9 + cuDNN 7 ๋ฐ์ด๋๋ฆฌ๋ฅผ ์ถ์ํ๋ฉด ์ด๊ฒ์ด cuDNN์ ์ ๊ทธ๋ ์ด๋ํ๋ ์๋๊ฐ ๊ฐ์ฅ ๋น ๋ฅผ ๊ฒ์ด๋ผ๊ณ ์๊ฐํฉ๋๋ค. ๋๋ 8.5์์ 9๊น์ง ์ฌ๊ธฐ์ ์์์ผ๋ฏ๋ก ์ ๋ชจ๋ฅด๊ฒ ์ต๋๋ค. ์กฐ๊ธ ๋ ๋น ๋ฅด๊ฒ ์งํํ๊ณ ์ถ์ง๋ง ์ด๊ฒ์ CUDA 8 ์ค์ ์ ๊ฐ์ง ์ฌ๋์ด CUDA 9๋ก ์ ๊ทธ๋ ์ด๋ํด์ผ ํ ๋ฟ๋ง ์๋๋ผ ์ฅ์น ๋๋ผ์ด๋ฒ๋ 384.x๋ก ์ ๊ทธ๋ ์ด๋ํด์ผ ํ๋ค๋ ๊ฒ์ ์๋ฏธํฉ๋๋ค. ๊ฐ๋ณ๊ฒ.
์ด์์ ์ผ๋ก๋ ๋ฌดํ(๋๋ ๋ช ๊ฐ๋ง ๋ ์์ผ๋ฉด ๋งคํธ๋ฆญ์ค๊ฐ ๋น ๋ฅด๊ฒ ํญ๋ฐํจ) ๋น๋๊ฐ ์์ง๋ง ์ค๋ช ํ๋ ๋ฐ ์ค๋ ์๊ฐ์ด ๊ฑธ๋ฆฌ๊ณ ๋ง์ ์ฌ๋๋ค์ด ๊ด์ฌ์ ๊ฐ๋ ๋ ๋ค๋ฅธ ๋ฌธ์ ์ ๋๋ค.
@yaroslavvb ์์งํ ๋งํด์ ์ฐ๋ฆฌ๋ ๋ช ๊ฐ์ง FP16 ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ๋ ธ๋ ฅํ๊ณ ์์ต๋๋ค. tf_cnn_benchmarks์ FP16์ ๋ํ ๊ฒฝ๋ก๊ฐ ์์ผ๋ฉฐ ResNet50์ ๋จผ์ ์ด์ ์ ๋ง์ถ๊ณ FP16์ ๋ํ Auto scaling๋ ์์ ์ค์ ๋๋ค. ๊ด์ฌ์ด ์์ผ์๋ฉด ์๋ํด ๋ณผ ์ ์์ง๋ง ๋ช ๊ฐ์ง ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ์ ๊ทน์ ์ผ๋ก ๋ ธ๋ ฅํ๊ณ ์์ต๋๋ค. ์ฌ๋๋ค์ด ๊ทธ ์ผ์ ํ๊ณ ์๊ณ ์๊ฐ์ด ๊ฑธ๋ฆด ๋ฟ์ ๋๋ค. ๋ง์นจ๋ด DGX-1์ด ์ฌ๋ด์ ์์ผ๋ฏ๋ก ๋์ผํ ์ปจํ ์ด๋๋ก ํ๋ ์ดํ๊ณ ์ ํํ ํ๋ซํผ์์ ์์ผ๋ก์ ์ฑ๋ฅ์ ์ถ์ ํ ์ ์์ต๋๋ค.
์ข์, ์ฐ๋ถํฌ 17.10์ ์ค์นํ๋ ค๊ณ ํ๊ณ ์ฌ๋ฏธ๋ฅผ ์ํด ๋ชจ๋ ์ต์ ํญ๋ชฉ์ ์๋ํ๊ณ ์ถ์์ต๋๋ค.
๋ด๊ฐ ํ๊ธฐ ์ ์ ๋๋ ๋๊ตฐ๊ฐ๊ฐ ์์ค์์ ์๋ ์คํ ๋น๋๋ฅผ ์๋ํ๊ณ ํ์ด์ ์ป์๋์ง ์๊ณ ์ถ์์ต๋๋ค.
-> ์ฐ๋ถํฌ 17.10, CUDA 9.0, cuDNN 7.0, TF ๋ง์คํฐ
-> ์ฐ๋ถํฌ 17.10, CUDA 8.0, cnDNN 6.1, TF 1.4
ํนํ Python 3.6.3, VS 2017, CUDA 9, cuDNN 7์ ์ฌ์ฉํ์ฌ @xsr-ai์ ๋์ผํ ๋ฌธ์ ๊ฐ ๋ฐ์ํ์ต๋๋ค.
@aluo-x Windows 10์์ ์๋ํ๋ค๋ ๋ป์ ๋๊น? VS 2017์ ๋งํ๊ธฐ ๋๋ฌธ์ ๊ฐ์ ํฉ๋๋ค.
๋ค, ๋ง์ต๋๋ค. ๋ค์์ ํน์ ์ค๋ฅ์ ๋๋ค.
CustomBuild:
Building NVCC (Device) object CMakeFiles/tf_core_gpu_kernels.dir/__/__/core/kernels/Release/tf_core_gpu_kernels_generated_adjust_contrast_op_gpu.cu.cc.obj
CMake Error at tf_core_gpu_kernels_generated_adjust_contrast_op_gpu.cu.cc.obj.Release.cmake:222 (message):
Error generating
C:/optimae/tensorflow-1.4.0/tensorflow/contrib/cmake/build/CMakeFiles/tf_core_gpu_kernels.dir/__/__/core/kernels/Release/tf_core_gpu_kernels_generated_adjust_contrast_op_gpu.cu.cc.obj
C:\Program Files (x86)\Microsoft Visual Studio\2017\BuildTools\Common7\IDE\VC\VCTargets\Microsoft.CppCommon.targets(171,5): error MSB6006: "cmd.exe" exited with code 1. [C:\optimae\tensorflow-1.4.0\
tensorflow\contrib\cmake\build\tf_core_gpu_kernels.vcxproj]
@aluo-x ์ต์ c-make๋ฅผ ์ฌ์ฉํ์ จ๋์? ์ฆ ๋ฆด๋ฆฌ์ค ํ๋ณด ๋๋ ์์ ์ ์ธ ๋ฆด๋ฆฌ์ค?
cmake 3.9.5, swig 3.0.12, CUDA 9.0.176, cuDNN 7.0.3 ์ฌ์ฉ. VS 2017 19.11.25547.
@aluo-x ๋๋ c-make์ ์ด์ด ๋ณ๋ก ์์๋ค. ํ์ง๋ง Bazel๋ก ๋น๋๋ฅผ ์๋ํ ์ ์์ต๋๊น?
@smitshilu ์ ๊ฐ https://github.com/pytorch/pytorch/issues/2692
๋ฌธ์ ๊ฐ ์๋ ํ์ผ์์ ๋ชจ๋ __align__(sizeof(T))_์ ์ ๊ฑฐํ๋ ๋์ผํ ์๋ฃจ์
์ ์ ์ฉํด ๋ณด์์ต๋๋ค.
_tensorflow/core/kernels/concat_lib_gpu_impl.cu.cc_
_tensorflow/core/kernels/depthwise_conv_op_gpu.cu.cc_
_tensorflow/core/kernels/split_lib_gpu.cu.cc_
์ด๊ฒ์ด ๋ฌธ์ ๋ฅผ ์ผ์ผํค๋์ง ํ์คํ์ง ์์ง๋ง ์ง๊ธ๊น์ง๋ ์ ์๋ํ๋ ๊ฒ ๊ฐ์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ๋ด๊ฐ ์ดํดํ ๋ฐ์ ๋ฐ๋ฅด๋ฉด ๋ฐํ์์ ํญ์ ๊ณต์ ๋ฉ๋ชจ๋ฆฌ์ ๋ํด 16์ ๊ณ ์ ์ ๋ ฌ์ ์ฌ์ฉํฉ๋๋ค.
๊ด์ฌ ์๋ ๋ถ๋ค์ ์ํด CUDA 9 ํ ์ ์ ๋ก๋ํ์ต๋๋ค. ์์ ์ ๊ตฌ์ถ ํ ํ์๊ฐ ์์ต๋๋ค! https://github.com/mind/wheels/releases/tag/tf1.4-gpu-cuda9
Ubuntu 17.10, CUDA 9, CuDNN 7, Python 3.6, bazel 0.7.0 + ์์ค(๋ง์คํฐ)์ TF.
์ด ๋ต๋ณ์ ์ง์นจ์ ๋ฐ๋ผ CUDA๋ฅผ ์์ํ๊ณ ์คํํ์ญ์์ค.
https://askubuntu.com/questions/967332/how-can-i-install-cuda-9-on-ubuntu-17-10
64๋นํธ ๋ฒ์ ๋์ ๋ค์ ๋ช ๋ น์ ์ฌ์ฉํ ์ ์์ต๋๋ค.
sudo ln -s /usr/bin/gcc-6 /usr/local/cuda-9.0/bin/gcc
sudo ln -s /usr/bin/g++-6 /usr/local/cuda-9.0/bin/g++
sudo ./cuda_9.0.176_384.81_linux-run --override
Tensorflow๋ฅผ ์ค์นํ๋ ค๋ฉด ๋ค์์ด ํ์ํฉ๋๋ค.
export PATH=/usr/local/cuda-9.0/bin:${PATH}
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/usr/local/cuda-9.0/lib64
sudo update-alternatives --remove-all g++
sudo update-alternatives --remove-all gcc
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-6 10
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-6 10
bazel build --config=opt --config=cuda --cxxopt="-D_GLIBCXX_USE_CXX11_ABI=0" //tensorflow/tools/pip_package:build_pip_package
@alexbrad CUDA 9, cuDNN 7์ ์ฌ์ฉํ๋ Mac GPU์ฉ์ผ๋ก ๋์ผํ ๋ฌธ์ ๊ฐ ๋ฐ์ํ์ต๋๋ค. ์ด ์๋ฃจ์
์ ์ ์๊ฒ๋ ํจ๊ณผ๊ฐ ์์๊ณ ์ง๊ธ๊น์ง TF๋ฅผ ์ฌ์ฉํ๋ ๋ฐ ๋ฌธ์ ๊ฐ ๋ฐ์ํ์ง ์์์ต๋๋ค.
์์ค ๋ณ๊ฒฝ ๋ฐ ํ : https://github.com/nathanielatom/tensorflow/releases/tag/v1.4.0-mac
Ubuntu 16.04, TensorFlow 1.4(CUDA 9.0 ๋ฐ cuDNN 7.0.3 ํฌํจ)๊ฐ ์ด๋ฏธ ์ค์น ๋ฐ ํ ์คํธ๋์์ต๋๋ค.
์์ค์์ Tensorflow 1.4 ์ค์น
cd ~/Downloads
git clone https://github.com/tensorflow/tensorflow
cd tensorflow
git checkout r1.4
./configure
๋ฐ์ ค ์ค์น
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update && sudo apt-get install oracle-java8-installer
echo "deb [arch=amd64] http://storage.googleapis.com/bazel-apt stable jdk1.8" | sudo tee /etc/apt/sources.list.d/bazel.list
curl https://bazel.build/bazel-release.pub.gpg | sudo apt-key add -
sudo apt-get update && sudo apt-get install bazel
sudo /sbin/ldconfig -v
TensorFlow ๋น๋
bazel build --config=opt --config=cuda //tensorflow/tools/pip_package:build_pip_package --cxxopt="-D_GLIBCXX_USE_CXX11_ABI=0
bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
pip install /tmp/tensorflow_pkg/tensorflow-1.4.0-cp36-cp36m-linux_x86_64.whl
์์ tensorflow ํ ํ์ผ์ ์ด๋ฆ์ ๋ค๋ฅผ ์ ์์ต๋๋ค.
ํ์ธํ๋ ค๋ฉด ls /tmp/tensorflow_pkg
์์ผ๋ฉด ๋ฉ๋๋ค.
Mac 10.13, CUDA 9 ๋ฐ tensorflow 1.4์ฉ ์ค์น ๋จ๊ณ https://gist.github.com/smitshilu/53cf9ff0fd6cdb64cca69a7e2827ed0f
๋๊ตฐ๊ฐ bazel์ ์ฌ์ฉํ์ฌ Linux(Ubuntu 16.04)์ Windows์ฉ ์์ค์์ tensorflow whl ํจํค์ง๋ฅผ ์ด๋ป๊ฒ ๋น๋ํ ์ ์๋์ง ๋งํด ์ค ์ ์์ต๋๊น? ๋ด๊ฐ ๋ง๋ค๋ฉด ๋ฒ์ 1.2์์ ๊ฐ๋ฅํ์ต๋๋ค. ๊ฐ์ฌ ํด์.
@ValeryPiashchynski ๋ค์ ๋จ๊ณ๋ฅผ ๋ฐ๋ฅผ ์ ์์ต๋๋ค https://www.tensorflow.org/install/install_sources
@smitshilu ๋ต๋ณ ๊ฐ์ฌํฉ๋๋ค. ์ด ๋จ๊ณ์ ๋ฐ๋ผ Ubuntu์์ ํ ํจํค์ง๋ฅผ ๋น๋ํ ์ ์์ผ๋ฉฐ ๋ชจ๋ Ubuntu์์ ์ ์๋ํฉ๋๋ค. ๊ทธ๋ฌ๋ Windows OS์ ํด๋น whl ํจํค์ง๋ฅผ ์ค์นํ ์ ์์ต๋๋ค(์ค๋ฅ๊ฐ ์์ต๋๋ค: ์ง์๋์ง ์๋ ํ ). ๊ทธ๋์ ๋ด ์ง๋ฌธ์ Ubuntu์์ ํจํค์ง๋ฅผ ๋น๋ํ ๋ค์ Windows์ ์ค์นํ ์ ์๋ ๋ฐฉ๋ฒ์ ๋๋ค.
~ @ValeryPiashchynski ๊ทธ๊ฑด ๋ถ๊ฐ๋ฅํ๋ค๊ณ ์๊ฐํฉ๋๋ค.~
(์๋ ์๊ฒฌ์ด ๋ฌ๋ฆฌ ์ ์ํ๋ ๋๋ก ๊บผ๋ด๊ธฐ)
Windows์ฉ Ubuntu์์ ํฌ๋ก์ค ๋น๋๋ ์ธ์ ๊ฐ clang์ ํตํด ๊ฐ๋ฅํด์ผ ํฉ๋๋ค. Windows ๋ฐ์ด๋๋ฆฌ๊ฐ ํ์ฌ MSVC๋ก ๊ตฌ์ถ๋์ด ์๊ธฐ ๋๋ฌธ์ ๋ง์ ์์ ์ด ํ์ํ ๊ฒ์ ๋๋ค. ์ง๋ ์์์ผ @gunan ๊ณผ ์ง์ ๋ํํ ๋๋ ๊ธฐ๋ณธ์ ์ผ๋ก ๊ฐ์ ์ง๋ฌธ์
bazel์์๋ ํฌ๋ก์ค ์ปดํ์ผ์ด ๊ฐ๋ฅํ์ง๋ง tensorflow์์ ์ด๋ป๊ฒ ํด์ผํ ์ง ๋ชจ๋ฅด๊ฒ ์ต๋๋ค. ์ฐธ๊ณ ๋ก
https://github.com/bazelbuild/bazel/wiki/Building-with-a-custom-toolchain
https://github.com/bazelbuild/bazel/issues/1353
์ฌ๊ธฐ์ ๊ฒ์๋ tensorflow 1.5 ์ผ๊ฐ ๋น๋(win10 ๋น๋)์ CUDA9+CuDNN7 ์ง์์ด ์๋์ง ์๋ ์ฌ๋์ด ์์ต๋๊น?
https://pypi.python.org/pypi/tf-nightly-gpu/1.5.0.dev20171115
์ฐธ๊ณ ๋ก ์ด ํฐ์ผ๊ณผ #14126์ "TF 1.5๋ก ๋ฐ๋งค๋๋ค"๊ณ ํด์ ํฐ์ผ์ ๋๋ ๊ฒ์ ์ ์ ์ผ๋ก ๋ฌด์ฑ ์ํฉ๋๋ค. MXNET 0.12์๋ ์ด๋ฏธ CUDA9 FP16์ด ํ๋ก๋์ ํ๊ฒฝ์ ์์ต๋๋ค. Tensorflow์ CNTK๋ ์๋๋ฌ์ผ ํฉ๋๋ค. ๋ณผํ์๊ฒ๋ง ์ ์ตํ ๊ฒ์ ์๋๋๋ค.
์์ง๊น์ง๋ CUDA 9์ฉ ๋น๋ ์ธํ๋ผ๋ฅผ ์
๊ทธ๋ ์ด๋ํ๊ธฐ ์ํด ๋
ธ๋ ฅํ๊ณ ์์ต๋๋ค.
์ด๋ฒ ์ฃผ๊ฐ ๋๋๊ธฐ ์ ์ CUDA 9์ ํจ๊ป pip ํจํค์ง๋ฅผ ๋ง๋๋ ๊ฒ์ ๋ชฉํ๋ก ํ๊ณ ์์ต๋๋ค.
๋๋ ๋ ๋์ ์ปดํจํฐ๋ฅผ ๊ฐ์ง๊ณ ์์ผ๋ฉฐ ์ด์ 1080ti๋ฅผ ์ค์นํ๊ณ ๋ชจ๋ ๊ฒ(cuda8 ๋ฐ cudnn6) ์ ๊ทธ๋ํฝ ๋๋ผ์ด๋ฒ, Visual Studio 2015๋ฅผ ์ค์นํ์ต๋๋ค.
๋๋ Epoch 1080ti์ 980ti์ ์๊ฐ์ ๋น๊ตํฉ๋๋ค.
๊ทธ๋ฆฌ๊ณ 1080ti๋ ๊ฐ ์ํฌํฌ๋ฅผ 22๋ถ ๋ง์ ์คํํ์ง๋ง 980ti๋ 13๋ถ ๋ง์ ์คํํ๋ ๊ฒ์ ๋ณผ ์ ์์ต๋๋ค !!!(1080์ ๊ฒฝ์ฐ ๋ฐฐ์น=60 ๋ 980ti์ ๊ฒฝ์ฐ ๋ฐฐ์น=20)
1080ti๊ฐ 980ti๋ณด๋ค ๋๋ฆฐ ์ด์ !!!! ๊ทธ๋ฆฌ๊ณ ๋ฌด์์ด ์๋ชป๋์๋์ง ์ด๋ป๊ฒ ํ์ธํ ์ ์์ต๋๊น?!
1080Ti์ 20๋ฐฐ์น๋ฅผ ์ฌ์ฉํ๋ค๋ฉด ์คํ์๊ฐ์ ์ด๋ป๊ฒ ๋๋์?
@gunan , ์ด์ ๋ํ ์๋ก์ด ETA๊ฐ ์๋์ง ๊ถ๊ธํ์ญ๋๊น?
@smitshilu
1080ti์์ 20๊ฐ ๋ฐฐ์น = 26๋ถ
60batch = 19min
980gtx์์ ๋ฐฐ์น 20 = 14๋ถ !!!!
๋๋ Windows๋ฅผ ์ฌ์ฉํ๊ณ cuda 8 ๋ฐ cudnn 6์ผ๋ก ๋ง์ง๋ง ๋ฒ์ ์ ๋๋ผ์ด๋ฒ๋ฅผ ์ค์นํฉ๋๋ค.
980๋ณด๋ค ๋๋ฆฌ๊ฒ ์คํ๋๋ ์ด์ ๋ฅผ ์ด๋ป๊ฒ ์ ์ ์์ต๋๊น?
@nasergh SLI์ GTX 1080ti์ 980ti๊ฐ ์์ต๋๊น?
@vickylance
์๋์
๋ ๊ฐ์ ๋ค๋ฅธ ์ปดํจํฐ!
๋ ๋ค cori7 ๋ฐ 1TB ํ๋ ๋์คํฌ์ด๋ฉฐ 1TB sata HDD์์ ๋ฐ์ดํฐ ์ด๋ฏธ์ง๋ฅผ ๋ก๋ํฉ๋๋ค.
ํ์ง๋ง 980๋
์๋ SSD ํ๋ ๋์คํฌ์ Windows๊ฐ ์์ต๋๋ค.
๋๋ ๋ง์ง๋ง์ผ๋ก ๋ค๋ฅธ ๋ฒ์ ์ ๋๋ผ์ด๋ฒ๋ฅผ ์๋ํ๊ณ CUDA 8 ๋ฐ cudnn 6์ ์ฌ์ฉํ์ฌ asus ์น ์ฌ์ดํธ์์ ๋ค์ด๋ก๋ํ 388.13์ ํ์ธํฉ๋๋ค.
๋๋ ์ด๊ฒ ์ค ์ด๋ ๊ฒ์ด ์ด์ ์ธ์ง ๋ชจ๋ฅด๊ฒ ๋ค.
1- ์ฐฝ! ์๋ง๋ ๋ฆฌ๋
์ค์์ ๋ ์ ์๋ ํ ๊ฒ์
๋๋ค.
2- HDD ์๋
3- ๊ฐ์ง 1080TI
4- CUDA ๋ฐ cudnn์ 1080ti์ ํธํ๋์ง ์์ต๋๋ค.
5- CPU(1080TI ์ปดํจํฐ์ CPU๋ 980๋ณด๋ค ๊ฐ๋ ฅํจ)
๋น์ ์ ๋ฌด์์ ์ ์ํฉ๋๊น?
@nasergh
1) ๋จ์ ๊ฐ์๊ฐ์? ๊ทธ๋ ๋ค๋ฉด. ๊ทธ๊ฒ์ด ๊ทธ๋ ๊ฒ ๋ง์ ์ํฅ์ ๋ฏธ์น ์ง๋ ๋ชจ๋ฅด๊ฒ ์ง๋ง RAM์ MHz๋ ๋ ์์คํ
์์ ๋์ผํ์ง ํ์ธํ์ญ์์ค.
2) 980ti ๋ฐ 1080ti์์ ์คํ ์ GPU ์ฌ์ฉ๋ฅ (%)์ ํ์ธํฉ๋๋ค. GPU ์ฌ์ฉ๋ฅ ์ ํ์ธํ๋ ค๋ฉด ์ด ๋๊ตฌ๋ฅผ ์ฌ์ฉํ์ญ์์ค. https://docs.microsoft.com/en-us/sysinternals/downloads/process-explorer ๋ ๋์ ๊ฒ๋ค์ด ์์ง๋ง ์ด๊ฒ์ด ๋ด ๋จธ๋ฆฌ ์์ ๋ ์ค๋ฅธ ๊ฒ์
๋๋ค.
3) ์ต์์ ์ฑ๋ฅ์ ์ป์ผ๋ ค๋ฉด Ubuntu16.04๋ฅผ 1080ti ์์คํ
์ ์ด์ค ๋ถํ
์ผ๋ก ์ค์นํ๊ณ CUDA 9.0 ๋ฐ cuDNN 7.0์ ์ฌ์ฉํ๋ ๊ฒ์ด ์ข์ต๋๋ค.
4) ๋ํ Windows๋ ์์ฒด์ ์ผ๋ก ๋ง์ ์์คํ
๋ฆฌ์์ค๋ฅผ ์ฐจ์งํ๋ฏ๋ก SSD์์ ์คํํ๋ฉด ํ์คํ ์ ๋ฆฌํ์ง๋ง ํ
์คํธ ์๋๋ฆฌ์ค์์ ๋ณผ ์ ์๋ ์ ๋๋ ์๋๋๋ค.
์ ํํ ๋ณด๋ ์ํคํ
์ฒ์ผ ์๋ ์์ต๋๋ค.
TF๋ ๊ธฐ๋ณธ์ ์ผ๋ก 3.0, 3.5 ๋ฐ 5.2์ ๋ํด ๊ตฌ์ฑ๋ฉ๋๋ค. https://en.wikipedia.org/wiki/CUDA#GPUs_supported ์ ๋ฐ๋ฅด๋ฉด 1080TI๋ 6.1(Pascal)์ด๊ณ 980์ 5.2(Maxwell)
3.0 ๋๋ 5.2๋ก ๋ค์ด๊ทธ๋ ์ด๋ํ๋ ๊ฒ์ด 1080TI์์๋ ํจ์จ์ ์ด์ง ์์ง๋ง 980์๋ ๊ธฐ๋ณธ์ ์ผ๋ก ์ ์ฉ๋์ง ์์ต๋๊น?
5.2 ๋ฐ 6.1 ๊ธฐ๋ฅ์ ๋ชจ๋ ์ฌ์ฉํ์ฌ ์ปดํจํ
์ ์๋ํฉ๋๋ค(CMakeLists.txt l.232 ๋ฐ l.246 ์ฐธ์กฐ).
De : nasergh [mailto:[email protected]]
Envoyรฉ : mercredi 2017๋
11์ 22์ผ 17:17
ร : ํ
์ํ๋ก์ฐ/ํ
์ํ๋ก์ฐ
Cc : ์ค๋ฑ
๋ถ๋ด; ์ค๋ช
์
Objet : Re: [tensorflow/tensorflow] CuDNN 7 ๋ฐ CUDA 9๋ก ์
๊ทธ๋ ์ด๋(#12052)
@vickylance
์๋์
๋ ๊ฐ์ ๋ค๋ฅธ ์ปดํจํฐ!
๋ ๋ค cori7 ๋ฐ 1TB ํ๋ ๋์คํฌ์ด๋ฉฐ 1TB sata HDD์์ ๋ฐ์ดํฐ ์ด๋ฏธ์ง๋ฅผ ๋ก๋ํฉ๋๋ค.
ํ์ง๋ง 980๋
์๋ SSD ํ๋ ๋์คํฌ์ Windows๊ฐ ์์ต๋๋ค.
๋๋ ๋ง์ง๋ง์ผ๋ก ๋ค๋ฅธ ๋ฒ์ ์ ๋๋ผ์ด๋ฒ๋ฅผ ์๋ํ๊ณ CUDA 8 ๋ฐ cudnn 6์ ์ฌ์ฉํ์ฌ asus ์น ์ฌ์ดํธ์์ ๋ค์ด๋ก๋ํ 388.13์ ํ์ธํฉ๋๋ค.
๋๋ ์ด๊ฒ ์ค ์ด๋ ๊ฒ์ด ์ด์ ์ธ์ง ๋ชจ๋ฅด๊ฒ ๋ค.
1- ์ฐฝ! ์๋ง๋ ๋ฆฌ๋
์ค์์ ๋ ์ ์๋ ํ ๊ฒ์
๋๋ค.
2- HDD ์๋
3- ๊ฐ์ง 1080TI
4- CUDA ๋ฐ cudnn์ 1080ti์ ํธํ๋์ง ์์ต๋๋ค.
๋น์ ์ ๋ฌด์์ ์ ์ํฉ๋๊น?
โ
์ด ์ค๋ ๋์ ๊ฐ์
ํ๊ธฐ ๋๋ฌธ์ ์ด ๋ฉ์์ง๋ฅผ ๋ฐ๊ณ ์์ต๋๋ค.
์ด ์ด๋ฉ์ผ์ ์ง์ ๋ต์ฅํ๊ฑฐ๋ GitHub์์ ๋ณด๊ฑฐ๋ ์ค๋ ๋๋ฅผ ์์๊ฑฐํ์ธ์.
ํ๊ฒฝ: cuda9.0+cudnn7.0+tf1.4๏ผ๊ทธ๋ฆฌ๊ณ "ptb" ์์ ๋ฅผ ์คํํ ๋ ์ค๋ฅ๊ฐ ๋ฐ์ํ์ต๋๋ค. TypeError: __init__()์ ์๊ธฐ์น ์์ ํค์๋ ์ธ์ 'input_size'๊ฐ ์์ต๋๋ค. 'input_size'๋ CudnnLSTM
์ด ์ค๋ ๋๋ฅผ ๋ช ๋ฌ ๋์ ๋ณธ ํ Gentoo Linux์์ ์๋ํด ๋ณผ ๊ฒ์ ๋๋ค.
๋๋ ์์์ค ์คํธ๋ฆญ์ค 1080TI๋ฅผ ๊ฐ์ง๊ณ ์๋ค
1- ์ฐ๋ถํ ์์ nvidia ์น์ฌ์ดํธ์์ ๋๋ผ์ด๋ฒ๋ฅผ ์ฌ์ฉํ ์ ์๊ฑฐ๋ asus์์ ๋ค์ด๋ก๋ํด์ผ ํฉ๋๋ค(asus ์น์ฌ์ดํธ์์ Linux์ฉ ๋๋ผ์ด๋ฒ๋ฅผ ๋ณผ ์ ์๊ธฐ ๋๋ฌธ์)
2- ๋ง์ง๋ง ๋ฒ์ ์ ๊ด์ฐฎ์ต๋๋ค. ์๋๋ฉด ๋๋ถ๋ถ์ ๋๊ธ์์ 378.13์ ์ฌ์ฉํ๋ค๊ณ ๋ณด์๊ธฐ ๋๋ฌธ์ 378.13์ ์ค์นํด์ผ ํฉ๋๊น?
๊ฐ์ฌ ํด์
Windows ์ฌ์ฉ์์ ๊ฒฝ์ฐ AVX๋ฅผ ์ง์ํ๋ CUDA 8.0.61.2, cuDNN 7.0.4, Python 3.6.3์ ๋ํด ๋น๋๋ TF 1.4.0 ์ ๋ด repo์ ์ ๋ก๋ํ์ต๋๋ค . Windows์์ CUDA 9๊ฐ ์ ๋ฆฌ๋ ๋๊น์ง ์ด๊ฒ์ด ์ถฉ๋ถํ๊ธฐ๋ฅผ ๋ฐ๋๋๋ค.
์ฐ๋ถํฌ 16.04 ๋ฐ python 3.6์ CUDA9 ๋ฐ cudnn 7์ ์ค์นํ๋ ค๊ณ ํฉ๋๋ค.
ํ์ง๋ง ๋๋ ์คํจํฉ๋๋ค :(
๋๋ ๋ชจ๋ ๊ฒ์ ์๋ํ๊ณ ๋ชจ๋ ๊ณณ์์ ๊ฒ์ํ์ง๋ง ์ฌ์ ํ ๋์ผํ ์ค๋ฅ๋ฅผ ์ ๊ณตํฉ๋๋ค. "importError: libcublas.so.8.0 can not open shared object file: no such file or directory
ํ
์๊ฐ CUDA8์ ์คํํ๊ณ ์ถ์ดํ๋ค๊ณ ์๊ฐํฉ๋๋ค.
๊ทธ์๊ฒ cuda9๋ฅผ ์ฌ์ฉํ๋ผ๊ณ ์ด๋ป๊ฒ ๋งํ ์ ์์ต๋๊น?!!!! ๋ต๋ณ์ด ์์ค์์ ์คํ๋๋ ๊ฒฝ์ฐ ์ ํํ ์ด๋ป๊ฒ ๋ฉ๋๊น? ์์ค์์ ๋น๋์ ๋ํ ๋งค์ฐ ๋ช
ํํ ์น ์ฌ์ดํธ๋ฅผ ๋ณด์ง ๋ชปํ์ต๋๋ค.
๊ฐ์ฌ ํด์
source@nasergh ์์ tf๋ฅผ ์ค์นํด์ผ ํฉ๋๋ค.
@withme6696
์์ค์์ ์ด๋ป๊ฒ ์ค์นํ ์ ์์ต๋๊น?
๋ด๊ฐ ์ด๊ฒ ์ค ํ๋๋ฅผ ๋ค์ด๋ก๋ํ ์ ์๋ค๋ ๊ฒ์ ์์
https://github.com/mind/wheels/releases
ํ์ง๋ง ์ด๋ค ๊ฒ์ ๋ค์ด๋ก๋ํ๊ณ ์ด๋ป๊ฒ ์ค์นํ๋์ง ๋ชจ๋ฅด๊ฒ ์ต๋๋ค!?
@nasergh ์ค์น ๋ฐฉ๋ฒ์ README ๋ฅผ ํ์ธํ์ธ์. MKL ์ค์น์ ์ ๊ฒฝ ์ฐ์ง ์๋๋ค๋ฉด ๋ค์์ ์ํํ ์ ์์ต๋๋ค.
pip --no-cache-dir install https://github.com/mind/wheels/releases/download/tf1.4-gpu-cuda9-37/tensorflow-1.4.0-cp36-cp36m-linux_x86_64.whl
MKL์ ์ค์นํ์ง ์์ผ๋ ค๋ฉด ๋ค์์ ์ํํ ์ ์์ต๋๋ค.
pip --no-cache-dir install https://github.com/mind/wheels/releases/download/tf1.4-gpu-cuda9-nomkl/tensorflow-1.4.0-cp36-cp36m-linux_x86_64.whl
์ด ๋ฌธ์ ๋ฅผ CUDA 9 ์ง์์ ๋ํ ์ถ์ ๋ฌธ์ ๋ก ์ฌ์ฉํ๊ฒ ์ต๋๋ค.
ํ์ฌ ๋ ๊ฐ์ง ์ฐจ๋จ๊ธฐ๊ฐ ์์ต๋๋ค.
1 - https://github.com/tensorflow/tensorflow/pull/14770
2 - Windows์์ NVCC์ ๋ฒ๊ทธ๊ฐ ์๋ ๊ฒ ๊ฐ์ต๋๋ค. CUDA9๋ก TF๋ฅผ ๋น๋ํ๋ฉด ์ปดํ์ผ๋ฌ ์ถฉ๋๋ก ์ธํด ์คํจํ ๊ฒ ๊ฐ์ต๋๋ค. NVIDIA๋ ์ด์ ๋ํ ์กฐ์ฌ๋ฅผ ๋๊ณ ์์ผ๋ฉฐ ์
๋ฐ์ดํธ๊ฐ ์์ผ๋ฉด ๊ณ์ ์งํํ ๊ฒ์
๋๋ค.
@๋จ์นญ
๊ฐ์ฌ ํด์
1- MKL ์๋๊ฐ ์ผ๋ง๋ ํฅ์๋ฉ๋๊น?
2- MKL์ด ์๋ ๋ฒ์ ์์๋ MKL์ ์ค์นํด์ผ ํฉ๋๊น?!
1์ ๊ฒฝ์ฐ ์ด๊ฒ์ ์ฐธ์กฐํ์ญ์์ค. GPU์์ ์ํ๋๋ ๊ณ์ฐ์ ๋ถ๋ช ํ ์๋๊ฐ ํฅ์๋์ง ์์ต๋๋ค.
2๋ฅผ ์ํด, ๋น์ ์ํ์ง ์์ต๋๋ค. ์ฌ๋ฐ๋ฅธ ๋ฒ์ ์ ์ค์นํ๋์ง ํ์ธํ์ญ์์ค.
btw, ์ด๊ฒ์ ๋ง์ ๊ฐ์ ์๊ฐ ์๋ ์ค๋ ๋์ ๋๋ค. ํฅํ ํ ์ ๋ฌธ์ ๊ฐ ์๋ ๊ฒฝ์ฐ ์๋์ ๋๊ธ์ ๋ฌ์ง ๋ง๊ณ ์ ์ฅ์์์ ๋ฌธ์ ๋ฅผ ์ด์ด ๋ง์ ์ฌ๋๋ค์๊ฒ ์คํธ ๋ฉ์ผ์ ๋ณด๋ด์ง ์๋๋ก ํ์ญ์์ค.
@Tweakmind : ์ด ๋ถ๋ถ์ ์ ๋ฌํ ์ ์์ต๋๋ค.
TensorFlow ๋น๋
bazel ๋น๋ --config=opt --config=cuda //tensorflow/tools/pip_ ํจํค์ง:build_pip_package --cxxopt="-D_GLIBCXX_USE_CXX11_ABI=0
bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
pip ์ค์น /tmp/tensorflow_pkg/tensorflow-1.4.0-cp36-cp36m-linux_x86_64.whl
์ฒซ ๋ฒ์งธ ์ค์ด ๋ถ์์ ํ ๊ฒ ๊ฐ์ต๋๊น(ํฐ๋ฐ์ดํ ๋๋ฝ)? ์ด ์ธ ์ค์ ๋๊น ์๋๋ฉด ๋ ์ค์ ๋๊น?
@goodmangu ์ฌ๋ฐ๋ฅธ ์ฝ๋๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
bazel build --config=opt --config=cuda //tensorflow/tools/pip_package:build_pip_package --cxxopt="-D_GLIBCXX_USE_CXX11_ABI=0"
๋ช ๋ น์ ํฐ๋ฐ์ดํ๊ฐ ์์ต๋๋ค.
์ฌ๊ธฐ ์์ ์คํฌ๋ฆฝํธ๋ฅผ ์ฌ์ฉํ์ฌ ์ด ๋ถ๋ถ์ ์ง๋์ณค์ง๋ง https://github.com/tensorflow/tensorflow/issues/15108 ์์ ์ผ๋ถ cuda ์ปดํ์ผ๋ฌ ์ค๋ฅ๋ก ์ธํด ์ฐจ๋จ๋์์ต๋๋ค.
๊ณ ๋ง์ ์๋ค์. ๊ฐ์ฌํฉ๋๋ค. ๋์ ์ผ๊ฐ ๋น๋ Linux ๋ฐ์ด๋๋ฆฌ๋ฅผ ์ฌ์ฉํ์ฌ ๊ฐ์ ๋ ์๋ํ๊ฒ ํ์ต๋๋ค. ์ฐธ์กฐ: https://github.com/tensorflow/tensorflow
์ด์ Keras์ ํจ๊ป 3๊ฐ์ GTX 1080 Tis๋ฅผ ์คํํ๊ณ ์์ต๋๋ค. ๋ฉ์๋!
eGPU๊ฐ ํ์ฌ๋ MacBook Pro์ฉ ์์ค(r1.4)์์ Tensorflow๋ฅผ ๋น๋ํ๋ ๋ฐ ์ง๋ ์ดํ์ ๋ณด๋์ต๋๋ค. ๋๋ผ์ด๋ฒ ์๋, Cuda 8.0, cuDNN 6.0, Mac OSX Sierra 10.12. ๊ฑฐ์ ๋์ด ๋์ง๋ง 20๋ถ ํ ์ผ๋ถ ๋น๋ ์ค๋ฅ๋ก ์ธํด ์ฐจ๋จ๋์์ต๋๋ค. ์ง๊ธ๊น์ง ์ด์ด ์ข์๋ ์ฌ๋์ด ์์ต๋๊น? ๊ณต์ ํ ์ ์๋ ์ฑ๊ณต์ ์ผ๋ก ๋น๋๋ ํจํค์ง๊ฐ ์์ต๋๊น? ๋ฏธ๋ฆฌ ๊ฐ์ฌ๋๋ฆฝ๋๋ค.
@goodmangu ์ด๋ค "๋์ดํ๋ฆฌ ๋น๋ Linux ๋ฐ์ด๋๋ฆฌ"๋ฅผ ์ฌ์ฉํ๋์ง ์ง์ ํด ์ฃผ์๊ฒ ์ต๋๊น?
๋ฌผ๋ก ์ ๋๋ค. tf_nightly_gpu-1.head-cp27-none-linux_x86_64.whl
์ฌ์ ํ Cuda 9.0 + cuDNN 7.0์ ๋ํ Windows 10 ์ง์์ด ์์ต๋๊น? ํ์ธ ์ค์
๋๋ค.
ํ
์ํ๋ก์ฐ GPU 1.4.0
@goodmangu 1.4๋ก ์๋ํ์ง๋ง OSX 10.13 ๋ฐ CUDA 9 cuDNN 7์์ ์๋ํ์ต๋๋ค. ์ฌ๊ธฐ์์ ๋จ๊ณ๋ฅผ ์ฐพ์ ์ ์์ต๋๋ค
@ eeilon79 ๋ฐ์ด๋๋ฆฌ๋ฅผ ๋น๋ํ์ง ๋ชปํ๊ฒ ํ๋ Windows์ nvcc ๋ฒ๊ทธ๊ฐ ์์ต๋๋ค. ์ฐ๋ฆฌ๋ ์ด๋ฌํ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด nvidia์ ๋์์ ๋ฐ๊ณ ์์ต๋๋ค.
tf-nightly-gpu
pip ํจํค์ง์ Tensorflow Nightly ๋ฒ์ (1.5-dev)์ CUDA 9์ ๋ํ ์
๋ฐ์ดํธ๊ฐ ์์ต๋๊น? Keras์ CuDNNLSTM์ ์ด 1.5๋ฅผ ์ฌ์ฉํด์ผ ํฉ๋๋ค.
์๊ฒ ์ต๋๋ค. PR์ด ๋ณํฉ๋์์ต๋๋ค.
์ฝ 10-12์๊ฐ ์์ ์ฐ๋ฆฌ์ ์๋ก์ด nightlies๋ ์ฐฝ์ ์ ์ธํ๊ณ cuda9๋ก ๋น๋๋์ด์ผ ํฉ๋๋ค.
Windows์์๋ ์ฌ์ ํ NVCC ๋ฒ๊ทธ์ ์ํด ์ฐจ๋จ๋ฉ๋๋ค.
Gentoo ์์คํ ์ฉ ์ผ๋ฐ CUDA 9 ๋ฐ CUDANN 7 ํจํค์ง๋ฅผ ์๋ฃํ๊ณ ๋๋ฏธ ํ ์คํธ๋ฅผ ์๋ํ์ผ๋ฉฐ ํ์ด์ฌ์์ ๋๋ฏธ ๊ฐ์ ธ์ค๊ธฐ tensorflow๋ก tf๋ก ์์ ํ๋ ๊ฒ์ฒ๋ผ ๋ณด์ด์ง๋ง ์ถ๊ฐ ํ ์คํธ๋ฅผ ์ํํด์ผ ํฉ๋๋ค.
์ปค๋ฐ์ ์ฌ์ฉํ๊ณ ์์ต๋๋ค. c9568f1ee51a265db4c5f017baf722b9ea5ecfbb
Windows์์๋ ์ฌ์ ํ NVCC ๋ฒ๊ทธ์ ์ํด ์ฐจ๋จ๋ฉ๋๋ค.
ํด๋น ๋ฌธ์ ์ ๋ํ ๋งํฌ๋ฅผ ์ฌ๊ธฐ์ ๊ฒ์ํด ์ฃผ์๊ฒ ์ต๋๊น? ๋ฏธ๋ฆฌ ๊ฐ์ฌ๋๋ฆฝ๋๋ค!
@smitshilu ๋น์ ์ ๊ธฐ์ฌ๊ฐ ์ ๋ฅผ ๋์์ต๋๋ค.
๊ทธ๋ฆฌ๊ณ ๋ช ๊ฐ์ง ์์๊ฐ ์ถ๊ฐ๋ ๊ธฐ์ฌ๋ฅผ ์์ฑํ์ต๋๋ค.
https://github.com/masasys/MacTF1.4GPU
@arbynacosta
๋ ๋ฌ๋ฆฐ๋ค
bazel ๋น๋ --config=opt --config=cuda //tensorflow/tools/pip_ ํจํค์ง:build_pip_package --cxxopt="-D_GLIBCXX_USE_CXX11_ABI=0"
ํ์ง๋ง ๋๋์ด ์ค๋ฅ๊ฐ ๋ฐ์
์ค๋ฅ: ๋น๋ ๋ช
๋ น์ ์์
๊ณต๊ฐ ๋ด์์๋ง ์ง์๋ฉ๋๋ค.
๋๋ ๋ํ ์ผ๊ฐ์ ํ
์๋ฅผ ์๋ํ์ง๋ง ์ค๋ฅ๊ฐ ๋ฐ์ํฉ๋๋ค.
attributeerror: 'tensorflow' ๋ชจ๋์ ์์ฑ์ด ์์ต๋๋ค....
dir(tf)์ ์ถ๋ ฅ
['__doc__', '__loader__', '__name__', __package__' '__path__ __spec__]
์ฃ์กํฉ๋๋ค @goodmangu , ์ ๊ฐ โโ์๋ฆฌ๋ฅผ ๋น @arbynacosta๊ฐ ์ง์ ํ ๋๋ก ๋ซ๋ ํฐ ๋ฐ์ดํ๋ฅผ
@nasergh , ๋ณต์ ๋ tensorflow ๋๋ ํ ๋ฆฌ ๋ด๋ถ์์ ํด๋น ๋ช ๋ น์ ์คํํ๊ณ ์์ต๋๊น? ๋๋ ํ ๋ฆฌ์ WORKSPACE๊ฐ ์๋์ง ํ์ธํ์ญ์์ค.
์๋ฅผ ๋ค์ด:
~/Downloads/tensorflow$ ls
ACKNOWLEDGMENTS bazel-bin bazel-testlogs configure LICENSE tensorflow WORKSPACE
ADOPTERS.md bazel-genfiles BUILD configure.py models.BUILD third_party
arm_compiler.BUILD bazel-out CODE_OF_CONDUCT.md CONTRIBUTING.md README.md tools
AUTHORS bazel-tensorflow CODEOWNERS ISSUE_TEMPLATE.md RELEASE.md util
@ํธ์
๋ง์ธ๋
๋๋ ๋ช
๋ น์ ์คํ
์๋ ์
๊ทธ๋ฐ ๋ค์ tensorflow ํด๋๋ก ์ด๋ํฉ๋๋ค(๊ฑฐ๊ธฐ์ ์์
๊ณต๊ฐ ํ์ผ์ด ์์).
ํ์ง๋ง ๋๋์ด ์ค๋ฅ๊ฐ ๋ฐ์
root<strong i="10">@pc</strong>:/home/pc2/tensorflow# bazel build --config=opt --config=cuda //tensorflow/tools/pip_package:build_pip_package --cxxopt="-D_GLIBCXX_USE_CXX11_ABI=0"
..........
WARNING: Config values are not defined in any .rc file: opt
ERROR: /root/.cache/bazel/_bazel_root/cccfa03cbaf937d443248403ec70306e/external/local_config_cuda/crosstool/BUILD:4:1: Traceback (most recent call last):
File "/root/.cache/bazel/_bazel_root/cccfa03cbaf937d443248403ec70306e/external/local_config_cuda/crosstool/BUILD", line 4
error_gpu_disabled()
File "/root/.cache/bazel/_bazel_root/cccfa03cbaf937d443248403ec70306e/external/local_config_cuda/crosstool/error_gpu_disabled.bzl", line 3, in error_gpu_disabled
fail("ERROR: Building with --config=c...")
ERROR: Building with --config=cuda but TensorFlow is not configured to build with GPU support. Please re-run ./configure and enter 'Y' at the prompt to build with GPU support.
ERROR: no such target '@local_config_cuda//crosstool:toolchain': target 'toolchain' not declared in package 'crosstool' defined by /root/.cache/bazel/_bazel_root/cccfa03cbaf937d443248403ec70306e/external/local_config_cuda/crosstool/BUILD
INFO: Elapsed time: 6.830s
FAILED: Build did NOT complete successfully (2 packages loaded)
currently loading: @bazel_tools//tools/jdk
@nasergh ์ฌ๊ธฐ์ ์๋ ๋ชจ๋ ์ง์นจ์ ๋ฐ๋ฅด์ญ์์ค.
https://www.tensorflow.org/install/install_sources
GPU ์ง์์ผ๋ก ๋น๋ํ๋ ๊ฒฝ์ฐ ์ ์ ํ๊ฒ ๊ตฌ์ฑํ๊ณ ์๋์ง ํ์ธํ์ญ์์ค.
cd $HOME/Downloads
git clone https://github.com/tensorflow/tensorflow
cd tensorflow
git checkout r1.4
./configure
์ํ ์ถ๋ ฅ ๋ฐ ์ต์ ์ ์ง์นจ์ ๊ฒ๊ณผ ๋ค๋ฆ ๋๋ค.
๋ฐ์ ค ์ค์น
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update && sudo apt-get install oracle-java8-installer
echo "deb [arch=amd64] http://storage.googleapis.com/bazel-apt stable jdk1.8" | sudo tee /etc/apt/sources.list.d/bazel.list
curl https://bazel.build/bazel-release.pub.gpg | sudo apt-key add -
sudo apt-get update && sudo apt-get install bazel
sudo /sbin/ldconfig -v
TensorFlow ๋น๋
bazel build --config=opt --config=cuda //tensorflow/tools/pip_package:build_pip_package --cxxopt="-D_GLIBCXX_USE_CXX11_ABI=0"
bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
pip install /tmp/tensorflow_pkg/tensorflow-1.4.0-cp36-cp36m-linux_x86_64.whl
@Tweakmind : ์ด์ ๋ํด ๋ค์ ์๋ ค์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค. ์, Ubuntu์์๋ ์๋ํ์ง๋ง eGPU(1080Ti)๊ฐ ์๋ Mac OSX(10.12.6)์์๋ ์ฌ์ ํ ์ด์ด ์์ต๋๋ค. ๋ด๊ฐ ํ๋ก์ฐํ ๋ชจ๋ ์์ค์ ๋ํด 10-15๋ถ ํ์ ๋น๋๊ฐ ์คํจํ์ต๋๋ค. ์ฌํ ๊ฐ๋ฅํ ์ฑ๊ณต์ ๊ฑฐ๋๋ค๋ฉด ์ข์ ๊ฒ์ ๋๋ค. ๋ฏธ๋ฆฌ ๊ฐ์ฌ๋๋ฆฝ๋๋ค.
@ํธ์
๋ง์ธ๋
๋๋ ๋ค์์ ์ํํ๊ณ ๋ํ ํ์ผ์ ๊ตฌ์ฑํ์ง๋ง ๊ทธ๊ฒ์ ๋งํ๋ค
pc2<strong i="7">@pc</strong>:~/Downloads/tensorflow$ bazel build --config=opt --config=cuda //tensorflow/tools/pip_package:build_pip_package --cxxopt="-D_GLIBCXX_USE_CXX11_ABI=0"
ERROR: Skipping '//tensorflow/tools/pip_package:build_pip_package': error loading package 'tensorflow/tools/pip_package': Encountered error while reading extension file 'cuda/build_defs.bzl': no such package '@local_config_cuda//cuda': Traceback (most recent call last):
File "/home/pc2/Downloads/tensorflow/third_party/gpus/cuda_configure.bzl", line 1042
_create_local_cuda_repository(repository_ctx)
File "/home/pc2/Downloads/tensorflow/third_party/gpus/cuda_configure.bzl", line 905, in _create_local_cuda_repository
_get_cuda_config(repository_ctx)
File "/home/pc2/Downloads/tensorflow/third_party/gpus/cuda_configure.bzl", line 662, in _get_cuda_config
_cudnn_version(repository_ctx, cudnn_install_base..., ...)
File "/home/pc2/Downloads/tensorflow/third_party/gpus/cuda_configure.bzl", line 360, in _cudnn_version
_find_cudnn_header_dir(repository_ctx, cudnn_install_base...)
File "/home/pc2/Downloads/tensorflow/third_party/gpus/cuda_configure.bzl", line 612, in _find_cudnn_header_dir
auto_configure_fail(("Cannot find cudnn.h under %s" ...))
File "/home/pc2/Downloads/tensorflow/third_party/gpus/cuda_configure.bzl", line 129, in auto_configure_fail
fail(("\n%sCuda Configuration Error:%...)))
Cuda Configuration Error: Cannot find cudnn.h under /usr/lib/x86_64-linux-gnu
WARNING: Target pattern parsing failed.
ERROR: error loading package 'tensorflow/tools/pip_package': Encountered error while reading extension file 'cuda/build_defs.bzl': no such package '@local_config_cuda//cuda': Traceback (most recent call last):
File "/home/pc2/Downloads/tensorflow/third_party/gpus/cuda_configure.bzl", line 1042
_create_local_cuda_repository(repository_ctx)
File "/home/pc2/Downloads/tensorflow/third_party/gpus/cuda_configure.bzl", line 905, in _create_local_cuda_repository
_get_cuda_config(repository_ctx)
File "/home/pc2/Downloads/tensorflow/third_party/gpus/cuda_configure.bzl", line 662, in _get_cuda_config
_cudnn_version(repository_ctx, cudnn_install_base..., ...)
File "/home/pc2/Downloads/tensorflow/third_party/gpus/cuda_configure.bzl", line 360, in _cudnn_version
_find_cudnn_header_dir(repository_ctx, cudnn_install_base...)
File "/home/pc2/Downloads/tensorflow/third_party/gpus/cuda_configure.bzl", line 612, in _find_cudnn_header_dir
auto_configure_fail(("Cannot find cudnn.h under %s" ...))
File "/home/pc2/Downloads/tensorflow/third_party/gpus/cuda_configure.bzl", line 129, in auto_configure_fail
fail(("\n%sCuda Configuration Error:%...)))
Cuda Configuration Error: Cannot find cudnn.h under /usr/lib/x86_64-linux-gnu
INFO: Elapsed time: 0.082s
FAILED: Build did NOT complete successfully (0 packages loaded)
currently loading: tensorflow/tools/pip_package
๋๋ cuda์ cudnn์ ์ฌ๋ฐ๋ฅด๊ฒ ์ค์นํ๋ค๊ณ ์๊ฐํฉ๋๋ค.
```
/usr ์ฐพ๊ธฐ | grep libcudnn
/usr/share/doc/libcudnn7
/usr/share/doc/libcudnn7/์ ์๊ถ
/usr/share/doc/libcudnn7/NVIDIA_SLA_cuDNN_Support.txt
/usr/share/doc/libcudnn7/changelog.Debian.gz
/usr/share/lintian/overrides/libcudnn7
/usr/lib/x86_64-linux-gnu/libcudnn.so.7.0.4
/usr/lib/x86_64-linux-gnu/libcudnn.so.7
```
@goodmangu , ์ฃผ๋ง์ MacOS ๋น๋ ์์ ์ ํ ๊ฒ์ ๋๋ค.
@nasergh ,
๋ค์์ ์ค์น๋ฅผ ํ ์คํธํ๊ธฐ ์ํ ์์ค ๋ฐ ๋ฌธ์๋ฅผ ํฌํจํ cuDNN ๊ฐ์ด๋์ ๋๋ค.
๋ธ๋ผ์ฐ์ ์์ Nvidia ๊ฐ๋ฐ์ ๊ณ์ ์ ๋ก๊ทธ์ธํด์ผ ํฉ๋๋ค.
๊ฐ ํด์ ํ์ธ
cd $HOME/Downloads
md5sum cudnn-9.0-linux-x64-v7.tgz && \
md5sum libcudnn7_7.0.4.31-1+cuda9.0_amd64.deb && \
md5sum libcudnn7-dev_7.0.4.31-1+cuda9.0_amd64.deb && \
md5sum libcudnn7-doc_7.0.4.31-1+cuda9.0_amd64.deb
์ถ๋ ฅ์ ๋ค์๊ณผ ๊ฐ์์ผ ํฉ๋๋ค.
fc8a03ac9380d582e949444c7a18fb8d cudnn-9.0-linux-x64-v7.tgz
e986f9a85fd199ab8934b8e4835496e2 libcudnn7_7.0.4.31-1+cuda9.0_amd64.deb
4bd528115e3dc578ce8fca0d32ab82b8 libcudnn7-dev_7.0.4.31-1+cuda9.0_amd64.deb
04ad839c937362a551eb2170afb88320 libcudnn7-doc_7.0.4.31-1+cuda9.0_amd64.deb
tar -xzvf cudnn-9.0-linux-x64-v7.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*
sudo dpkg -i libcudnn7_7.0.4.31-1+cuda9.0_amd64.deb
sudo dpkg -i libcudnn7-dev_7.0.4.31-1+cuda9.0_amd64.deb
sudo dpkg -i libcudnn7-doc_7.0.4.31-1+cuda9.0_amd64.deb
Ubuntu 17.10์๋ ๋ฒ์ 7 ์ด์์ GNU ์ปดํ์ผ๋ฌ๊ฐ ํฌํจ๋์ด ์์ต๋๋ค.
CUDA๋ ๋ฒ์ 6 ์ด์๊ณผ ํธํ๋์ง ์์ต๋๋ค.
๋ฐํ๋ ์ค๋ฅ๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
์ค๋ฅ -- ์ง์๋์ง ์๋ GNU ๋ฒ์ ! 6 ์ดํ์ gcc ๋ฒ์ ์ ์ง์๋์ง ์์ต๋๋ค!
์์ - ๋ฒ์ 6์ ์ค์นํ๊ณ CUDA bin ๋๋ ํ ๋ฆฌ์ ์ฌ๋ณผ๋ฆญ ๋งํฌ๋ฅผ ์์ฑํฉ๋๋ค.
sudo apt-get install gcc-6 g++-6
sudo ln -sf /usr/bin/gcc-6 /usr/local/cuda/bin/gcc
sudo ln -sf /usr/bin/g++-6 /usr/local/cuda/bin/g++
์ด์ mnistCUDNN์ ๋น๋ํ์ฌ cuDNN์ ํ ์คํธํฉ๋๋ค.
cp -r /usr/src/cudnn_samples_v7/ $HOME
cd $HOME/cudnn_samples_v7/mnistCUDNN
make clean && make
./mnistCUDNN
cuDNN์ด ์ ๋๋ก ์ค์น๋๋ฉด ๋ค์์ด ํ์๋ฉ๋๋ค.
ํ ์คํธ ํต๊ณผ!
์น์ ํ๋ @Tweakmind
๋น์ ์ ๋ฐฉ๋ฒ์ ๋น์ ์ ๋์ ๋๋ถ์ ์๋ํฉ๋๋ค (๋๋ 3 ์ฃผ ์ด์ ํ
์๋ฅผ ์ค์นํ๋ ค๊ณ ํ์ต๋๋ค !!!)
๋ฌธ์ ๋ python3.6์ ์ค์นํ๋๋ฐ ์ด์ PIL ํจํค์ง์ ๋ฌธ์ ๊ฐ ์๋ค๋ ๊ฒ์
๋๋ค.
Traceback (most recent call last):
File "/home/pc2/venv/lib/python3.6/site-packages/keras/utils/data_utils.py", line 551, in get
inputs = self.queue.get(block=True).get()
File "/home/pc2/anaconda3/lib/python3.6/multiprocessing/pool.py", line 644, in get
raise self._value
File "/home/pc2/anaconda3/lib/python3.6/multiprocessing/pool.py", line 119, in worker
result = (True, func(*args, **kwds))
File "/home/pc2/venv/lib/python3.6/site-packages/keras/utils/data_utils.py", line 391, in get_index
return _SHARED_SEQUENCES[uid][i]
File "/home/pc2/venv/lib/python3.6/site-packages/keras/preprocessing/image.py", line 761, in __getitem__
return self._get_batches_of_transformed_samples(index_array)
File "/home/pc2/venv/lib/python3.6/site-packages/keras/preprocessing/image.py", line 1106, in _get_batches_of_transformed_samples
interpolation=self.interpolation)
File "/home/pc2/venv/lib/python3.6/site-packages/keras/preprocessing/image.py", line 345, in load_img
raise ImportError('Could not import PIL.Image. '
ImportError: Could not import PIL.Image. The use of `array_to_img` requires PIL.
The above exception was the direct cause of the following exception:
Traceback (most recent call last):
File "<stdin>", line 7, in <module>
File "/home/pc2/venv/lib/python3.6/site-packages/keras/legacy/interfaces.py", line 87, in wrapper
return func(*args, **kwargs)
File "/home/pc2/venv/lib/python3.6/site-packages/keras/models.py", line 1227, in fit_generator
initial_epoch=initial_epoch)
File "/home/pc2/venv/lib/python3.6/site-packages/keras/legacy/interfaces.py", line 87, in wrapper
return func(*args, **kwargs)
File "/home/pc2/venv/lib/python3.6/site-packages/keras/engine/training.py", line 2115, in fit_generator
generator_output = next(output_generator)
File "/home/pc2/venv/lib/python3.6/site-packages/keras/utils/data_utils.py", line 557, in get
six.raise_from(StopIteration(e), e)
File "<string>", line 3, in raise_from
StopIteration: Could not import PIL.Image. The use of `array_to_img` requires PIL.
๋ฒ ๊ฐ๋ฅผ ์ค์นํ๋ ค๊ณ ํ์ง๋ง ๋์์ด๋์ง ์์ต๋๋ค
๋๋ ๋ํ PIL์ ์ค์นํ๋ ค๊ณ ํ์ง๋ง
UnsatisfiableError: The following specifications were found to be in conflict:
- pil -> python 2.6*
- python 3.6*
@nasergh ๋ฌด์์ ์ป์ ์
pip install pillow
๋ด ๋ชจ์ต์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
~$ pip install pillow
Requirement already satisfied: pillow in ./anaconda3/lib/python3.6/site-packages
@nasergh , ์ถฉ๋ํด์ผํ์ง๋ง
@goodmangu , 2012 Mac Pro์ ์ก์ธ์คํ ์ ์๊ธฐ ๋๋ฌธ์ ์ฃผ๋ง์ Mac ๋น๋๋ฅผ ์ํํ ์ ์์ต๋๋ค. ๋ฐ๋ผ๊ฑด๋, ๋น์ ์ ์ง๊ธ ์ฐ๋ถํฌ๋ฅผ ์ ์ฌ์ฉํ๊ณ ์์ต๋๋ค. ๋๋ ๊ทธ๊ฒ์ด ๋๋ฅผ ์ํด ์ ์๋ํ๋ค๋ ๊ฒ์ ์๊ณ ์์ต๋๋ค. ๋ค์ ์ฃผ๋ง์ ๋ค์ ๋ฐ์์ผ ํฉ๋๋ค.
@Tweakmind - ๊ฐ์ฌํฉ๋๋ค! , CUDA 9 ๋ฐ cuDNN 7์ ์ฑ๋ฅ ํฅ์์ ๋ณด์ จ์ต๋๊น?
๋ํ ์๋ @Tweakmind๊ฐ ์ธ๊ธํ ๋ช ๊ฐ์ง ๋จ๊ณ๊ฐ ์ค๋ณต
tar -xzvf cudnn-9.0-linux-x64-v7.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*
๋๋
sudo dpkg -i libcudnn7_7.0.4.31-1+cuda9.0_amd64.deb
sudo dpkg -i libcudnn7-dev_7.0.4.31-1+cuda9.0_amd64.deb
sudo dpkg -i libcudnn7-doc_7.0.4.31-1+cuda9.0_amd64.deb
@gunan
CUDA 9.1.85๋ nvcc ์ปดํ์ผ๋ฌ ๋ฒ๊ทธ ์์ ๊ณผ ํจ๊ป CuDNN 7.0.5์ ํจ๊ป ์ผ๋ง ์ ์ ๋ฆด๋ฆฌ์ค๋์์ต๋๋ค. win10 ์ฌ์ฉ์๊ฐ Tensorflow 1.4.1์ ์ปดํ์ผํ ์ ์๋์ง ๊ถ๊ธํฉ๋๋ค. ์๊ฐ์ด ๋์์ด์.
NVIDIA์์ ์์ ์์ 9.1์ด ์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ค๊ณ ์๊ฐํ์ง ์์ต๋๋ค.
๊ทธ๋ฌ๋ ํด๊ฒฐ ๋ฐฉ๋ฒ์ด ์์ต๋๋ค. ๋จผ์ , ์ด PR์ ๊ณ ์ ํ๊ฒ ๋ณํฉํด์ผ ํฉ๋๋ค.
https://bitbucket.org/eigen/eigen/pull-requests/351/win-nvcc/diff
๊ทธ๋ฐ ๋ค์ CUDA9์ ๋ํ ๋ชจ๋ ๋น๋๋ฅผ ์์ ํด์ผ ํ๋ ๊ณ ์ ์ข ์์ฑ์ ์ ๋ฐ์ดํธํฉ๋๋ค.
pr์ ๊ฑฐ๋ถ๋์์ง๋ง ์๋์ผ๋ก ๋ณํฉ๋ฉ๋๋ค. ๊ณ ์ ๋ฆด๋ฆฌ์ค๋ฅผ ๊ธฐ๋ค๋ ค์ผ ํฉ๋๊น ์๋๋ฉด ์์ค์์ ๋น๋๋๊ณ ์์ต๋๊น?
๋ฉ์ง๋ค์, ๊ทธ๋ผ Nightly pip์ ๋์ค๊ฒ ์ฃ ?
@ํธ์
๋ง์ธ๋
python 2.7์ ์ฌ์ฉํ์ฌ ํ
์๋ฅผ ๋ค์ ๋น๋ํ๋ ค๊ณ ํฉ๋๋ค.
ํ์ง๋ง bazel ๋น๋์์ ์ด ์ค๋ฅ๊ฐ ๋ฐ์ํฉ๋๋ค.
๋๋ ๋ํ numpy๋ฅผ ์ค์นํ์ง๋ง ๋ณ๊ฒฝ ์ฌํญ์ ์์ต๋๋ค.
bazel build --config=opt --config=cuda //tensorflow/tools/pip_package:build_pip_package --cxxopt="-D_GLIBCXX_USE_CXX11_ABI=0"
ERROR: /home/gh2/Downloads/tensorflow/util/python/BUILD:5:1: no such package '@local_config_python//': Traceback (most recent call last):
File "/home/gh2/Downloads/tensorflow/third_party/py/python_configure.bzl", line 310
_create_local_python_repository(repository_ctx)
File "/home/gh2/Downloads/tensorflow/third_party/py/python_configure.bzl", line 274, in _create_local_python_repository
_get_numpy_include(repository_ctx, python_bin)
File "/home/gh2/Downloads/tensorflow/third_party/py/python_configure.bzl", line 257, in _get_numpy_include
_execute(repository_ctx, [python_bin, "-c",..."], <2 more arguments>)
File "/home/gh2/Downloads/tensorflow/third_party/py/python_configure.bzl", line 76, in _execute
_python_configure_fail("\n".join([error_msg.strip() if ... ""]))
File "/home/gh2/Downloads/tensorflow/third_party/py/python_configure.bzl", line 37, in _python_configure_fail
fail(("%sPython Configuration Error:%...)))
Python Configuration Error: Problem getting numpy include path.
Traceback (most recent call last):
File "<string>", line 1, in <module>
**ImportError: No module named numpy**
Is numpy installed?
and referenced by '//util/python:python_headers'
ERROR: Analysis of target '//tensorflow/tools/pip_package:build_pip_package' failed; build aborted: Loading failed
INFO: Elapsed time: 10.826s
FAILED: Build did NOT complete successfully (26 packages loaded)
currently loading: tensorflow/core ... (3 packages)
Fetching http://mirror.bazel.build/.../~ooura/fft.tgz; 20,338b 5s
Fetching http://mirror.bazel.build/zlib.net/zlib-1.2.8.tar.gz; 19,924b 5s
Fetching http://mirror.bazel.build/.../giflib-5.1.4.tar.gz; 18,883b 5s
cuDNN ๋ฒ์ 7.0.5์์๋ OSX๊ฐ ์ ์ธ๋ ๊ฒ ๊ฐ์ต๋๋ค. ์์ธํ ์์๋ ๋ถ ๊ณ์ ๊ฐ์?
์ฌ์ ํ Windows 10(CUDA 9.0.176 ๋ฐ cudnn 7.0 ์ฌ์ฉ)์์ tensorflow-gpu๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค.
tensorflow์ tensorflow-gpu๋ฅผ ๋ชจ๋ ์ ๊ฑฐํ๊ณ ๋ค์ ์ค์นํ์ต๋๋ค(๊ณ ์ ํด๊ฒฐ ๋ฐฉ๋ฒ์ผ๋ก ์ต์ ๋ฒ์ ์ ๋ค์ด๋ก๋ํ ์ ์๋๋ก --no-cache-dir ์ฌ์ฉ). ๋ ๋ค ์ค์นํ๋ฉด GPU๊ฐ ์ธ์๋์ง ์์ต๋๋ค.
InvalidArgumentError(์ถ์ ์ ๋ํด์๋ ์ ์ฐธ์กฐ): 'random_uniform_1/sub' ์์ ์ ๋ํด ์ฅ์น๋ฅผ ํ ๋นํ ์ ์์ต๋๋ค. ์์ ์ด / device:GPU :0์ ๋ช ์์ ์ผ๋ก ํ ๋น๋์์ง๋ง ์ฌ์ฉ ๊ฐ๋ฅํ ์ฅ์น๋ [ / job:localhost/replica :0/ task:0/device์ ๋๋ค. : CPU:0 ]. ์ฅ์น ์ฌ์์ด ์ ํจํ ์ฅ์น๋ฅผ ์ฐธ์กฐํ๋์ง ํ์ธํ์ญ์์ค.
tensorflow-gpu๋ง ์ค์นํ๋ฉด ๋๋ฝ๋ dll์ ๋ํด ๋ถํํฉ๋๋ค.
ImportError: 'cudart64_80.dll'์ ์ฐพ์ ์ ์์ต๋๋ค. TensorFlow๋ฅผ ์ฌ์ฉํ๋ ค๋ฉด %PATH% ํ๊ฒฝ ๋ณ์์ ์ด๋ฆ์ด ์ง์ ๋ ๋๋ ํ ๋ฆฌ์ ์ด DLL์ ์ค์นํด์ผ ํฉ๋๋ค. ๋ค์ URL์์ CUDA 8.0์ ๋ค์ด๋ก๋ํ์ฌ ์ค์น ํ์ญ์์ค .
๋ด CUDA ๋ฒ์ ์ด 8.0์ด ์๋๋ผ 9.0์ด๊ณ ์ธ์๋๊ธฐ ๋๋ฌธ์ ์ด์ํฉ๋๋ค(deviceQuery ํ
์คํธ ํต๊ณผ).
๋ด ํ์ด์ฌ ๋ฒ์ ์ 3.6.3์
๋๋ค. tensorflow-gpu๋ฅผ ํ
์คํธํ๊ธฐ ์ํด Spyder(3.2.4)์์ ์ด ์ฝ๋๋ฅผ ์คํํ๋ ค๊ณ ํฉ๋๋ค.
๋ด๊ฐ ๋์น ๊ฒ ๋ฌด์์
๋๊น?
win 7์์ bazel๋ก ์์ค์์ ๋น๋ํ๋ ค๊ณ ํ๋๋ฐ ์ค๋ฅ๊ฐ ๋ฐ์ํฉ๋๋ค.
cpu 'x64_windows'์ ๋ํ ๋๊ตฌ ๋ชจ์์ด ์์ต๋๋ค.
๋๊ตฌ๋ ์ง whl์ ๋ง๋ค ์ ์์ต๋๊น?
@hadaev8 , ๋์์ด ๋๊ธฐ ์ํด ๋ ๋ง์ ์ ๋ณด๊ฐ ํ์ํฉ๋๋ค. ๋๋ ์ ์ ์ผํ ์ ์์ง๋ง Win7์ด ์๋ ๋ฌด๊ฑฐ์ด ์ข ์์ฑ์ ๊ฐ์ง ๊ฒ์ ๋๋ค. ์ผ๋จ MacOS๋ฅผ ํด๊ฒฐํ๋ฉด Win10์ ํด๊ฒฐํ ๊ฒ์ ๋๋ค. ์ด์จ๋ ๊ทํ์ ์ธ๋ถ ์ ๋ณด๋ฅผ ๊ฒ์ํ์ญ์์ค.
@ eeilon79 , Win10์์ ์ด๊ฒ์ ๋ค์ ๋ง๋ค์ด์ผํฉ๋๋ค. ์ ๋ ํ์ฌ Ubuntu๊ฐ ํด๊ฒฐ๋์์ผ๋ฏ๋ก MacOS์ ์ง์คํ๊ณ ์์ต๋๋ค. ์10์ผ๋ก ๋์์ค๊ฒ ์ต๋๋ค.
@nasergh , ํ์ด์ฌ 2.7์ ๋ํ ์๊ตฌ ์ฌํญ์ด ์์ต๋๊น?
CUDA 8.0 ๋ฐ cuDNN 6.0์ ์ฌ์ฉํ์ฌ Win10์์ Cuda GPU ๋ฐ AVX2 ์ง์์ ์ํด ์์ค์์ TensorFlow๋ฅผ ์ค์นํ ๋ฐฉ๋ฒ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
์๊ตฌ ์ฌํญ:
* Windows 10 64-Bit
* Visual Studio 15 C++ Tools
* NVIDIA CUDAยฎ Toolkit 8.0
* NVIDIA cuDNN 6.0 for CUDA 8.0
* Cmake
* Swig
Visual Studio Community Edition ์
๋ฐ์ดํธ 3(Windows ํคํธ 10.0.10240.0 ํฌํจ) ์ค์น
์ง์นจ์ ๋ฐ๋ฅด์ญ์์ค: https://github.com/philferriere/dlwin (Phil์๊ฒ ๊ฐ์ฌ๋๋ฆฝ๋๋ค)
๋ช
ํ์ฑ์ ์ํด ๊ฐ์ ๋๋ผ์ด๋ธ N: ์์ฑ
C: ๋๋ ์ ํํ ๋๋ผ์ด๋ธ์์ ๋๋ ํฐ๋ฆฌ๋ฅผ ๋ง๋ค๊ณ ๋ค์ ์ง์นจ(์ต์ 2GB)์ ๋ฐ๋ผ N:์ ๋ง๋๋ ๊ฒ์ด ์ข์ต๋๋ค.
https://technet.microsoft.com/en-us/library/gg318052(v=ws.10).aspx
Cuda 8.0 64๋นํธ ์ค์น
https://developer.nvidia.com/cuda-downloads (๋ ๊ฑฐ์๋ก ์คํฌ๋กค)
Cuda 8.0์ฉ cuDNN 6.0 ์ค์น
https://developer.nvidia.com/rdp/cudnn-download
zip์์ cuda ํด๋๋ฅผ N:\์ ๋ฃ๊ณ cuDNN-6์ผ๋ก ์ด๋ฆ์ ๋ฐ๊ฟ๋๋ค.
CMake ์ค์น
https://cmake.org/files/v3.10/cmake-3.10.0-rc5-win64-x64.msi
Swig ์ค์น(swigwin-3.0.12)
https://sourceforge.net/projects/swig/files/swigwin/swigwin-3.0.12/swigwin-3.0.12.zip
```conda create --name cntk-py36 python=3.6 numpy scipy h5py jupyter
cntk-py36 ํ์ฑํ
ํ ์ค์น https://cntk.ai/PythonWheel/GPU/cntk-2.2-cp36-cp36m-win_amd64.whl
python -c "cntk ๊ฐ์ ธ์ค๊ธฐ; ์ธ์(cntk.__version__)"
์ฝ๋ค ์ค์น pygpu
ํ ์ค์น ์ผ๋ผ์ค
#### Remove old tensorflow in Tools if it exists
```cd C:\Users\%USERNAME%\Tools\
move tensorflow tensorflow.not
git clone --recursive https://github.com/tensorflow/tensorflow.git
cd C:\Users\%USERNAME%\Tools\tensorflow\tensorflow\contrib\cmake
Edit CMakeLists.txt
๋ค์์ ์ฃผ์ ์ฒ๋ฆฌ:
# if (tensorflow_OPTIMIZE_FOR_NATIVE_ARCH)
# include(CheckCXXCompilerFlag)
# CHECK_CXX_COMPILER_FLAG("-march=native" COMPILER_OPT_ARCH_NATIVE_SUPPORTED)
# if (COMPILER_OPT_ARCH_NATIVE_SUPPORTED)
# set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -march=native")
# endif()
# endif()
๋ค์์ ์ถ๊ฐํ์ธ์.
if (tensorflow_OPTIMIZE_FOR_NATIVE_ARCH)
include(CheckCXXCompilerFlag)
CHECK_CXX_COMPILER_FLAG("-march=native" COMPILER_OPT_ARCH_NATIVE_SUPPORTED)
if (COMPILER_OPT_ARCH_NATIVE_SUPPORTED)
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -march=native")
else()
CHECK_CXX_COMPILER_FLAG("/arch:AVX2" COMPILER_OPT_ARCH_AVX_SUPPORTED)
if(COMPILER_OPT_ARCH_AVX_SUPPORTED)
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} /arch:AVX2")
endif()
endif()
endif()
mkdir ๋น๋ ๋ฐ cd ๋น๋
"C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\bin\amd64\vcvars64.bat"
cmake .. -A x64 -DCMAKE_BUILD_TYPE=Release ^
-DSWIG_EXECUTABLE=N:/swigwin-3.0.12/swig.exe ^
-DPYTHON_EXECUTABLE=N:/Anaconda3/python.exe ^
-DPYTHON_LIBRARIES=N:/Anaconda3/libs/python36.lib ^
-Dtensorflow_ENABLE_GPU=ON ^
-DCUDNN_HOME="n:\cuDNN-6" ^
-Dtensorflow_WIN_CPU_SIMD_OPTIONS=/arch:AVX2
-- ๋น๋ ๋์: Visual Studio 14 2015
-- Windows 10.0.16299๋ฅผ ๋์์ผ๋ก ํ๋ Windows SDK ๋ฒ์ 10.0.14393.0์ ์ ํํฉ๋๋ค.
-- C ์ปดํ์ผ๋ฌ ์๋ณ์ MSVC 19.0.24225.1์
๋๋ค.
-- CXX ์ปดํ์ผ๋ฌ ์๋ณ์ MSVC 19.0.24225.1์
๋๋ค.
-- ์๋ํ๋ C ์ปดํ์ผ๋ฌ ํ์ธ: C:/Program Files (x86)/Microsoft Visual Studio 14.0/VC/bin/x86_amd64/cl.exe
-- ์๋ํ๋ C ์ปดํ์ผ๋ฌ ํ์ธ: C:/Program Files (x86)/Microsoft Visual Studio 14.0/VC/bin/x86_amd64/cl.exe -- ์๋
-- C ์ปดํ์ผ๋ฌ ABI ์ ๋ณด ๊ฐ์ง
-- C ์ปดํ์ผ๋ฌ ABI ์ ๋ณด ๊ฐ์ง - ์๋ฃ
-- ์๋ํ๋ CXX ์ปดํ์ผ๋ฌ ํ์ธ: C:/Program Files (x86)/Microsoft Visual Studio 14.0/VC/bin/x86_amd64/cl.exe
-- ์๋ํ๋ CXX ์ปดํ์ผ๋ฌ ํ์ธ: C:/Program Files (x86)/Microsoft Visual Studio 14.0/VC/bin/x86_amd64/cl.exe -- ์๋
-- CXX ์ปดํ์ผ๋ฌ ABI ์ ๋ณด ๊ฐ์ง
-- CXX ์ปดํ์ผ๋ฌ ABI ์ ๋ณด ๊ฐ์ง - ์๋ฃ
-- CXX ์ปดํ์ผ ๊ธฐ๋ฅ ๊ฐ์ง
-- CXX ์ปดํ์ผ ๊ธฐ๋ฅ ๊ฐ์ง - ์๋ฃ
-- COMPILER_OPT_ARCH_NATIVE_SUPPORTED ํ
์คํธ ์ํ
-- COMPILER_OPT_ARCH_NATIVE_SUPPORTED ํ
์คํธ ์ํ - ์คํจ
-- COMPILER_OPT_ARCH_AVX_SUPPORTED ํ
์คํธ ์ํ
-- COMPILER_OPT_ARCH_AVX_SUPPORTED ํ
์คํธ ์ํ - ์ฑ๊ณต
-- COMPILER_OPT_WIN_CPU_SIMD_SUPPORTED ํ
์คํธ ์ํ
-- COMPILER_OPT_WIN_CPU_SIMD_SUPPORTED ํ
์คํธ ์ํ - ์ฑ๊ณต
-- CUDA ๋ฐ๊ฒฌ: C:/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v8.0(์ ์ ํ ๋ฒ์ "8.0" ๋ฐ๊ฒฌ, ์ต์ ์๊ตฌ์ฌํญ์ "8.0")
-- PythonInterp ๋ฐ๊ฒฌ: C:/Users/%USERNAME%/Anaconda3/python.exe(๋ฒ์ "3.6.3" ๋ฐ๊ฒฌ)
-- ๋ฐ๊ฒฌ๋ PythonLibs: C:/Users/%USERNAME%/Anaconda3/libs/python36.lib(๋ฒ์ "3.6.3" ๋ฐ๊ฒฌ)
-- SWIG ๋ฐ๊ฒฌ: C:/Users/%USERNAME%/Tools/swigwin-3.0.12/swig.exe(๋ฐ๊ฒฌ๋ ๋ฒ์ "3.0.12")
-- ๊ตฌ์ฑ ์๋ฃ
-- ์์ฑ ์๋ฃ
-- ๋น๋ ํ์ผ์ C:/Users/%USERNAME%/Tools/tensorflow/tensorflow/contrib/cmake/build์ ์์ฑ๋์์ต๋๋ค.
MSBuild /p:Configuration=Release tf_python_build_pip_package.vcxproj
@ํธ์
๋ง์ธ๋
python 3.6, tensorflow last from master, cuda 9.0, cuda 9.0์ฉ cudnn 7.0.5, basel ๋ฐ swig๊ฐ ์ค๋ ๋ก๋๋์์ต๋๋ค.
@Tweakmind ๋ง์คํฐ๋ก ๋น๋ํ๊ฑฐ๋ ?
@ํธ์
๋ง์ธ๋
cuda 9 cudnn 7์ ์ฌ์ฉํ์ฌ Windows์์ ๋น๋ํ๊ณ .whl์ ๊ณต์ ํ ์ ์์ต๋๊น?
@ํธ์ ๋ง์ธ๋
cuda 9 cudnn 7์ ์ฌ์ฉํ์ฌ win 10์์ ๋น๋ํ๋ ค๊ณ ํ์ง ์์ต๋๊น?
๊ทํ์ ์ ๋ฌธ ์ง์์ ๊ฐ์ฌ๋๋ฆฝ๋๋ค!
@hadaev8 @alc5978
pip install -U tf-nightly-gpu๋ ์ด์ 20171221 ๋ ์ง์ win10 ๋น๋๋ฅผ ์ ๊ณตํ๋ฉฐ, ์ด๋ CUDA 9.0 ๋ฐ CuDNN 7.0.5๊ฐ ํฌํจ๋ TF 1.5 ๋ฒ ํ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํฉ๋๋ค. ์ด์ ๋ฐค์ ์คํํ๋๋ฐ ๊ด์ฐฎ์ต๋๋ค. ์ด์ 12x CUDA ์ปค๋ ์คํ ์๋๋ฅผ ์ํด CUDA 9.1๋ก ์ด๋ํด์ผ ํฉ๋๋ค. Tensorflow ์ฐฝ ์ง์์ ๋งค์ฐ ๋๋ฆฌ๊ณ ๋น์ฝํฉ๋๋ค. ์์ ์ ์ธ ๊ณต์ ๋น๋๋ ์ต๋ํ ๋นจ๋ฆฌ ์ ๊ณต๋์ด์ผ ํฉ๋๋ค. ์ ๋ ์ค์ ๋ก Tensorflow 1.5๊ฐ 1์ ๋ง๊น์ง CUDA 9.1๊ณผ ํจ๊ป ์ถ์๋๊ธฐ๋ฅผ ๋ฐ๋๋๋ค.
์ฐ๋ถํฌ์์ cuda 9.1 ๋ฐ cudnn7.05๋ฅผ ์ฌ์ฉํ์ฌ tensorflow๋ฅผ ๋จ๊ณ๋ณ๋ก ์ค์นํ๋ ค๋ฉด http://www.python36.com/install-tensorflow141-gpu/ ๋ก ์ด๋ http://www.python36.com/install-tensorflow-gpu-windows ๋ก ์ด๋
2018๋ , ๊ฑฐ์ 1์์ ๋์๋ฝ์ Windows 10์ CUDA9.1 ๋ฐ CuDNN7์ด ํฌํจ๋ TF ์ค์น๊ฐ ์์ง ์๋ฃ๋์ง ์์์ต๋๊น?
1.5๋ CUDA 9 + cuDNN 7
CUDA 9.1์ ๋ํด ๋ ผ์ํ๊ธฐ ์ํด ๋ฌธ์ ๋ฅผ ์ด์์ต๋๋ค.
12x ์ปค๋ ์คํ ์๋ ํฅ์์ 12x ์ซ์๋ณด๋ค ๋ ๋ฏธ๋ฌํฉ๋๋ค. 12x์ ์ต์๋จ์ ops
์ ๋ํ ๋
ผ์์ด ๋ง๊ณ ์ฅ์น ๋๋ผ์ด๋ฒ ์
๊ทธ๋ ์ด๋๋ก ์ธํด ์ฌ์ฉ์์ ํผ๋์ด ๋์ต๋๋ค. ๊ฐ๊น์ด ์ฅ๋์ "์ฑ๋" ํ
์คํธ 9.1์ ๊ฐ๊ณ ์ด ํจ๋ฌ๋ค์์ ์ฒ๋ฆฌํ๋ ๋ฐฉ๋ฒ์ ์์๋ด๊ธฐ๋ฅผ ๋ฐ๋๋๋ค.
๋ง์นจ๋ด 9.0์ด ์๋ CUDA 9.1์ด ๋๊ธธ ๋ฐ๋๋๋ค.
๋ง์นจ๋ด 9.0์ด ์๋๋ผ CUDA 9.1์ด ๋๊ธธ ๋ฐ๋๋๋ค.
๋๋ ๊ทธ๊ฒ์ด ๋ง์นจ๋ด 9.0์ด ์๋๋ผ CUDA 9.1์ด ๋ ๊ฒ์ด๋ผ๊ณ ํ์ ํฉ๋๋ค. ๊ทธ๋ ์ง ์์ต๋๊น? :)
@ViktorM @Magicfeng007 @alc5978
๊ธฐ๋ณธ์ ์ผ๋ก ๋ซํ ์์ง๋ง ๋ฐ๋ผํ๊ณ ์ถ๋ค๋ฉด 9.1 ์ค๋ ๋๊ฐ ์ฌ๊ธฐ์ ์์ต๋๋ค. 9.1์ด ์ ์ฉํ ์ด์ ์ ์ค์ /๊ตฌ์ฑ์ด ๋ฌด์์ธ์ง ๋์ดํ ์ ์๋ค๋ฉด. ์ฑ๋ฅ ํฅ์์ ๋ณด์ฌ์ฃผ๋ ์คํํ ๋ฒค์น๋งํฌ๋ ์ฆ๊ฐ์ ์ธ ํ์์ฑ์ ์ดํดํ๋ ๋ฐ์๋ ์ ์ฉํฉ๋๋ค. NVIDIA์์ ํ์์์ ์ฐ๋ฆฌ ๋ ๋ค 9.1์ ๊ธฐ๋ณธ๊ฐ์ผ๋ก ๋ง๋ค ํ์๊ฐ ์ฆ์ ์๋ค๋ ๋ฐ ๋์ํ์ต๋๋ค. ๊ทธ๋ฌ๋ฉด ์ฌ๋๋ค์ด ๋๋ผ์ด๋ฒ๋ฅผ ๋ค์ ์
๊ทธ๋ ์ด๋ํด์ผ ํฉ๋๋ค.
GPU๋ฅผ ์ฌ์ฉํ์ง ์๋ TensorFlow ๋ฐฑ์๋๊ฐ ์๋ Keras์ ๊ฐ์ ๋ฌธ์ ์ ์ฌ์ ํ ์ง๋ฉดํ๊ณ ์๋ ์ฌ๋์ด ์๋ค๋ฉด ์ด ํ์ด์ง์ ์ง์นจ์ ๋ฐ๋ฅด์ธ์. ์
๋ฐ์ดํธ๋์ด 100% ์ฌ๋ฐ๋ฅด๊ฒ ์๋ํฉ๋๋ค.
https://research.wmz.ninja/articles/2017/01/configuring-gpu-accelerated-keras-in-windows-10.html
์๋
๋ชจ๋
์ ๋ ์ค๋ CUDA 9.0์ด ์ค์น๋ win10์ tensorflow-gpu 1.6.0rc1์ ์ค์นํ๊ณ http://www.python36.com/install-tensorflow-using-official-pip-pacakage/๋ฅผ ์ฌ์ฉ ํ์ฌ cuDNN 7.0.5 ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ค์นํฉ๋๋ค
๋ชจ๋ ๊ฒ์ด ๊ด์ฐฎ์ ๋ณด์ธ๋ค
์ต์ TensorFlow(v1.5+)์ฉ NVIDIA GPU ์ ์ ์กฐ๊ฑด(CUDA-9.0 ๋ฐ cuDNN-7.0)์ฉ ์คํฌ๋ฆฝํธ๋ฅผ ํ๋ ๋ง๋ค์์ต๋๋ค. ์ฌ๊ธฐ ๋งํฌ๊ฐ ์์ต๋๋ค.
๊ฐ์ฅ ์ ์ฉํ ๋๊ธ
์ถ๊ฐ๋ ๋ฉ์๋์ ๋ํด ๋งํ์๋ฉด, cudnn7์ ๊ทธ๋ฃน ์ปจ๋ณผ๋ฃจ์ ์ ๋น์ ์ปค๋ฎค๋ํฐ์ ์ค์ํ ๊ธฐ๋ฅ์ด ๋ ๊ฒ์ ๋๋ค.