Tensorflow: क्रैश: जब कन्वनेट का उपयोग किया जाता है तो cuDNN हैंडल नहीं बना सका

I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcublas.so locally
I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcudnn.so locally
I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcufft.so locally
I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcuda.so.1 locally
I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcurand.so locally
I tensorflow/core/common_runtime/gpu/gpu_device.cc:885] Found device 0 with properties:
name: GeForce GTX 1080
major: 6 minor: 1 memoryClockRate (GHz) 1.835
pciBusID 0000:02:00.0
Total memory: 7.92GiB
Free memory: 3.76GiB
I tensorflow/core/common_runtime/gpu/gpu_device.cc:906] DMA: 0
I tensorflow/core/common_runtime/gpu/gpu_device.cc:916] 0:   Y
I tensorflow/core/common_runtime/gpu/gpu_device.cc:975] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX 1080, pci bus id: 0000:02:00.0)
E tensorflow/stream_executor/cuda/cuda_dnn.cc:385] could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR
E tensorflow/stream_executor/cuda/cuda_dnn.cc:352] could not destroy cudnn handle: CUDNN_STATUS_BAD_PARAM
F tensorflow/core/kernels/conv_ops.cc:532] Check failed: stream->parent()->GetConvolveAlgorithms(&algorithms)

मैं ठीक उसी समस्या से मिला जैसा आप CUDA8 और TF r0.12.1 के साथ करते हैं।

@EncodeTS मैंने अभी अपनी पहली पोस्ट में एक न्यूनतम प्रतिलिपि प्रस्तुत करने योग्य उदाहरण जोड़ा है। क्या आप जांच सकते हैं कि यह आपकी मशीन पर समस्या को पुन: उत्पन्न करता है या नहीं? मेरी मशीन पर, एक कनवल्शनल लेयर काम करती है, लेकिन दो कनवल्शनल लेयर नहीं, जिससे मुझे लगा कि समस्या कुछ संसाधन सीमाओं के कारण हो सकती है।

मैं पुष्टि कर सकता हूं कि मैकोज़ एनवीडिया 750 पर

न्यूनतम उदाहरण मेरे उबंटू पर काम करता है। ऐसा लगता है कि मुझे जिस समस्या का सामना करना पड़ा था, उसके मेरे कंप्यूटर पर घटना की संभावना बहुत कम है।

मुझे एक ही समस्या का सामना करना पड़ रहा है। सीपीयू के लिए मजबूर होने पर ग्राफ ठीक चलेगा, लेकिन जीपीयू पर दुर्घटनाग्रस्त हो गया।

वातावरण

ओएस: मैकोज़ 10.12.2
GPU: GeForce GT 750M
टीएफ: 0.12.1 (पाइप स्थापित)
पायथन: 3.6.0
CUDA: 8.0
सीयूडीएनएन: 5.1

( ls -l /path/to/cuda/lib/libcud* का आउटपुट):

lrwxr-xr-x  1 root  wheel     33 Dec 14 14:25 /usr/local/cuda/lib/libcuda.1.dylib -> /usr/local/cuda/lib/libcuda.dylib
-rwxr-xr-x  1 root  wheel  13504 Dec  2 16:48 /usr/local/cuda/lib/libcuda.dylib
lrwxr-xr-x  1 root  wheel     45 Nov  3 11:40 /usr/local/cuda/lib/libcudadevrt.a -> /Developer/NVIDIA/CUDA-8.0/lib/libcudadevrt.a
lrwxr-xr-x  1 root  wheel     50 Nov  3 11:40 /usr/local/cuda/lib/libcudart.8.0.dylib -> /Developer/NVIDIA/CUDA-8.0/lib/libcudart.8.0.dylib
lrwxr-xr-x  1 root  wheel     46 Nov  3 11:40 /usr/local/cuda/lib/libcudart.dylib -> /Developer/NVIDIA/CUDA-8.0/lib/libcudart.dylib
lrwxr-xr-x  1 root  wheel     49 Nov  3 11:40 /usr/local/cuda/lib/libcudart_static.a -> /Developer/NVIDIA/CUDA-8.0/lib/libcudart_static.a
lrwxr-xr-x  1 root  wheel     47 Dec 14 10:21 /usr/local/cuda/lib/libcudnn.5.dylib -> /Developer/NVIDIA/CUDA-8.0/lib/libcudnn.5.dylib
lrwxr-xr-x  1 root  wheel     45 Dec 14 10:21 /usr/local/cuda/lib/libcudnn.dylib -> /Developer/NVIDIA/CUDA-8.0/lib/libcudnn.dylib
lrwxr-xr-x  1 root  wheel     48 Dec 14 10:21 /usr/local/cuda/lib/libcudnn_static.a -> /Developer/NVIDIA/CUDA-8.0/lib/libcudnn_static.a

उदाहरण

@ymfa द्वारा प्रदान किया गया न्यूनतम उदाहरण मेरे सेटअप पर विफल और सफल होता है। निम्नलिखित तीन आउटपुट हैं जिनका उत्पादन किया गया है।
असफल(1)

I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcublas.dylib locally
I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcudnn.dylib locally
I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcufft.dylib locally
I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcuda.1.dylib locally
I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcurand.dylib locally
I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:901] OS X does not support NUMA - returning NUMA node zero
I tensorflow/core/common_runtime/gpu/gpu_device.cc:885] Found device 0 with properties: 
name: GeForce GT 750M
major: 3 minor: 0 memoryClockRate (GHz) 0.9255
pciBusID 0000:01:00.0
Total memory: 2.00GiB
Free memory: 1.76GiB
I tensorflow/core/common_runtime/gpu/gpu_device.cc:906] DMA: 0 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:916] 0:   Y 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:975] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GT 750M, pci bus id: 0000:01:00.0)
Training...
E tensorflow/stream_executor/cuda/cuda_dnn.cc:385] could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR
E tensorflow/stream_executor/cuda/cuda_dnn.cc:352] could not destroy cudnn handle: CUDNN_STATUS_BAD_PARAM
F tensorflow/core/kernels/conv_ops.cc:532] Check failed: stream->parent()->GetConvolveAlgorithms(&algorithms) 
Abort trap: 6

असफल(2)

I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcublas.dylib locally
I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcudnn.dylib locally
I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcufft.dylib locally
I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcuda.1.dylib locally
I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcurand.dylib locally
I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:901] OS X does not support NUMA - returning NUMA node zero
I tensorflow/core/common_runtime/gpu/gpu_device.cc:885] Found device 0 with properties: 
name: GeForce GT 750M
major: 3 minor: 0 memoryClockRate (GHz) 0.9255
pciBusID 0000:01:00.0
Total memory: 2.00GiB
Free memory: 1.53GiB
I tensorflow/core/common_runtime/gpu/gpu_device.cc:906] DMA: 0 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:916] 0:   Y 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:975] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GT 750M, pci bus id: 0000:01:00.0)
Training...
E tensorflow/stream_executor/cuda/cuda_blas.cc:372] failed to create cublas handle: CUBLAS_STATUS_NOT_INITIALIZED
W tensorflow/stream_executor/stream.cc:1390] attempting to perform BLAS operation using StreamExecutor without BLAS support
Traceback (most recent call last):
  File "/usr/local/lib/python3.6/site-packages/tensorflow/python/client/session.py", line 1021, in _do_call
    return fn(*args)
  File "/usr/local/lib/python3.6/site-packages/tensorflow/python/client/session.py", line 1003, in _run_fn
    status, run_metadata)
  File "/usr/local/Cellar/python3/3.6.0/Frameworks/Python.framework/Versions/3.6/lib/python3.6/contextlib.py", line 89, in __exit__
    next(self.gen)
  File "/usr/local/lib/python3.6/site-packages/tensorflow/python/framework/errors_impl.py", line 469, in raise_exception_on_not_ok_status
    pywrap_tensorflow.TF_GetCode(status))
tensorflow.python.framework.errors_impl.InternalError: Blas SGEMM launch failed : a.shape=(20, 400), b.shape=(400, 2), m=20, n=2, k=400
     [[Node: MatMul = MatMul[T=DT_FLOAT, transpose_a=false, transpose_b=false, _device="/job:localhost/replica:0/task:0/gpu:0"](Flatten/Reshape, Variable_4/read)]]

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "issue.py", line 52, in <module>
    sess.run(training_operation, feed_dict={x: X, y: Y})
  File "/usr/local/lib/python3.6/site-packages/tensorflow/python/client/session.py", line 766, in run
    run_metadata_ptr)
  File "/usr/local/lib/python3.6/site-packages/tensorflow/python/client/session.py", line 964, in _run
    feed_dict_string, options, run_metadata)
  File "/usr/local/lib/python3.6/site-packages/tensorflow/python/client/session.py", line 1014, in _do_run
    target_list, options, run_metadata)
  File "/usr/local/lib/python3.6/site-packages/tensorflow/python/client/session.py", line 1034, in _do_call
    raise type(e)(node_def, op, message)
tensorflow.python.framework.errors_impl.InternalError: Blas SGEMM launch failed : a.shape=(20, 400), b.shape=(400, 2), m=20, n=2, k=400
     [[Node: MatMul = MatMul[T=DT_FLOAT, transpose_a=false, transpose_b=false, _device="/job:localhost/replica:0/task:0/gpu:0"](Flatten/Reshape, Variable_4/read)]]

Caused by op 'MatMul', defined at:
  File "issue.py", line 43, in <module>
    logits = SimpleNet(x)
  File "issue.py", line 34, in SimpleNet
    logits = tf.matmul(fc1, fc1_W) + fc1_b
  File "/usr/local/lib/python3.6/site-packages/tensorflow/python/ops/math_ops.py", line 1729, in matmul
    a, b, transpose_a=transpose_a, transpose_b=transpose_b, name=name)
  File "/usr/local/lib/python3.6/site-packages/tensorflow/python/ops/gen_math_ops.py", line 1442, in _mat_mul
    transpose_b=transpose_b, name=name)
  File "/usr/local/lib/python3.6/site-packages/tensorflow/python/framework/op_def_library.py", line 759, in apply_op
    op_def=op_def)
  File "/usr/local/lib/python3.6/site-packages/tensorflow/python/framework/ops.py", line 2240, in create_op
    original_op=self._default_original_op, op_def=op_def)
  File "/usr/local/lib/python3.6/site-packages/tensorflow/python/framework/ops.py", line 1128, in __init__
    self._traceback = _extract_stack()

InternalError (see above for traceback): Blas SGEMM launch failed : a.shape=(20, 400), b.shape=(400, 2), m=20, n=2, k=400
     [[Node: MatMul = MatMul[T=DT_FLOAT, transpose_a=false, transpose_b=false, _device="/job:localhost/replica:0/task:0/gpu:0"](Flatten/Reshape, Variable_4/read)]]

उत्तीर्ण

I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcublas.dylib locally
I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcudnn.dylib locally
I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcufft.dylib locally
I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcuda.1.dylib locally
I tensorflow/stream_executor/dso_loader.cc:128] successfully opened CUDA library libcurand.dylib locally
I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:901] OS X does not support NUMA - returning NUMA node zero
I tensorflow/core/common_runtime/gpu/gpu_device.cc:885] Found device 0 with properties: 
name: GeForce GT 750M
major: 3 minor: 0 memoryClockRate (GHz) 0.9255
pciBusID 0000:01:00.0
Total memory: 2.00GiB
Free memory: 1.71GiB
I tensorflow/core/common_runtime/gpu/gpu_device.cc:906] DMA: 0 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:916] 0:   Y 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:975] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GT 750M, pci bus id: 0000:01:00.0)
Training...
Training complete!

हाल की गतिविधि की कमी के कारण स्वचालित रूप से बंद हो रहा है। नई जानकारी उपलब्ध होने पर कृपया समस्या को अपडेट करें, और हम इस मुद्दे को फिर से खोलेंगे। धन्यवाद!

इतनी जल्दी नहीं, मैं भी इस दुर्घटना को देखता हूं। मैकबुक प्रो, geforce 650. TF v1. ज्यूपिटर कर्नेल के माध्यम से चल रहा है, जिसे मुझे बार-बार पुनरारंभ करना पड़ता है। हो सकता है कि यह ग्राफिक्स कार्ड बहुत कमजोर हो? यह देखते हुए कि ऑप एक ही कार्ड का उपयोग कैसे करता है: संभावना है।

I tensorflow/stream_executor/dso_loader.cc:135] successfully opened CUDA library libcublas.8.0.dylib locally
I tensorflow/stream_executor/dso_loader.cc:135] successfully opened CUDA library libcudnn.5.dylib locally
I tensorflow/stream_executor/dso_loader.cc:135] successfully opened CUDA library libcufft.8.0.dylib locally
I tensorflow/stream_executor/dso_loader.cc:135] successfully opened CUDA library libcuda.1.dylib locally
I tensorflow/stream_executor/dso_loader.cc:135] successfully opened CUDA library libcurand.8.0.dylib locally
...
I tensorflow/core/common_runtime/gpu/gpu_device.cc:885] Found device 0 with properties: 
name: GeForce GT 650M
major: 3 minor: 0 memoryClockRate (GHz) 0.9
pciBusID 0000:01:00.0
Total memory: 1023.69MiB
Free memory: 870.46MiB
I tensorflow/core/common_runtime/gpu/gpu_device.cc:906] DMA: 0 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:916] 0:   Y 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:975] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GT 650M, pci bus id: 0000:01:00.0)
E tensorflow/stream_executor/cuda/cuda_dnn.cc:397] could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR
E tensorflow/stream_executor/cuda/cuda_dnn.cc:364] could not destroy cudnn handle: CUDNN_STATUS_BAD_PARAM
F tensorflow/core/kernels/conv_ops.cc:605] Check failed: stream->parent()->GetConvolveAlgorithms(&algorithms) 

मुझे GTX 960m, cudnn5.1.5 और cuda-8.0.44 के साथ भी यही समस्या है।

सेंटोस, टाइटन एक्स के साथ भी यही समस्या है

ubuntu (14.04) और GRID K520 (aws g2.2) के साथ भी यही समस्या है

एक ही समस्या है windows 10 cudnn 5.1 cuda 8 gtx 1060। प्रोग्राम टेंसर फ्लो के cpu संस्करण पर काम करता है लेकिन gpu संस्करण के साथ यही त्रुटियां प्राप्त करता है।

मेरे पास gtx1060, win8.1, cuda8.0.60, cudnn5.0 के साथ एक ही समस्या थी। नवीनतम स्थिर टेंसरफ़्लो-जीपीयू नाइटली बिल्ड (वर्तमान में http://ci.tensorflow.org/job/nightly-win/133/) और cudnn5.1 में अपग्रेड किया गया। समस्या हल हो गई।

यहाँ वही मुद्दा।

मैं नीचे सूचीबद्ध सॉफ़्टवेयर संस्करणों के साथ इस समस्या का सामना कर रहा था, सिवाय TF संस्करण 1.0.0 था। मैंने फिर TF 1.0.1 में अपग्रेड किया। मैंने एक ही कार्यक्रम को एक बार चलाया और यह काम किया । मैंने फिर इसे फिर से चलाया और यह काम नहीं किया - इसने पहले की तरह ही त्रुटि उत्पन्न की।

टेंसरफ़्लो-जीपीयू 1.0.1
मैक ओएस एक्स 10.12.3
कुडा 8.0.61
क्यूडीएनएन 5.1
GeForce GT 750M

gtx650, ubuntu 16.04, CUDA संस्करण 8.0.61, TF संस्करण 1.0.0 के साथ एक ही समस्या है
यह अभी काम कर रहा था, लेकिन कुछ कम स्मृति चेतावनी दे रहा था। हालाँकि, यह चल रहा था
अब यह बिल्कुल भी नहीं चलता है, मुझे वही चेक दे रहा है: स्ट्रीम-> पैरेंट () -> GetConvolveAlgorithms (& एल्गोरिदम) त्रुटि

जीटीएक्स 1080 टीआई, विंडोज़ 10, सीयूडीए संस्करण 8.0.61, टीएफ संस्करण 1.0.1, 5.1 कुडान, क्यूडा 8.0.61 के साथ एक ही समस्या है।

मैं GPU के उपयोग को सीमित करके काम करने के लिए एक प्रोग्राम प्राप्त करने में सक्षम था। मेरे मामले में उबंटू 16.04 पर 3 जीबी जीटीएक्स 1060 के साथ, अगर मैं gpu विकल्प per_process_gpu_memory_fraction को .7 पर सेट करता हूं तो यह काम करता है। कुछ भी अधिक, मुझे ये त्रुटियां मिलती हैं

E tensorflow/stream_executor/cuda/cuda_dnn.cc:397] cudnn हैंडल नहीं बना सका: CUDNN_STATUS_INTERNAL_ERROR
E tensorflow/stream_executor/cuda/cuda_dnn.cc:364] cudnn हैंडल को नष्ट नहीं कर सका: CUDNN_STATUS_BAD_PARAM
F tensorflow/core/kernels/conv_ops.cc:605] जाँच विफल: स्ट्रीम-> पैरेंट () -> GetConvolveAlgorithms(&algorithms)

यह टेंसरफ़्लो द्वारा खराब त्रुटि रिपोर्टिंग का मामला हो सकता है। पूरी तरह से असंबंधित लगता है। शायद यह इसे बेहतर तरीके से हल करने का एक सुराग है?

@ झेंग-एक्सक्यू क्या कोई स्पष्ट सेटअप समस्या है?

वही मुद्दा भी। मैं विंडोज 10, GTX1070, CUDA 8.0, cuDNN 5.1 पर हूं।

E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:359] cudnn हैंडल नहीं बना सका: CUDNN_STATUS_NOT_INITIALIZED
E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:366] ड्राइवर संस्करण को पुनर्प्राप्त करने में त्रुटि: लागू नहीं किया गया: कर्नेल रिपोर्ट किए गए ड्राइवर संस्करण को विंडोज़ पर लागू नहीं किया गया
E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:326] cudnn हैंडल को नष्ट नहीं कर सका: CUDNN_STATUS_BAD_PARAM
F c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\core\kernels\conv_ops.cc:659] चेक फेल: स्ट्रीम-> पैरेंट ()-> GetConvolveAlgorithms(&algorithms)

अगर यह किसी की मदद करता है, तो ऐसा लगता है कि कभी-कभी ज़ोंबी प्रक्रियाएं शेष होती हैं जो टीएफ को फिर से ठीक से शुरू करने से रोकती हैं और मुझे यह त्रुटि देती है। उन्हें मारना इस मुद्दे के आसपास काम करता है।

यहां कुछ और जानकारी दी गई है कि मैंने इसे अस्थायी रूप से कैसे हल किया। मेरा मानना ​​​​है कि ये सभी मुद्दे GPU मेमोरी आवंटन से संबंधित हैं और इनका रिपोर्ट की जा रही त्रुटियों से कोई लेना-देना नहीं है। इससे पहले अन्य त्रुटियां थीं जो किसी प्रकार की मेमोरी आवंटन समस्या का संकेत देती थीं, लेकिन कार्यक्रम आगे बढ़ता रहा, अंततः सभी को मिलने वाली कुडन त्रुटियां दे रहा था। मेरा मानना ​​​​है कि यह कभी-कभी काम करता है, इसका कारण यह है कि यदि आप टेंसरफ़्लो के अलावा अन्य चीजों के लिए जीपीयू का उपयोग करते हैं जैसे कि आपका प्राथमिक प्रदर्शन, उपलब्ध मेमोरी में उतार-चढ़ाव होता है। कभी-कभी आप जो चाहते हैं उसे आवंटित कर सकते हैं और दूसरी बार यह नहीं कर सकते हैं।

एपीआई से
https://www.tensorflow.org/versions/r0.12/how_tos/using_gpu/
"डिफ़ॉल्ट रूप से, TensorFlow प्रक्रिया के लिए दृश्यमान सभी GPU (CUDA_VISIBLE_DEVICES के अधीन) की लगभग सभी GPU मेमोरी को मैप करता है। यह मेमोरी विखंडन को कम करके डिवाइस पर अपेक्षाकृत कीमती GPU मेमोरी संसाधनों का अधिक कुशलता से उपयोग करने के लिए किया जाता है।"

मुझे लगता है कि यह डिफ़ॉल्ट आवंटन किसी तरह से टूटा हुआ है जो इस अनिश्चित व्यवहार और कुछ स्थितियों को काम करने और दूसरों को विफल करने का कारण बनता है।

मैंने न्यूनतम मात्रा में मेमोरी आवंटित करने के लिए TF के डिफ़ॉल्ट व्यवहार को बदलकर और वेबपेज में विस्तृत रूप से आवश्यकतानुसार बढ़ने के द्वारा इस समस्या का समाधान किया है।
कॉन्फिग = tf.ConfigProto ()
config.gpu_options.allow_growth = सही
सत्र = tf. सत्र (कॉन्फ़िगरेशन = कॉन्फ़िग, ...)

मैंने वैकल्पिक तरीके से भी कोशिश की है और इसे काम करने में सक्षम था और प्रयोगात्मक रूप से काम करने वाले प्रतिशत को चुनने में असफल रहा। मेरे मामले में यह लगभग .7 हो गया।

कॉन्फिग = tf.ConfigProto ()
config.gpu_options.per_process_gpu_memory_fraction = 0.4
सत्र = tf. सत्र (कॉन्फ़िगरेशन = कॉन्फ़िग, ...)

अभी भी टीएफ टीम के किसी भी व्यक्ति ने इसकी पुष्टि नहीं की है, लेकिन यह देखने के लायक है कि क्या अन्य समान व्यवहार की पुष्टि कर सकते हैं।

मुझे CUDNN_STATUS_NOT_INITIALIZED त्रुटि भी मिल रही है। यहाँ पूर्ण त्रुटि लॉग है:

2017-04-26 00:08:57.526234: I c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\core\common_runtime\gpu\gpu_device.cc:977] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX 1080, pci bus id: 0000:01:00.0)
2017-04-26 00:09:01.111706: E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:359] could not create cudnn handle: CUDNN_STATUS_NOT_INITIALIZED
2017-04-26 00:09:01.111805: E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:366] error retrieving driver version: Unimplemented: kernel reported driver version not implemented on Windows
2017-04-26 00:09:01.114040: E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:326] could not destroy cudnn handle: CUDNN_STATUS_BAD_PARAM
2017-04-26 00:09:01.114232: F c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\core\kernels\conv_ops.cc:659] Check failed: stream->parent()->GetConvolveAlgorithms(&algorithms)

मैं विंडोज 10, CUDA 8.0, cuDNN 5.1 पर हूं। क्या इनसे बचने के लिए कुछ किया जा सकता है? मैं पहले कुछ अन्य टेंसरफ़्लो परीक्षण चलाने में सक्षम था और इसने ठीक काम किया (रूपांतरण सहित), लेकिन अब यह इस नए परीक्षण पर काम नहीं करता है ...

@ serans1 आप किस ज़ोंबी प्रक्रियाओं का जिक्र कर रहे हैं?

कृपया मुझे बताएं कि क्या इसका कोई उपाय है। शुक्रिया!

संपादित करें यह एक नौसिखिया गलती हो सकती है, लेकिन मैं यहां इसका उल्लेख करूंगा, अगर कोई और उसी मुद्दे पर चलता है:
मेरी समस्या यह थी कि मेरे पास पहले से ही एक ज्यूपिटर पायथन नोटबुक का एक उदाहरण चल रहा था (जिसकी सभी कोशिकाएं पहले से ही चल रही थीं, इसलिए मेमोरी में भरी हुई थीं), और कुछ अन्य प्रक्रिया भी जो GPU मेमोरी (न्यूनतम वीडियो गेम) ले रही थी। इसलिए, जब मैंने अपने GPU पर मेमोरी उपयोग की जाँच की, तो यह पहले से ही लगभग 4+GB (50+%) था। मैंने ज्यूपिटर नोटबुक और अन्य एप्लिकेशन को बंद कर दिया, और अपना टेंसरफ़्लो परीक्षण फिर से चलाया। अब सब कुछ सुचारू रूप से चला :) साथ ही, दौड़ते समय मैंने देखा कि चरम पर यह मेरी GPU मेमोरी का 90% तक उपयोग करता है, और इस प्रकार यह समझ में आता है कि जब यह मेरी प्रारंभिक स्थिति में 50% से कम उपलब्ध था, तो यह CUDNN को प्रारंभ क्यों नहीं कर सका .

मेरी गलती के लिए फिर से क्षमा करें! मैं इसके साथ खेलने की शुरुआत में हूं :)

वही समस्या, क्या इसका कोई समाधान है?

मैं c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\core\common_runtime\gpu\gpu_device.cc:885] गुणों के साथ डिवाइस 0 मिला:
नाम: GeForce GTX 960M
मेजर: 5 माइनर: 0 मेमोरीक्लॉकरेट (गीगाहर्ट्ज) 1.176
पीसीआईबसआईडी 0000:01:00.0
कुल मेमोरी: 4.00GiB
फ्री मेमोरी: 3.35GiB
मैं c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\core\common_runtime\gpu\gpu_device.cc:906] DMA: 0
मैं c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\core\common_runtime\gpu\gpu_device.cc:916] 0: Y
मैं c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\core\common_runtime\gpu\gpu_device.cc:975] TensorFlow डिवाइस बनाना (/gpu:0) -> (डिवाइस: 0, नाम: GeForce GTX 960M, पीसीआई बस आईडी: 0000:01:00.0)
E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\core\common_runtime\gpu\gpu_device.cc:586] NUMA नोड की पहचान नहीं कर सका /job:localhost/प्रतिकृति:0 /task:0/gpu:0, डिफ़ॉल्ट रूप से 0. हो सकता है कि आपका कर्नेल NUMA समर्थन के साथ नहीं बनाया गया हो।
E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:385] cudnn हैंडल नहीं बना सका: CUDNN_STATUS_NOT_INITIALIZED
E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:392] ड्राइवर संस्करण प्राप्त करने में त्रुटि: अनुमति अस्वीकृत: पढ़ने के लिए ड्राइवर संस्करण पथ नहीं खोल सका : / खरीद / चालक / एनवीडिया / संस्करण
E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:352] cudnn हैंडल को नष्ट नहीं कर सका: CUDNN_STATUS_BAD_PARAM
F c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\core\kernels\conv_ops.cc:532] चेक फेल: स्ट्रीम-> पैरेंट ()-> GetConvolveAlgorithms(&algorithms)

मेरे पास बिल्कुल वही मुद्दा है।
लेकिन मैं अपने कोड रूट एक्सेस (सूडो के साथ) के साथ चला सकता हूं।
वर्तमान में मैं GTX 960 के साथ Ubuntu 16.04 पर काम कर रहा हूं।
मेरा CUDA संस्करण 8.0 है और मैं टेंसरफ़्लो 1.01 का उपयोग कर रहा हूँ

विंडोज 10 / टेंसरफ्लो 1.01
मैं इसे पूरी तरह से इस्तेमाल कर रहा था लेकिन अब गलती से मेरे साथ भी यही त्रुटि हो रही है

नाम: GeForce GTX 1070
मेजर: 6 माइनर: 1 मेमोरीक्लॉक रेट (GHz) 1.7715
पीसीआईबसआईडी 0000:03:00.0
कुल मेमोरी: 8.00GiB
फ्री मेमोरी: 6.68GiB
2017-05-08 21:12:16.103654: मैं c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\core\common_runtime\gpu\gpu_device.cc:908] DMA: 0
2017-05-08 21:12:16.105184: मैं c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\core\common_runtime\gpu\gpu_device.cc:918] 0: Y
2017-05-08 21:12:16.106710: I c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\core\common_runtime\gpu\gpu_device.cc:977] TensorFlow डिवाइस बनाना (/gpu:0) -> (डिवाइस: 0, नाम: GeForce GTX 1070, पीसीआई बस आईडी: 0000:03:00.0)
2017-05-08 21:12:24.395060: E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:359] cudnn हैंडल नहीं बना सका : CUDNN_STATUS_NOT_INITIALIZED
2017-05-08 21:12:24.395177: E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:366] ड्राइवर संस्करण को पुनर्प्राप्त करने में त्रुटि: लागू नहीं किया गया: कर्नेल ने रिपोर्ट किया कि ड्राइवर संस्करण विंडोज़ पर लागू नहीं किया गया है
2017-05-08 21:12:24.396636: E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:326] cudnn हैंडल को नष्ट नहीं कर सका : CUDNN_STATUS_BAD_PARAM
2017-05-08 21:12:24.396846: F c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\core\kernels\conv_ops.cc:659] चेक फेल: स्ट्रीम- > पैरेंट () -> GetConvolveAlgorithms(&algorithms)

@strickon की विधि ने मेरे लिए काम किया। ऐसा लगता है कि टेंसरफ़्लो एक साथ बहुत सारे संसाधनों को हॉग करने की कोशिश कर रहा है और जो ऑपरेशन को क्रैश नहीं कर सकता है। मैंने विशेष रूप से उपयोग किया:

config.gpu_options.allow_growth = सही

@strickon के सुझाव की पुष्टि

मैं https://github.com/awjuliani/DeepRL-Agents/blob/master/Double-Dueling-DQN.ipynb चला रहा हूं और अपडेट ब्लॉक के भीतर sess.run को पहली कॉल पर इस थ्रेड में उल्लिखित विफलताओं को प्राप्त कर रहा था ( The लाइन: Q1 = sess.run(mainQN.predict,feed_dict={mainQN.scalarInput:np.vstack(trainBatch[:,3])}) ।

allow_growth ध्वज (नीचे के अनुसार) जोड़ने से मुझे यह टक्कर मिली - कोड वर्तमान में पृष्ठभूमि में चल रहा है, हम देखेंगे कि यह कितनी दूर जाता है।

config = tf.ConfigProto()
config.gpu_options.allow_growth = True
sess = tf.Session(config=config)

ढेर:

• मैकबुक प्रो, सिएरा 10.12.4 पर चल रहा है, जिसमें एनवीआईडीआईए जेफफोर्स जीटी 750 एम 2048 एमबी है। आमतौर पर केवल 1.7GB मुफ्त होता है।
• TensorFlow 1.1 एनाकोंडा संस्थापन निर्देशों का उपयोग करना।
• पायथन 3.6, आभासी नहीं (एनाकोंडा)
• CUDA 8 / cuDNN 5

मैं अनुरोध पर अधिक आँकड़े डंप करने के साथ ठीक हूँ।

मैं एक ही समय में दो टर्मिनलों के साथ काम कर रहा था और एक ही समस्या थी। इसे एक टर्मिनल बंद करके हल किया गया था।

हाल की गतिविधि की कमी के कारण स्वचालित रूप से बंद हो रहा है। नई जानकारी उपलब्ध होने पर कृपया समस्या को अपडेट करें, और हम इस मुद्दे को फिर से खोलेंगे। धन्यवाद!

@strickon द्वारा सुझाए गए परिवर्तनों को लागू करने के बाद, मुझे जानकारी लॉग का एक नया सेट दिखाई देने लगा:

2017-06-23 04:45:57.156787: I c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\35\tensorflow\core\common_runtime\gpu\pool_allocator.cc:247] PoolAllocator: After 3205 get requests, put_count=2333 evicted_count=1000 eviction_rate=0.428633 and unsatisfied allocation rate=0.615289
2017-06-23 04:45:57.156880: I c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\35\tensorflow\core\common_runtime\gpu\pool_allocator.cc:259] Raising pool_size_limit_ from 100 to 110
step 0 - loss = 5.632, (19.351 sec/step)

सुनिश्चित नहीं है कि संबंधित है।

यहाँ वही त्रुटि।

Windows 10 x86_64, GeForce GTX 970, ड्राइवर 376.53, Cuda 8.0, cuDNN 5.1., tensorflow-gpu 1.2.0 पाइप से, अजगर 3.6

मैं वेबसाइट के ट्यूटोरियल अनुभाग से डिफ़ॉल्ट उदाहरण चलाने की कोशिश कर रहा हूं:

https://www.tensorflow.org/tutorials/image_रिकग्निशन

python classify_image.py

मेरे पास एक ही त्रुटि है:

`
```
(C:\ProgramData\Anaconda3) C:\Users\Locky\Google иск\MachineLearning\Tensorflow-Tutorials\Repo\models\tutorials\image\imagenet>python classify_image.py
2017-06-25 18:36:32.318287: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] TensorFlow लाइब्रेरी SSE निर्देशों का उपयोग करने के लिए संकलित नहीं किया गया था, लेकिन ये आपकी मशीन पर उपलब्ध हैं और CPU संगणनाओं को गति दे सकते हैं।
2017-06-25 18:36:32.318514: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] TensorFlow लाइब्रेरी SSE2 निर्देशों का उपयोग करने के लिए संकलित नहीं किया गया था, लेकिन ये आपकी मशीन पर उपलब्ध हैं और CPU संगणनाओं को गति दे सकते हैं।
2017-06-25 18:36:32.323556: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] TensorFlow लाइब्रेरी SSE3 निर्देशों का उपयोग करने के लिए संकलित नहीं किया गया था, लेकिन ये आपकी मशीन पर उपलब्ध हैं और CPU संगणनाओं को गति दे सकते हैं।
2017-06-25 18:36:32.323719: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] TensorFlow लाइब्रेरी SSE4.1 निर्देशों का उपयोग करने के लिए संकलित नहीं किया गया था, लेकिन ये आपकी मशीन पर उपलब्ध हैं और CPU संगणनाओं को गति दे सकते हैं।
2017-06-25 18:36:32.323834: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] TensorFlow लाइब्रेरी SSE4.2 निर्देशों का उपयोग करने के लिए संकलित नहीं किया गया था, लेकिन ये आपकी मशीन पर उपलब्ध हैं और CPU संगणनाओं को गति दे सकते हैं।
2017-06-25 18:36:32.323930: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] TensorFlow लाइब्रेरी AVX निर्देशों का उपयोग करने के लिए संकलित नहीं किया गया था, लेकिन ये आपकी मशीन पर उपलब्ध हैं और CPU संगणनाओं को गति दे सकते हैं।
2017-06-25 18:36:32.324205: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] TensorFlow लाइब्रेरी AVX2 निर्देशों का उपयोग करने के लिए संकलित नहीं किया गया था, लेकिन ये आपकी मशीन पर उपलब्ध हैं और CPU संगणनाओं को गति दे सकते हैं।
2017-06-25 18:36:32.324351: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] TensorFlow लाइब्रेरी FMA निर्देशों का उपयोग करने के लिए संकलित नहीं किया गया था, लेकिन ये आपकी मशीन पर उपलब्ध हैं और CPU संगणनाओं को गति दे सकते हैं।
2017-06-25 18: 36: 32.707933: I c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:940] मिला डिवाइस 0 गुणों के साथ:
नाम: GeForce GTX 970
मेजर: 5 माइनर: 2 मेमोरीक्लॉकरेट (गीगाहर्ट्ज) 1.253
पीसीआईबसआईडी 0000:01:00.0
कुल मेमोरी: 4.00GiB
फ्री मेमोरी: 3.31GiB
2017-06-25 18:36:32.708332: मैं c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:961] DMA : 0
2017-06-25 18:36:32.713764: मैं c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:971] 0 : आप
2017-06-25 18:36:32.713991: मैं c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:1030] बनाना TensorFlow डिवाइस (/gpu:0) -> (डिवाइस: 0, नाम: GeForce GTX 970, pci बस आईडी: 0000:01:00.0)
2017-06-25 18:36:34.854555: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\framework\op_def_util.cc:332] Op BatchNormWithGlobalNormalization है पदावनत। यह GraphDef संस्करण 9 में काम करना बंद कर देगा। tf.nn.batch_normalization() का उपयोग करें।
2017-06-25 18:36:35.836895: E c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\stream_executor\cuda\cuda_dnn.cc:359] नहीं बना सका कुडन हैंडल: CUDNN_STATUS_NOT_INITIALIZED
2017-06-25 18: 36: 35.837068: E c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\stream_executor\cuda\cuda_dnn.cc:366] ड्राइवर को पुनर्प्राप्त करने में त्रुटि संस्करण: लागू नहीं किया गया: कर्नेल ने रिपोर्ट किया कि ड्राइवर संस्करण विंडोज़ पर लागू नहीं किया गया है
2017-06-25 18: 36: 35.841593: E c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\stream_executor\cuda\cuda_dnn.cc:326] नष्ट नहीं कर सका कुडन हैंडल: CUDNN_STATUS_BAD_PARAM
2017-06-25 18:36:35.841690: F c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\kernels\conv_ops.cc:671] जांच विफल: स्ट्रीम-> पैरेंट ()-> GetConvolveAlgorithms (& एल्गोरिदम)

(C:\ProgramData\Anaconda3) C:\Users\Locky\Google иск\MachineLearning\Tensorflow-Tutorials\Repo\models\tutorials\image\imagenet>

````

मेरे मामले में, ऐसा इसलिए हुआ क्योंकि अन्य टेंसरफ़्लो इंस्टेंस में GPU था। (अन्य स्क्रिप्ट चल रही हैं।)

क्या मैं एक बेहतर त्रुटि संदेश प्रस्तावित कर सकता हूं? कहें, "त्रुटि: अन्य टेंसरफ़्लो इंस्टेंस चल रहे हैं, जबकि केवल एक ही समर्थित है।"

मेरे साथ भी वही दिक्कत है। macOS 10.12.5 GT 750M 2GB चल रहा है

python neural_style.py --content /Users/qinyuhang/Pictures/0.jpeg  --styles IMG_1105.JPG --output 1.out.jpg --iterations 500
2017-07-05 22:16:54.531699: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:857] OS X does not support NUMA - returning NUMA node zero
2017-07-05 22:16:54.532257: I tensorflow/core/common_runtime/gpu/gpu_device.cc:940] Found device 0 with properties: 
name: GeForce GT 750M
major: 3 minor: 0 memoryClockRate (GHz) 0.9255
pciBusID 0000:01:00.0
Total memory: 2.00GiB
Free memory: 1.54GiB
2017-07-05 22:16:54.532435: I tensorflow/core/common_runtime/gpu/gpu_device.cc:961] DMA: 0 
2017-07-05 22:16:54.532461: I tensorflow/core/common_runtime/gpu/gpu_device.cc:971] 0:   Y 
2017-07-05 22:16:54.532471: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1030] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GT 750M, pci bus id: 0000:01:00.0)
2017-07-05 22:17:07.284016: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1030] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GT 750M, pci bus id: 0000:01:00.0)
2017-07-05 22:17:44.973549: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1030] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GT 750M, pci bus id: 0000:01:00.0)
Optimization started...
Iteration    1/ 500
2017-07-05 22:17:47.485948: E tensorflow/stream_executor/cuda/cuda_dnn.cc:359] could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR
2017-07-05 22:17:47.485977: E tensorflow/stream_executor/cuda/cuda_dnn.cc:326] could not destroy cudnn handle: CUDNN_STATUS_BAD_PARAM
2017-07-05 22:17:47.485983: F tensorflow/core/kernels/conv_ops.cc:671] Check failed: stream->parent()->GetConvolveAlgorithms(&algorithms) 
[1]    66448 abort      python neural_style.py --content /Users/qinyuhang/Pictures/0.jpeg --styles   

इसे हल किया (कम से कम मेरे लिए)। त्रुटि संदेश आपको सही समस्या की ओर नहीं ले जाता है। मुझे यह त्रुटि 2 अलग-अलग स्रोतों से मिली थी:

पहले (जैसे @lockywolf ने कहा):
मैं ज्यूपिटर नोटबुक का उपयोग करता हूं और कभी-कभी टीएफ कर्नेल GPU मेमोरी को मुक्त नहीं करता है और आपको इसे फिर से काम करने के लिए ज्यूपिटर को पुनरारंभ करना होगा । यह आमतौर पर रन-टाइम त्रुटियों या अनुचित कर्नेल पुनरारंभ होने के बाद होता है ...

दूसरा:
कभी-कभी आप GPU मेमोरी के साथ लालची हो जाते हैं और इस तरह की चीजों को आजमाते हैं:

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.9)
sess = tf.InteractiveSession(config=tf.ConfigProto(gpu_options=gpu_options))

यह मेरे कॉन्फ़िगरेशन के लिए घातक था और यह त्रुटि प्राप्त करना शुरू कर दिया। समाधान इंटरैक्टिव सत्र शुरू करने के लिए डिफ़ॉल्ट तरीके का
sess = tf.InteractiveSession()

प्रणाली:

उबंटू 14.04
GeForce GTX 780
CUDA ड्राइवर संस्करण = 8.0
सीयूडीएनएन संस्करण = 5.1
TensorFlow संस्करण = 1.2.1

मुझे अब अपनी स्क्रिप्ट चलाने में एक ही समस्या है।
मुझे लगता है कि यह वही कारण है जैसे @lockywolf वर्णित है:

मेरे मामले में, ऐसा इसलिए हुआ क्योंकि अन्य टेंसरफ़्लो इंस्टेंस में GPU था। (अन्य स्क्रिप्ट चल रही हैं।)

मुझे यह त्रुटि बहुत बार हुई लेकिन अनियमित थी, फिर मैंने @RawthiL के नेतृत्व का अनुसरण किया और अपनी स्क्रिप्ट में एक सत्र जोड़ा। हालाँकि, मैंने स्क्रिप्ट को सफलतापूर्वक निष्पादित किया और कर्नेल को फिर से शुरू किया और फिर से वही त्रुटि संदेश मिला। क्या सत्र को खोलने, GPU पर दावा करने और गणना पूरी होने के बाद इसे बंद करने का कोई समाधान है?

चीयर्स!

संपादित करें:
@RawthiL के समाधान के अलावा टीएफ परिचय का पालन

हमें एक TensorFlow सत्र बनाकर और इसे Keras के साथ पंजीकृत करके शुरू करना चाहिए। इसका मतलब यह है कि केरस हमारे द्वारा पंजीकृत सत्र का उपयोग उन सभी चरों को आरंभ करने के लिए करेगा जो यह आंतरिक रूप से बनाता है।

tf . के रूप में टेंसरफ़्लो आयात करें
सत्र = tf.सत्र ()

केरस आयात बैकएंड से K . के रूप में
के.सेट_सेशन(सत्र)

समान समस्या। दिन भर इस काम को करने के लिए चढाई करते रहे।

$ ~/neural-style$ python neural_style.py --content ~/Documents/8UhFDcjT.jpg --styles ~/Documents/9odz6-jbngd.png --output ./Documents/Scott.png
2017-07-26 20:57:08.373361: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE4.1 instructions, but these are available on your machine and could speed up CPU computations.
2017-07-26 20:57:08.373397: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE4.2 instructions, but these are available on your machine and could speed up CPU computations.
2017-07-26 20:57:08.373413: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX instructions, but these are available on your machine and could speed up CPU computations.
2017-07-26 20:57:08.373417: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX2 instructions, but these are available on your machine and could speed up CPU computations.
2017-07-26 20:57:08.373421: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use FMA instructions, but these are available on your machine and could speed up CPU computations.
2017-07-26 20:57:08.431319: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:893] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
2017-07-26 20:57:08.431630: I tensorflow/core/common_runtime/gpu/gpu_device.cc:940] Found device 0 with properties: 
name: GeForce GTX 870M
major: 3 minor: 0 memoryClockRate (GHz) 0.967
pciBusID 0000:01:00.0
Total memory: 2.95GiB
Free memory: 2.53GiB
2017-07-26 20:57:08.431664: I tensorflow/core/common_runtime/gpu/gpu_device.cc:961] DMA: 0 
2017-07-26 20:57:08.431674: I tensorflow/core/common_runtime/gpu/gpu_device.cc:971] 0:   Y 
2017-07-26 20:57:08.431690: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1030] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX 870M, pci bus id: 0000:01:00.0)
2017-07-26 20:57:11.692616: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1030] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX 870M, pci bus id: 0000:01:00.0)
2017-07-26 20:57:19.800938: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1030] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX 870M, pci bus id: 0000:01:00.0)
Optimization started...
Iteration    1/1000
2017-07-26 20:57:20.535515: E tensorflow/stream_executor/cuda/cuda_dnn.cc:359] could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR
2017-07-26 20:57:20.535573: E tensorflow/stream_executor/cuda/cuda_dnn.cc:326] could not destroy cudnn handle: CUDNN_STATUS_BAD_PARAM
2017-07-26 20:57:20.535588: F tensorflow/core/kernels/conv_ops.cc:671] Check failed: stream->parent()->GetConvolveAlgorithms(&algorithms) 

मैंने पाया कि कुछ मामलों में ज्यूपिटर कर्नेल को रीसेट करने से काम नहीं चलेगा। वास्तव में यह मेरे साथ jupyterhub का उपयोग करते समय हुआ था।
मैंने कर्नेल को पुनरारंभ किया, मेरे वर्चुअलएन्व को निष्क्रिय कर दिया और GPU मेमोरी अभी भी किसी प्रक्रिया द्वारा आयोजित की जा रही थी। nvidia-smi कमांड ने कहा कि GPU का उपयोग करने की कोई प्रक्रिया नहीं थी और जब मैंने इसे sudo nvidia-smi --gpu-reset -i 0 (0 gpu कोर के लिए) के साथ रीसेट करने का प्रयास किया तो इसने निम्नलिखित कहा:

इस GPU को रीसेट करने में असमर्थ क्योंकि इसका उपयोग किसी अन्य प्रक्रिया द्वारा किया जा रहा है (जैसे CUDA एप्लिकेशन, X सर्वर जैसे ग्राफिक्स एप्लिकेशन, nvidia-smi के अन्य उदाहरण की तरह मॉनिटरिंग एप्लिकेशन)। कृपया पहले इस GPU का उपयोग करके सभी प्रक्रियाओं को समाप्त करें और सिस्टम में चल रहे सभी कंप्यूट एप्लिकेशन (भले ही वे अन्य GPU पर चल रहे हों) और फिर GPU को फिर से रीसेट करने का प्रयास करें।
पिछली त्रुटियों के कारण जल्दी समाप्त करना।

तो GPU को पकड़े हुए कुछ प्रक्रिया थी, और मैंने sudo fuser -v /dev/nvidia* का उपयोग करके उनकी तलाश की, जिसमें कहा गया था कि वास्तव में GPU को पकड़े हुए कुछ था ... अजगर ही ... इसे मारना और virtualenv और jupyter को फिर से लॉन्च करना था छल।
मैं इसे हल करने का सबसे अच्छा तरीका नहीं हो सकता, लेकिन अन्य सभी विकल्प विफल होने पर कंप्यूटर को रीसेट करने से बेहतर है।

एक ही मुद्दा हो। CUDA 8.0 के लिए GPU GTX 1070 और CUDA 8.0 और CUDNN 5.1 है।

समस्या उपयोगकर्ता कोड पर निर्भर नहीं करती है, यह हार्डवेयर या एनवीडिया या Google सॉफ़्टवेयर स्थिति पर निर्भर करती है। यह त्रुटि किसी भी समय बढ़ना शुरू हो सकती है और रिबूट इसे उसी उपयोगकर्ता कोड से ठीक कर सकता है।

विंडोज 10, GTX770, CUDA 8.0, CUDNN 5.1, TF-GPU 1.1.0 के साथ एक ही समस्या, यह सुनिश्चित नहीं है कि डिवाइस ड्राइवर संस्करण कहां से प्राप्त करें, लेकिन विंडोज डिवाइस मैनेजर डिस्प्ले ड्राइवर के लिए 21.21.13.7651 की रिपोर्ट करता है।

connect  84557d348c06492e80ff0304d516367b
2017-08-11 15:51:41.974028: E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:359] could not create cudnn handle: CUDNN_STATUS_NOT_INITIALIZED
2017-08-11 15:51:41.974536: E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:366] error retrieving driver version: Unimplemented: kernel reported driver version not implemented on Windows
2017-08-11 15:51:41.974923: E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:326] could not destroy cudnn handle: CUDNN_STATUS_BAD_PARAM
2017-08-11 15:51:41.975194: F c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\core\kernels\conv_ops.cc:659] Check failed: stream->parent()->GetConvolveAlgorithms(&algorithms)

विंडोज 10, GTX770, CUDA 8.0, CUDNN 5.1, TF-GPU 1.1.0 के साथ एक ही समस्या, यह सुनिश्चित नहीं है कि डिवाइस ड्राइवर संस्करण कहां से प्राप्त करें, लेकिन विंडोज डिवाइस मैनेजर डिस्प्ले ड्राइवर के लिए 21.21.13.7651 की रिपोर्ट करता है।

connect  84557d348c06492e80ff0304d516367b
2017-08-11 15:51:41.974028: E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:359] could not create cudnn handle: CUDNN_STATUS_NOT_INITIALIZED
2017-08-11 15:51:41.974536: E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:366] error retrieving driver version: Unimplemented: kernel reported driver version not implemented on Windows
2017-08-11 15:51:41.974923: E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:326] could not destroy cudnn handle: CUDNN_STATUS_BAD_PARAM
2017-08-11 15:51:41.975194: F c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\core\kernels\conv_ops.cc:659] Check failed: stream->parent()->GetConvolveAlgorithms(&algorithms)

@ggranum के फिक्स ने मेरे लिए काम किया:

config = tf.ConfigProto()
config.gpu_options.allow_growth = True
sess = tf.Session(config=config)

मेरे मामले में NVIDIA gpu ड्राइवर को अपडेट करके उसी मुद्दे को हल किया गया था।

क्या यह समस्या पूरी तरह से हल हो गई है। मैं CUDA 8.0 और cuDNN 5.1 के साथ Ubuntu 16.04 पर TF 1.3.0 चला रहा हूं। मैंने अपने पैकेजों को स्थापित करने के लिए एनाकोंडा का उपयोग किया। यादृच्छिक रूप से 4 दिन पहले, मुझे भी इस त्रुटि का अनुभव हुआ था

name: GeForce GTX 1080 Ti major: 6 minor: 1 memoryClockRate (GHz) 1.582 pciBusID 0000:05:00.0 Total memory: 10.91GiB Free memory: 10.30GiB 2017-09-05 07:47:05.397839: W tensorflow/stream_executor/cuda/cuda_driver.cc:523] A non-primary context 0x30028e0 exists before initializing the StreamExecutor. We haven't verified StreamExecutor works with that. 2017-09-05 07:47:05.401343: I tensorflow/core/common_runtime/gpu/gpu_device.cc:955] Found device 1 with properties: name: GeForce GTX 1080 Ti major: 6 minor: 1 memoryClockRate (GHz) 1.582 pciBusID 0000:06:00.0 Total memory: 10.91GiB Free memory: 10.75GiB 2017-09-05 07:47:05.658932: W tensorflow/stream_executor/cuda/cuda_driver.cc:523] A non-primary context 0x2ffe910 exists before initializing the StreamExecutor. We haven't verified StreamExecutor works with that. 2017-09-05 07:47:05.659690: I tensorflow/core/common_runtime/gpu/gpu_device.cc:955] Found device 2 with properties: name: GeForce GTX 1080 Ti major: 6 minor: 1 memoryClockRate (GHz) 1.582 pciBusID 0000:09:00.0 Total memory: 10.91GiB Free memory: 10.75GiB 2017-09-05 07:47:05.898536: W tensorflow/stream_executor/cuda/cuda_driver.cc:523] A non-primary context 0x2ffa940 exists before initializing the StreamExecutor. We haven't verified StreamExecutor works with that. 2017-09-05 07:47:05.899294: I tensorflow/core/common_runtime/gpu/gpu_device.cc:955] Found device 3 with properties: name: GeForce GTX 1080 Ti major: 6 minor: 1 memoryClockRate (GHz) 1.582 pciBusID 0000:0a:00.0 Total memory: 10.91GiB Free memory: 10.75GiB 2017-09-05 07:47:05.903197: I tensorflow/core/common_runtime/gpu/gpu_device.cc:976] DMA: 0 1 2 3 2017-09-05 07:47:05.903209: I tensorflow/core/common_runtime/gpu/gpu_device.cc:986] 0: Y Y Y Y 2017-09-05 07:47:05.903215: I tensorflow/core/common_runtime/gpu/gpu_device.cc:986] 1: Y Y Y Y 2017-09-05 07:47:05.903218: I tensorflow/core/common_runtime/gpu/gpu_device.cc:986] 2: Y Y Y Y 2017-09-05 07:47:05.903223: I tensorflow/core/common_runtime/gpu/gpu_device.cc:986] 3: Y Y Y Y 2017-09-05 07:47:05.903236: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1045] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX 1080 Ti, pci bus id: 0000:05:00.0) 2017-09-05 07:47:05.903242: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1045] Creating TensorFlow device (/gpu:1) -> (device: 1, name: GeForce GTX 1080 Ti, pci bus id: 0000:06:00.0) 2017-09-05 07:47:05.903248: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1045] Creating TensorFlow device (/gpu:2) -> (device: 2, name: GeForce GTX 1080 Ti, pci bus id: 0000:09:00.0) 2017-09-05 07:47:05.903252: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1045] Creating TensorFlow device (/gpu:3) -> (device: 3, name: GeForce GTX 1080 Ti, pci bus id: 0000:0a:00.0) 2017-09-05 07:47:20.297138: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1045] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX 1080 Ti, pci bus id: 0000:05:00.0) 2017-09-05 07:47:20.297190: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1045] Creating TensorFlow device (/gpu:1) -> (device: 1, name: GeForce GTX 1080 Ti, pci bus id: 0000:06:00.0) 2017-09-05 07:47:20.297206: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1045] Creating TensorFlow device (/gpu:2) -> (device: 2, name: GeForce GTX 1080 Ti, pci bus id: 0000:09:00.0) 2017-09-05 07:47:20.297220: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1045] Creating TensorFlow device (/gpu:3) -> (device: 3, name: GeForce GTX 1080 Ti, pci bus id: 0000:0a:00.0) 2017-09-05 07:47:24.845499: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1045] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX 1080 Ti, pci bus id: 0000:05:00.0) 2017-09-05 07:47:24.845534: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1045] Creating TensorFlow device (/gpu:1) -> (device: 1, name: GeForce GTX 1080 Ti, pci bus id: 0000:06:00.0) 2017-09-05 07:47:24.845542: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1045] Creating TensorFlow device (/gpu:2) -> (device: 2, name: GeForce GTX 1080 Ti, pci bus id: 0000:09:00.0) 2017-09-05 07:47:24.845548: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1045] Creating TensorFlow device (/gpu:3) -> (device: 3, name: GeForce GTX 1080 Ti, pci bus id: 0000:0a:00.0) 2017-09-05 07:47:34.884524: E tensorflow/stream_executor/cuda/cuda_dnn.cc:371] could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR 2017-09-05 07:47:34.884597: E tensorflow/stream_executor/cuda/cuda_dnn.cc:338] could not destroy cudnn handle: CUDNN_STATUS_BAD_PARAM 2017-09-05 07:47:34.884616: F tensorflow/core/kernels/conv_ops.cc:672] Check failed: stream->parent()->GetConvolveAlgorithms( conv_parameters.ShouldIncludeWinogradNonfusedAlgo<T>(), &algorithms)

मेरे पास 4 1080ti GPU हैं। अपने मॉडल के चलने के दौरान मैंने एनवीडिया-एसएमआई की निगरानी की और मिल गया

-------------------------------------------------- ---------------------------+
| प्रक्रियाएं: जीपीयू मेमोरी |
| GPU PID प्रकार प्रक्रिया का नाम उपयोग |
|============================================ ===========================|
| 0 1422 जी /usr/lib/xorg/Xorg 279MiB |
| 0 3530 जी कंपिज़ 195MiB |
| 0 11249 सी /होम/साइमन/एनाकोंडा3/बिन/पायथन 10157MiB |
| 1 11249 सी /होम/साइमन/एनाकोंडा3/बिन/पायथन 10611एमआईबी |
| 2 11249 सी /होम/साइमन/एनाकोंडा3/बिन/पायथन 10611एमआईबी |
| 3 11249 सी /होम/साइमन/एनाकोंडा3/बिन/पायथन 10611एमआईबी |
+-------------------------------------------------------- -----------------------------+

तो किसी कारण से पायथन स्मृति को हॉगिंग कर रहा है। बेशक अगर मैं इसे मारता हूं, तो यह मेरी ज्यूपिटर नोटबुक को मार देता है। मेरे पास कोई ज़ोंबी प्रक्रिया नहीं चल रही है। मैं प्रयास कर चुका हूं।

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.1) sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))

जो GPU उपयोग को कम करता है लेकिन मुझे अभी भी वही cuDDN हैंडल त्रुटि मिलती है। मैंने टीएफ को फिर से स्थापित किया है। CUDA, cuDNN, एनाकोंडा समस्या पर कोई प्रभाव नहीं।

यह त्रुटि अचानक क्यों होती है और इसे कैसे हल किया जा सकता है।

TensorFlow 1.3 को cuDNN 6 के विरुद्ध बनाया गया है।
कृपया अपने cuDNN इंस्टॉलेशन को अपग्रेड करें।

धन्यवाद, गुनान - इससे कोई फर्क नहीं पड़ता, दुर्भाग्य से। यहां तक ​​​​कि cuDNN 6 के साथ, मुझे अभी भी cuDNN हैंडल त्रुटि नहीं बना सकता है। यहां तक ​​कि GPUptions को सीधे सेट करना भी त्रुटि को नहीं रोकता है, हालांकि यह उपयोग की गई GPU मेमोरी की मात्रा को कम करता है। GPU मेमोरी को Python द्वारा लिया जाता है, इसलिए यदि मैं इसे बंद करता हूँ, तो यह मेरी Jupyter नोटबुक को बंद कर देता है। मैं लगभग 4 दिनों से इस पर अटका हुआ हूं और लगता है कि मैंने ऑनलाइन देखे गए सभी सुझावों को समाप्त कर दिया है। क्या यह TF 1.3 मुद्दा हो सकता है?

सिर्फ उनके लिए जो इससे पागल हो गए हैं:

मुझे कभी-कभी CUBLAS त्रुटि भी मिली। तो मैंने यह किया:

cd /usr/local/cuda/samples/7_CUDALibraries/simpleCUBLAS
make
./simpleCUBLAS

और पता चला कि मैं CUBLAS को प्रारंभ नहीं कर सका

तो आगे मैंने यह किया (सलाह के आधार पर)

sudo rm -f ~/.nv

और यह काम किया। चीयर्स ..... 4 दिन बर्बाद हो गए। आशा है कि यह किसी और को बचाता है

@ साइमनवॉल्श 1000 वह काम किया !! धन्यवाद

अपने होम पाथ (यदि उबंटू) में अपने .theanorc की जाँच करें, और cnmem को छोटा सेट करें .... शायद cnmem = 0.8, और यह अब मेरे लिए काम कर गया है

मुझे यह विंडोज 10 के तहत जीटीएक्स 1070 के साथ पूरी तरह से काम कर रहा है।
मैं cudnn 7.0.2 . का उपयोग कर रहा था
बनाम 6.0 में अपग्रेड करने से मुझे समस्याएं हल हुईं:

cuda_8.0.61_win10.exe
cudnn-8.0-windows10-x64-v6.0.zip
python-3.6.2-amd64.exe

पूरी स्थापना प्रक्रिया यहां पोस्ट की:
http://klaatuveratanecto.com/installing-tensorflow-gpu-windows-10-running-image_retraining/

हाय, मुझे वही सवाल मिला। हालाँकि, मैंने पाया कि इसका कारण यह है कि मैंने एक ही समय में दो बार टेंसरफ़्लो का उपयोग किया।

उदाहरण के लिए, मैं आमतौर पर सरल स्क्रिप्ट के लिए जुपिटर नोटबुक का उपयोग करता था और प्रोजेक्ट के लिए PyCharm का उपयोग करता था। अगर मैंने ज्यूपिटर नोटबुक को बंद नहीं किया, तो मैं Pycharm में इस त्रुटि को पूरा कर सकता था।

काश यह मदद कर सके।

विंडोज 10 64,
एनवीडिया टाइटनएक्स,
चालक 385.41,
कुडा 8.0.60
कुडन 6.0
पायथन 3.5.2
टेंसरफ़्लो 1.3

मैं @strickon से सहमत
मेरे पास टेंसरफ़्लो प्रोग्राम के साथ एक नोटबुक चल रही थी और मैंने दूसरे विंडोज टर्मिनल में एक अजगर + टेंसरफ़्लो चलाने की कोशिश की और त्रुटि मिली। फिर मैंने अपनी नोटबुक को फिर से शुरू किया (GPU मेमोरी जारी करें) और फिर से विंडोज टर्मिनल पर अजगर को चलाने की कोशिश की और यह काम कर गया! मुझे लगता है कि उपयोगकर्ता को अधिक विस्तृत विवरण के साथ सलाह देने के लिए टेंसरफ़्लो को एक बेहतर त्रुटि संदेश प्रदान करना चाहिए।

मैं विंडोज़ 10, कूडा 8 और कुडन 6 पर हूँ:

नाम: क्वाड्रो K620
मेजर: 5 माइनर: 0 मेमोरीक्लॉकरेट (गीगाहर्ट्ज) 1.124
पीसीआईबसआईडी 0000:01:00.0
कुल मेमोरी: 2.00GiB
फ्री मेमोरी: 1.66GiB

मेरे लिए भी बहुत ही समान कदमों ने काम किया, मुझे यह समझ में नहीं आया कि यह कैसे काम करता है। मैं बस सभी खिड़कियां बंद कर देता हूं, pycharm पर खोले गए अजगर टर्मिनल को बंद कर देता हूं - प्रशिक्षण में प्रगति की साजिश रचने और फिर से खोलने और चलाने के लिए उसी कार्यक्रम के पहले निष्पादन द्वारा खोली गई खिड़कियों को शामिल करते हुए - यह बिना किसी त्रुटि के काम करता है। पहले बताई गई त्रुटियां कोई प्रत्यक्ष सुराग नहीं देती हैं ---

नमस्ते,
मुझे भी यही समस्या थी, सूडो के साथ अजगर चलाने से मेरी समस्या हल हो गई।

@SimonWalsh1000 तुम मेरे हीरो हो !! यह मेरे लिए भी काम करता है!

@hesamaraghi sudo साथ चलने से भी हमें मदद मिली। हम अपने गैर-रूट उपयोगकर्ता को nvidia-persistenced समूह में जोड़कर गैर-रूट के रूप में चलाने में सक्षम थे। मेरी मूल टिप्पणी देखें: https://github.com/tensorflow/tensorflow/issues/14048#issuecomment -340898847

मुझे Ubuntu 16.04 और cuda-8.0 (GTX1080Ti के साथ) में भी यही समस्या थी। मैं आप में से किसी को भी इसी समस्या के बारे में सूचित करना चाहता हूं कि @SimonWalsh1000 द्वारा दिए गए समाधान ने मेरे लिए पूरी तरह से काम किया (यानी, CUBLAS प्रारंभिक समस्या sudo rm -rf ~/.nv/ द्वारा हल की गई थी)। तो, बहुत धन्यवाद @ साइमन वॉल्श 1000 , इसने मुझे कुछ घंटे खर्च किए ...

@ साइमनवॉल्श 1000 यह वास्तव में काम करता है। बहुत बहुत धन्यवाद!

@ साइमन वॉल्श 1000 यह एक आकर्षण की तरह काम करता है, धन्यवाद !!!!

मुझे विंडोज 10, CUDA 8.0, cuDNN 6.1 पर GTX1070Ti के साथ भी यही समस्या थी।
मुझे कारण मिल गया है: मैंने एनाकोंडा स्पाइडर आईडीई में टेंसरफ्लो कोड चलाया है, उसके बाद मैं एनाकोंडा प्रॉम्प्ट में एक और टेंसरफ्लो कोड चलाता हूं।
स्पाइडर आईडीई को बंद करके इसे हल करें
@lockywolf सही है

मुझे भी यही समस्या थी। मैं @strickon की विधि का प्रयास करता एनवीडिया-एसएमआई " के बारे में पता नहीं है, शायद यह लिनक्स पर एक कमांड है। मैंने CUDA8.0 के लिए cuDNN 7.0 में अपडेट करके इस समस्या को हल किया

शुरुआत में सिस्टम:

• विंडोज 10
• CUDA8.0
• सीयूडीएनएन6.0
• एनाकोंडा 3.5 (पायथन 3.5)
• GeForce 840M मेजर: 5 माइनर: 0 मेमोरीक्लॉकरेट (GHz): 1.124
• 2.00GiB मुक्तमेमोरी: 1.66GiB

सिस्टम हल करने के बाद:

• विंडोज 10
• CUDA8.0
• सीयूडीएनएन7.0
• एनाकोंडा 3.5 (पायथन 3.5)
• GeForce 840M मेजर: 5 माइनर: 0 मेमोरीक्लॉकरेट (GHz): 1.124
• 2.00GiB मुक्तमेमोरी: 1.66GiB

मुझे लगता है कि यह समस्या पुस्तकालय और हार्डवेयर के संस्करण के मेल न खाने के कारण हो सकती है। @chleibig भी इसे GPU ड्राइवर अपडेट करके हल करें। आशा है कि यह मददगार हो सकता है।

मेरे लिए डालने के लिए: config.gpu_options.allow_growth = True टेंसरफ़्लो सत्र में समस्या को ठीक किया।
कुडा 8, टीएफ 1.4, कुडन 6

इसे चलाएं इस मुद्दे को ठीक करें।

सुडो आरएम-आरएफ ~/.nv

समान प्रशन। क्या समस्या का समाधान करने का कोई उपाय है?
मेरी स्थिति है:
नाम: GeForce GTX 1080
टोटलमेमोरी: 7.92GiB फ्रीमेमोरी: 2.50GiB
टेंसरफ़्लो: gpu-1.4.0

मैं एक जीपीयू का परीक्षण कर रहा हूं लेकिन तीन टेंसरफ्लो इंस्टेंस चला रहा हूं।
मेरे कोड में इस तरह:
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.3)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))

अन्य दो टेंसरफ़्लो इंस्टेंस ठीक चल रहे हैं, लेकिन केवल अंतिम एक रन त्रुटि इस तरह है:

E tensorflow/stream_executor/cuda/cuda_dnn.cc:371] cudnn हैंडल नहीं बना सका: CUDNN_STATUS_INTERNAL_ERROR
E tensorflow/stream_executor/cuda/cuda_dnn.cc:338] cudnn हैंडल को नष्ट नहीं कर सका: CUDNN_STATUS_BAD_PARAM
F tensorflow/core/kernels/conv_ops.cc:672] जाँच विफल: स्ट्रीम-> पेरेंट ()->GetConvolveAlgorithms(conv_parameters.ShouldIncludeWinogradNonfuseAlgo(), और एल्गोरिदम)

क्यों? क्या GPU कॉन्फ़िगरेशन बहुत छोटा है: gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.3)
मुझे यकीन नहीं है। कुछ सुझाव चाहते हैं। मै कोशिश करुॅगा।

मेरे समाधान की जाँच करें ....

पर 19 08:20 दिसंबर 2017, tbchj [email protected] लिखा है:

समान प्रशन। क्या समस्या का समाधान करने का कोई उपाय है?
मेरी स्थिति है:
नाम: GeForce GTX 1080
टोटलमेमोरी: 7.92GiB फ्रीमेमोरी: 2.50GiB
टेंसरफ़्लो: gpu-1.4.0

मैं एक जीपीयू का परीक्षण कर रहा हूं लेकिन तीन टेंसरफ्लो इंस्टेंस चला रहा हूं।
मेरे कोड में इस तरह:
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.3)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))

अन्य दो टेंसरफ़्लो इंस्टेंस ठीक चल रहे हैं, लेकिन केवल अंतिम एक रन
इस तरह त्रुटि:

ई tensorflow/stream_executor/cuda/cuda_dnn.cc:371] cudnn नहीं बना सका
हैंडल: CUDNN_STATUS_INTERNAL_ERROR
ई tensorflow/stream_executor/cuda/cuda_dnn.cc:338] नष्ट नहीं कर सका
कुडन हैंडल: CUDNN_STATUS_BAD_PARAM
F tensorflow/core/kernels/conv_ops.cc:672] जाँच विफल:
स्ट्रीम-> पैरेंट ()-> GetConvolveAlgorithms (conv_parameters.
shouldIncludeWinogradNonfuseAlgo(), &एल्गोरिदम)

क्यों? क्या GPU कॉन्फ़िगरेशन बहुत छोटा है: gpu_options = tf.GPUOptions(per_process_gpu_
मेमोरी_फ़्रैक्शन = 0.3)
मुझे यकीन नहीं है। कुछ सुझाव चाहते हैं। मै कोशिश करुॅगा।

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपका उल्लेख किया गया था।
इस ईमेल का सीधे उत्तर दें, इसे GitHub पर देखें
https://github.com/tensorflow/tensorflow/issues/6698#issuecomment-352670885 ,
या थ्रेड को म्यूट करें
https://github.com/notifications/unsubscribe-auth/AJq-HpINYs1Uae6ghIW3qKCD56SUDhFeks5tB3HZgaJpZM4Lc7S1
.

--
श्रेष्ठ
साइमन

SLFWalsh एमडी MRCP FFRRCSI
[email protected]

मेरे मामले में, मैं एक पृष्ठभूमि पर मशाल चला रहा था और मुझे भी यही समस्या है।
मुझे लगता है... CUDNN_STATUS_INTERNAL_ERROR तब हो सकता है जब अन्य प्रोग्राम cudnn का उपयोग कर रहे हों

मेरे मामले में, मैं ipython वातावरण में cudnn चला सकता हूं, हालांकि, मुझे वही त्रुटि संदेश मिले जब मैंने ज्यूपिटर नोटबुक में कोड चलाने का प्रयास किया

नमस्ते, मुझे एक ही समस्या हो रही है और अब तक किसी भी सुझाव ने मुझे इसे हल करने में मदद नहीं की है।
मैं निम्नलिखित स्पेक्स के साथ विंडोज 10 के साथ एक Asus Zenbook Pro लैपटॉप का उपयोग कर रहा हूं:

मेरे GPU चश्मा निम्नलिखित हैं:

मैं इस ट्यूटोरियल का अनुसरण कर रहा हूं: https://www.tensorflow.org/get_started/mnist/pros, जिसमें आपको लागू करना और प्रशिक्षित करना है 1) एक सॉफ्टमैक्स रिग्रेशन और 2) MNIST डेटासेट के साथ एक बहुपरत CNN।

ये मेरे कोड हैं: MNIST_Tutorial.zip । ज़िप में 2 फ़ाइलें हैं: MNIST_softmax_regression.py और MNIST_multilayer_CNN.py।

1) जब मैं MNIST_softmax_regression.py चलाता हूं, तो यह ठीक काम करता है:

जैसा कि आप देख सकते हैं, GPU का उपयोग हो रहा है और ट्यूटोरियल के अनुसार अंतिम सटीकता लगभग 92% है।

2) हालांकि, जब मैं MNIST_multilayer_CNN.py चलाता हूं, तो पायथन क्रैश हो जाता है:

मैंने पिछले सुझावों के आधार पर 2 वर्कअराउंड की कोशिश की:

config = tf.ConfigProto()
config.gpu_options.allow_growth = True
with tf.Session(config=config) as sess:

तथा

config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.8
with tf.Session(config=config) as sess:

उनमें से किसी ने भी काम नहीं किया, हालांकि दूसरा निम्नलिखित आउटपुट देता है:

जैसा कि आप देख सकते हैं, टेंसरफ़्लो पहले मेमोरी को कई बार आवंटित करने की कोशिश करता है (CUBLAS_STATUS_ALLOC_FAILED) जब तक कि यह स्पष्ट रूप से सफल न हो जाए लेकिन फिर CUDNN_STATUS_NOT_INITIALIZED त्रुटि प्रकट होती है और सब कुछ फिर से विफल हो जाता है।

बीटीडब्ल्यू, मैंने इन निर्देशों के अंत में वैकल्पिक दृष्टिकोण के अनुसार टेंसरफ़्लो स्थापित किया: http://www.python36.com/install-tensorflow-gpu-windows/

मैंने इस CUDA इंस्टॉलर का उपयोग किया:

और tensorflow स्थापित करने के लिए इस .whl फ़ाइल का उपयोग किया:

यहाँ अजगर, पाइप और कोंडा के बारे में कुछ और जानकारी:

किसी भी मदद की गहराई से सराहना की जाएगी।
अग्रिम में धन्यवाद।

नमस्ते,
मुझे दो अलग-अलग मशीनों पर एक ही समस्या का सामना करना पड़ रहा है:

सेटअप 1:
विंडोज 10 प्रो 64 बिट
जीपीयू जानकारी
कुडा 8.0
कुडन 6.0
टेंसरफ़्लो 1.4
पायथन 3.6.4

सेटअप2:
विंडोज 10 प्रो 64 बिट
जीपीयू जानकारी
CUDA 8.0
कुडन 6.0
टेंसरफ़्लो 1.4
पायथन 3.6.2

कोई अपडेट्स?

ऊपर से बहुत समान सेट अप करें, इस पर चल रहा है:

विंडोज 10
जीपीयू
टेंसरफ़्लो 1.5
CUDA 9.0.176
कुडन 7
अजगर 3.6.4, एनाकोंडा

मैंने कॉन्फ़िगरेशन परिवर्तनों की कोशिश की और मुझे अभी भी त्रुटियों का "CUDNN_STATUS_NOT_INITIALIZED" सेट मिल रहा है।

मुझे यकीन नहीं है कि विंडोज़ पर .nv फ़ोल्डर के बराबर कहाँ रहता है, इसलिए मैं @SimonWalsh1000 समाधान चलाने में सक्षम नहीं था।

@ हेंज बेंजामिन , कोई सफलता?

संपादित करें: अभी भी स्टम्प्ड, क्या ऐसा इसलिए हो सकता है क्योंकि मैं टेंसरफ़्लो 1.5 और CUDA 9 पर हूं?

मैं एक ही मुद्दे से मिला हूं।
हालाँकि, मैंने पाया कि CUDA 9.0 स्थापित करने के बाद, मेरा ड्राइवर नवीनतम संस्करण नहीं होगा।
इसलिए, अपने Nvdia ड्राइवर को नवीनतम संस्करण में अपडेट करने का प्रयास करें और अपने पीसी को पुनरारंभ करें। इससे मेरा काम बनता है!

कल मेरा कोड ठीक काम कर रहा था, आज सुबह उबंटू के लिए एक अपडेट था और अब मेरा कोड इसे उत्पन्न करता है। और कुछ नहीं बदला है।

2018-02-11 07:54:57.097712: E tensorflow/stream_executor/cuda/cuda_dnn.cc:385] cudnn हैंडल नहीं बना सका: CUDNN_STATUS_INTERNAL_ERROR
2018-02-11 07:54:57.097756: E tensorflow/stream_executor/cuda/cuda_dnn.cc:352] cudnn हैंडल को नष्ट नहीं कर सका: CUDNN_STATUS_BAD_PARAM
2018-02-11 07: 54: 57.097767: F tensorflow/core/kernels/conv_ops.cc:667] चेक विफल: स्ट्रीम-> पैरेंट ()-> GetConvolveAlgorithms (conv_parameters.ShouldIncludeWinogradNonfuseAlgo(), &algorithms)

मैंने सिस्टम को एक दर्जन बार रिबूट किया है।
कुछ रिबूट के बाद, त्रुटि बदल गई

2018-02-11 07:19:33.487404: I tensorflow/stream_executor/cuda/cuda_dnn.cc:393] संभवतः अपर्याप्त ड्राइवर संस्करण: 384.111.0 2018-02-11 07:19: 33.487423: E tensorflow/stream_executor/cuda/ cuda_dnn.cc:352] cudnn हैंडल को नष्ट नहीं कर सका: CUDNN_STATUS_BAD_PARAM 2018-02-11 07:19:33.487439: F tensorflow/core/kernels/conv_ops.cc:667] चेक फेल: स्ट्रीम-> पैरेंट()->GetConvolveAlgorithms( conv_parameters.ShowdIncludeWinogradNonfuseAlgo(), &एल्गोरिदम)

लेकिन 390.25 में अपग्रेड करने के बाद अब यह फिर से पहली त्रुटि उत्पन्न करता है।

मेरा अन्य टेंसरफ़्लो कोड ठीक काम करता है।

मैंने nv निर्देशिका को हटाने का भी प्रयास किया लेकिन इसका कोई प्रभाव नहीं पड़ा

उबंटू 17.10, जीटीएक्स 1060 6 जीबी

मुझे यह त्रुटि विंडोज 10 पर CUDA 9.0 और GT 750M के साथ मिली, मैंने इसे GPU के उपयोग को 0.7 तक सीमित करके हल किया: config.gpu_options.per_process_gpu_memory_fraction = 0.7

जैसा कि किसी और ने पोस्ट किया है, 0.7 से अधिक कुछ भी पायथन को क्रैश करता है।

त्रुटियों की त्रिमूर्ति प्राप्त करने के बाद भी:

CUDNN_STATUS_NOT_INITIALIZED
conv_parameters.ShouldIncludeWinogradNonfusedAlgo(), &algorithms)

@zzhang68 के समाधान की कोशिश की ... 9.0 स्थापित पुराने ड्राइवरों के बाद अपडेट किए गए ड्राइवर।
_और यह काम कर गया!_

विंडोज 10 | GTX 980 Ti
CUDA 9.0 (जो पुराने ड्राइवरों के साथ आया था !!!!)
\cudnn-9.0-windows10-x64-v7\cuda\bin (cudann64_7.dll) पथ में

अजगर 3.6 मिनिकोंडा
टेंसरफ़्लो-जीपीयू 1.5.0

एक ही समस्या का सामना। tf1.5 py2.7 टाइटन x cuda8.
config.gpu_options.allow_growth = True
नहीं कार्य

मुझे यह त्रुटि विंडोज़ 10 पर CUDA 9.0 और GTX 1060 के साथ मिली है।
अजगर 3.5
टेंसरफ़्लो-जीपीयू 1.5.0
मुझे इसे हल करने का एक आसान तरीका मिल गया है: मेरे NVIDIA डिस्प्ले ड्राइवर को नवीनतम संस्करण में अपडेट करें, पीसी को रिबूट करें
तब यह काम किया!

@ साइमनवॉल्श 1000 , यह वास्तव में मेरे लिए काम करता है, बहुत बहुत धन्यवाद!

@strickon और @ggranum प्लस ड्राइवर अपडेट के समाधान ने मेरे लिए इसे हल कर दिया। मेरा अनुमान है कि कुछ लोगों ने पावर कॉन्फ़िगरेशन को अनुकूलित किया है जो कुछ कार्यक्षमता को तब तक डिफ्लेट करते हैं जब तक कि इसकी आवश्यकता न हो।

मेरे GPU ड्राइवर को अपडेट करने से मेरे लिए यह समस्या हल हो गई। मेरा जीपीयू ड्राइवर दिसंबर 2017 था और नवीनतम 26 फरवरी 2018 था।

इस समस्या से बचने के लिए आपके पास सही टेंसरफ़्लो, CUDA संस्करण, cuDNN संस्करण और GPU ड्राइवर होना चाहिए

मेरी कल्पना:
टेंसरफ़्लो 1.6
cuDNN v7.0.4 (नवंबर 13, 2017), CUDA 9.0 के लिए (मुझे अपने TF के काम करने के लिए इस संस्करण का उपयोग करना पड़ा)

यहां बताया गया है कि मैंने इसे कैसे ठीक किया। मेरे पास CUDA 9.1 और CUDA 9.0 दोनों स्थापित थे। दूसरों की तरह, मुझे CUDA (Geforce अनुभव कार्यक्रम के माध्यम से) स्थापित करने के बाद अपने GPU ड्राइवरों को फिर से अपग्रेड करना पड़ा। केरस का बैकएंड TensorFlow आज की तारीख के अनुसार CUDA 9.0 का उपयोग कर रहा है, इसलिए सुनिश्चित करें कि आपने इसे इंस्टॉल कर लिया है। फिर, https://developer.nvidia.com/rdp/cudnn-download से cuDNN 7.0.5 (नवीनतम 7.1 संस्करण नहीं) डाउनलोड

इस सारी मदद के लिए धन्यवाद और जब मैं अपने cuCNN को cnDNN-9.1 से cnDNN-9.0 में बदलने की कोशिश करता हूं और यह काम करता है।
मेरा वातावरण Centos7 + CUDA 9.0 + Tensorflow 1.6 . है

Python3.5, ubuntu 16.04, tf1.5 . पर समान त्रुटि
GPU ड्राइवर को 390.42 के संस्करण में अपडेट करने से मेरे लिए यह समस्या हल हो गई।

हाय दोस्तों,

मुझे बस यही समस्या है
"E tensorflow/stream_executor/cuda/cuda_dnn.cc:385] cudnn हैंडल नहीं बना सका: CUDNN_STATUS_INTERNAL_ERRORE tensorflow/stream_executor/cuda/cuda_dnn.cc:352] cudnn हैंडल को नष्ट नहीं कर सका: CUDNN_STATUS_BAD_PARAMF tensorflow/core/kernels/conv_ops.cc:605] जाँच विफल: स्ट्रीम-> पैरेंट ()-> GetConvolveAlgorithms(&algorithms) "

और इसके द्वारा हल किया गया:
1- NVIDIA Geforce920M के ड्राइवर को अपडेट करना
2- tf सत्र को इस प्रकार ठीक से सेट करना:
कॉन्फिग = tf.ConfigProto ()
config.gpu_options.allow_growth = सही
सत्र = tf. सत्र (कॉन्फ़िगरेशन = कॉन्फ़िग)
3- पीसी . को फिर से शुरू करना

उसके बाद मुझे एक और सटीक त्रुटि संदेश मिला:
"cuDNN7.1 मिला, लेकिन cuDNN7.0 अपेक्षित है। अपग्रेड करें"

और इसके द्वारा हल किया गया:
cuDNN से मिलने के लिए बाकी (tf, cuda, ..) को अपग्रेड करने के बजाय, मैंने बाकी को पूरा करने के लिए cuDNN7.0 को डाउनग्रेड किया।
(cuDNN को 7.1 से 7.0.4 तक डाउनग्रेड करना) और इसने अच्छा काम किया।

जब मैं Cnn_Mnist.py . चला रहा था तब भी मुझे इस त्रुटि का सामना करना पड़ा

पर्यावरण जानकारी：

• Window10 + tensorflow_gpuV1.6 + cudav9.0， cudnnv7.0 + Python3.5（एनाकोंडा）+ GeForce 920MX

| NVIDIA-SMI 385.54                 Driver Version: 385.54                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name            TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce 920MX      WDDM  | 00000000:01:00.0 Off |                  N/A |
| N/A   37C    P0    N/A /  N/A |     84MiB /  2048MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    0     11988      C   ...naconda3\envs\tensorflow_GPU\python.exe N/A      |
+-----------------------------------------------------------------------------+

त्रुटि जानकारी:

2018-03-20 13:38:27.439071: E C:\tf_jenkins\workspace\rel-win\M\windows-gpu\PY\35\tensorflow\stream_executor\cuda\cuda_dnn.cc:385] could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR
2018-03-20 13:38:27.443473: E C:\tf_jenkins\workspace\rel-win\M\windows-gpu\PY\35\tensorflow\stream_executor\cuda\cuda_dnn.cc:352] could not destroy cudnn handle: CUDNN_STATUS_BAD_PARAM
2018-03-20 13:38:27.449591: F C:\tf_jenkins\workspace\rel-win\M\windows-gpu\PY\35\tensorflow\core\kernels\conv_ops.cc:717] Check failed: stream->parent()->GetConvolveAlgorithms( conv_parameters.ShouldIncludeWinogradNonfusedAlgo<T>(), &algorithms)

सभी के सहयोग की आशा करता हूँ :D

मेरे मामले में (विंडोज 10), यह समस्या cuDNN के गलत संस्करण का उपयोग करने के कारण हुई थी। हालांकि मैंने TensorFlow के आधिकारिक निर्देशों का बारीकी से पालन किया, मैंने गलती से CUDA 9.1 के लिए संस्करण 7.0.5 डाउनलोड कर लिया था, जबकि TF स्पष्ट रूप से CUDA 9.0 के लिए कॉल करता है।

जैसे ही मैंने cuDNN गलती को सुधारा, मेरे कन्वनेट ने काम करना शुरू कर दिया 💯 👍 :)

वही मुद्दा tf 1.2, cuda 8.0, cudnn 5.1
एनवीडिया अपडेटेड ड्राइवर

खैर, मैं एनवीडिया ड्राइवर को क्यूडा के अनुसार अंतिम संस्करण में अपडेट करने में कामयाब रहा, और यह काम करता है। तो आप इस तरीके को आजमा सकते हैं।

अच्छा अच्छा। यह ठीक से काम नहीं कर सकता। समस्या फिर होती है

का उपयोग करना: cudnn-9.0-windows10-x64-v7 और tensorflow-gpu==1.7.0

ट्यूटोरियल\छवि\इमेजनेट>पायथन classify_image.py
त्रुटि के साथ विफल: कुडन हैंडल नहीं बना सका: CUDNN_STATUS_INTERNAL_ERROR

उपरोक्त ggranum से कोड की तीन पंक्तियों को जोड़ने से समस्या हल हो जाती है

मेरे लिए समस्या गलत cudnn lib का उपयोग कर रही थी
मैंने cuda 9.1 के लिए cudnn का उपयोग किया था जब मेरे पास cuda 9.0 था। इसलिए मैंने cuda 9.0 के लिए cudnn को फिर से इंस्टॉल किया और सब कुछ काम कर गया।

Win10/Anaconda3/tf-1.3/keras-2.1.3 . के साथ भी यही समस्या है
निम्न कोड को .py फ़ाइल की शुरुआत में जोड़ें, जो मेरी समस्या का समाधान करता है।

from __future__ import print_function, division
import tensorflow as tf
from keras.backend.tensorflow_backend import set_session  
config = tf.ConfigProto()  
config.gpu_options.allow_growth = True  
set_session(tf.Session(config=config)) 

@ सेरान्स1
यह मेरे लिए काम करता है :)

धन्यवाद @ zzhang68 । आपका समाधान मेरे लिए काम किया।

फ़ाइल की शुरुआत में इसे जोड़ने से मेरे लिए काम हुआ:

कॉन्फिग = tf.ConfigProto ()
config.gpu_options.allow_growth = सही
सत्र = tf. सत्र (कॉन्फ़िगरेशन = कॉन्फ़िग)

GTX 1070. को यह इश्यू मिल रहा था। मेरे ड्राइवर को आखिरी बार 2017 में अपडेट किया गया था। इसे नवीनतम ड्राइवर (मई 2018) में अपडेट किया गया, मेरे कंप्यूटर को रीसेट कर दिया और समस्या को रोकना बंद कर दिया। उम्मीद है ये मदद करेगा

मेरे लिए भी @ zzhang68 समाधान के साथ काम करता है।
Ubuntu16.04, tensorflow1.7, nvidia1080, cuda9.0, cudnn7.05.
ड्राइवर को 390.59 पर अपडेट करने के बाद, समस्या गायब हो गई।

tensorflow cpu का उपयोग करके win10 के लिए एक अन्य विकल्प...कोशिश करें

def run_inference_for_single_image (छवि, ग्राफ):
ग्राफ के साथ। as_default ():
कॉन्फिग = tf.ConfigProto (
डिवाइस_काउंट = {'जीपीयू': 0}
)
सत्र के रूप में tf.Session(config=config) के साथ:

@ lwd1132438569 क्या मैं पूछ सकता हूं कि आपका कौन सा "नवीनतम संस्करण" है? मैं अपने उबंटू के साथ भी इस समस्या का सामना करता हूं, और मेरे पास अजगर 3.5.2, CUDA 9.0, टेंसरफ़्लो-जीपीयू 1.9.0 है, ड्राइवर अभी 390.48 है।
मैं कोशिश करना चाहता हूं, लेकिन मुझे डर है कि टेंसरफ्लो अब 'नवीनतम' संस्करण का समर्थन नहीं करेगा ....
धन्यवाद1

@vburca बहुत बहुत धन्यवाद। मुझे नहीं पता था कि एक और ज्यूपिटर नोटबुक होने से GPU मेमोरी का उपयोग होगा। बहुत - बहुत धन्यवाद!!!

मुझे एक ही समस्या का सामना करना पड़ा। मैं अपने मामले में मैंने टेंसरफ़्लो के संस्करण को डाउनग्रेड किया और यह मेरे आवेदन के लिए काम किया।

मुझे वही समस्या मिली। मेरे मामले में, वह कारण सिस्टम मेमोरी की कमी थी। जब मैंने अन्य ऐप चलाना समाप्त किया, तो वह समस्या दूर हो गई थी।

2018-09-03 22:50:26.576765: E tensorflow/stream_executor/cuda/cuda_dnn.cc:352] Could not create cudnn handle: CUDNN_STATUS_NOT_INITIALIZED
2018-09-03 22:50:26.576831: E tensorflow/stream_executor/cuda/cuda_dnn.cc:360] Possibly insufficient driver version: 390.77.0
[1]    8515 segmentation fault (core dumped)  python3 training.py

जीटीएक्स1070
CUDA9.0
CUDA9.0 . के लिए CUDNN7.1
टेंसरफ्लो 1.10.1
बिना किसी समस्या के हैलो वर्ल्ड की तरह एक साधारण टेंसरफ़्लो चलाना।
ऐसा क्यों होता है कहीं पता नहीं..................

निश्चित रूप से cuda संबंधित स्मृति समस्या, अन्य सभी cuda संबंधित प्रक्रियाओं को मारें और अपने मॉडल को प्रशिक्षित/परीक्षण करें, जिससे समस्या का समाधान होना चाहिए

@ drproy2k समाधान मेरे लिए भी प्रभावी लगता है। समस्या यह थी कि मैं केरस के साथ एक और ज्यूपिटर नोटबुक उदाहरण चला रहा था, और मैं पिचर्म में केरस प्रशिक्षण चलाने की कोशिश कर रहा था। तो बस ज्यूपिटर नोटबुक को बंद करने और इस प्रक्रिया को समाप्त करने से यह समस्या हल हो गई।

[हल] मेरे मामले में, मैंने CUDA v9.2 और संबंधित cuDNN स्थापित किया था, लेकिन CUDA v9.0 के लिए विशिष्ट cuDNN को सही ढंग से स्थापित नहीं किया था, जिसके लिए टेंसरफ़्लो की आवश्यकता होती है।

सुनिश्चित करें कि आप यहां से cuDNN का सही संस्करण डाउनलोड करते हैं: https://developer.nvidia.com/rdp/cudnn-archive

और यहाँ से नहीं एक: https://developer.nvidia.com/cudnn

गोल्डन ट्रिक, सब कुछ पुनरारंभ करें, मेरे लिए काम किया।

पुनरारंभ ने मेरे लिए भी चाल चली 👍
(लेकिन एक स्पष्टीकरण ऐसा क्यों होता है वास्तव में अच्छा होगा)

सीयूडीएनएन

मैं एक ही समस्या का सामना कर रहा था। कनवल्शन लेयर वाले मॉडल काम नहीं करेंगे।
मैंने CUDA 9.0 के लिए cuDNN संस्करण 7.0 डाउनलोड किया। cudnn64_7.dll फ़ाइल को बदलने के बाद, मैं बिना किसी परेशानी के convnets का उपयोग कर सकता हूं।

डीएलएल का संस्करण समस्याएं पैदा कर रहा है => 6.14.11.9020
DLL का संस्करण जिसने समस्या का समाधान किया => 6.14.11.9000
Tensorflow GPU संस्करण => 1.11.00
CUDA संस्करण => 9.0
पायथन संस्करण => 3.5
ओएस => विंडोज 10
अन्य चरण => PATH चर में जोड़ने के लिए एक BAT फ़ाइल बनाएँ और फिर /k विकल्प के साथ CMD.EXE लॉन्च करें
सभी को धन्यवाद।

मैं GPU के उपयोग को सीमित करके काम करने के लिए एक प्रोग्राम प्राप्त करने में सक्षम था। मेरे मामले में उबंटू 16.04 पर 3 जीबी जीटीएक्स 1060 के साथ, अगर मैं gpu विकल्प per_process_gpu_memory_fraction को .7 पर सेट करता हूं तो यह काम करता है। कुछ भी अधिक, मुझे ये त्रुटियां मिलती हैं

E tensorflow/stream_executor/cuda/cuda_dnn.cc:397] cudnn हैंडल नहीं बना सका: CUDNN_STATUS_INTERNAL_ERROR
E tensorflow/stream_executor/cuda/cuda_dnn.cc:364] cudnn हैंडल को नष्ट नहीं कर सका: CUDNN_STATUS_BAD_PARAM
F tensorflow/core/kernels/conv_ops.cc:605] जाँच विफल: स्ट्रीम-> पैरेंट () -> GetConvolveAlgorithms(&algorithms)

यह टेंसरफ़्लो द्वारा खराब त्रुटि रिपोर्टिंग का मामला हो सकता है। पूरी तरह से असंबंधित लगता है। शायद यह इसे बेहतर तरीके से हल करने का एक सुराग है?

बढ़िया, जब मैं gpu_memory_fraction को 0.8 से घटाकर 0.7 कर देता हूं, तो यह काम करना शुरू कर देता है!

टेंसरफ़्लो-जीपीयू को अपग्रेड करने के बाद मुझे इस समस्या का सामना करना पड़ा। इसने CUDA और cuDNN दोनों संस्करणों के कारण अस्थिरता पैदा की। समाधान टेंसरफ़्लो-जीपीयू 1.6.0 पर वापस आ रहा था।

यह मेरी समस्याओं का समाधान था:

https://stackoverflow.com/questions/50622525/who-tensorflow-and-cuda-version-combinations-are-संगत

जब भी आप इस तरह के मुद्दों का सामना करना शुरू करते हैं, तो अपनी NVIDIA निर्भरता को अपग्रेड करने से पहले, हमेशा टेंसरफ़्लो के संस्करणों की स्थापना रद्द करके और अपने CUDA निर्भरता के साथ संगत संस्करण स्थापित करके समस्या को हल करने का प्रयास करें।

चरण 1: अपने टेंसरफ़्लो पैकेज संस्करणों की जाँच करें। यदि आपके पास GPU है, तो मैं टकराव से बचने के लिए टेंसरफ़्लो के सीपीयू-संस्करण को अनइंस्टॉल करने की सलाह देता हूं।

pip list | grep tensorflow

चरण 2: टेंसरफ़्लो-जीपीयू को अनइंस्टॉल करना।

pip uninstall tensorflow

चरण 3: अपने CUDA और cuDNN संस्करणों की जाँच करें। आपको इन रास्तों को समायोजित करने की आवश्यकता हो सकती है।

-- कूडा
cat /usr/local/cuda/version.txt
यदि यह विफल हो जाता है, तो अपनी क्यूडा संस्करण टेक्स्ट फ़ाइल का उपयोग करके खोजें:
sudo find / -name version.txt

-- सीयूडीएनएन
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
यदि यह विफल हो जाता है, तो अपनी क्यूडा संस्करण टेक्स्ट फ़ाइल का उपयोग करके खोजें:
sudo find / -name cudnn.h

चरण 4: जांचें कि क्या आपके टेंसरफ़्लो-जीपीयू, क्यूडा और कुडन संस्करण इस तालिका से मेल खाते हैं।

मेरे मामले में, मुझे अन्य आवश्यकताओं से मेल खाने के लिए टेंसरफ़्लो-जीपीयू 1.6.0 की आवश्यकता थी।

इसलिए मैंने इस संस्करण का उपयोग करके स्थापित किया:
pip install tensorflow-gpu==1.6.0
ये विनिर्देश हैं जो काम करते हैं!

ओएस: उबंटू 16.04
CUDA संस्करण: 9.0, V9.0.176
सीयूडीएनएन संस्करण: 7.0
Tensorflow-gpu संस्करण: 1.6.0
पायथन संस्करण: 3.5.0

आपको कामयाबी मिले!

मेरे मामले में, जब मैंने वीएस कोड में कोड का एक और टुकड़ा चलाना शुरू किया, तो मैं ज्यूपिटर नोटबुक को बंद करना भूल गया, क्लोज ज्यूपिटर नोटबुक ने समस्या को ठीक कर दिया।

मुझे इसी समस्या का सामना करना पड़ा।
मेरे मामले में मैं अपने नेटवर्क को प्रशिक्षित करते समय जुपिटर नोटबुक चला रहा था।
जुपिटर नोटबुक को बंद करने से मेरी समस्या ठीक हो गई।

(मुझे लगता है कि इसे मेरे GPU की बहुत अधिक मांगों के साथ कुछ करना पड़ सकता है)

आशा है कि इससे मदद मिली!

हाय, दोस्तों, मुझे एक ही समस्या का सामना करना पड़ा। मैं win10 tensorflow-gpu1.8.0 cuda 9.0 NVIDA gtx1050Ti का उपयोग कर रहा हूं, जब मैं cudann के संस्करण को 7.0 से 7.1 में बदलता हूं, तो समस्या हल हो जाती है

मुझे आज भी इसी समस्या का सामना करना पड़ा (gtx1080, cuda 9.2, tfversion = 1.12.0)। तो मेरे मामले में, मैं जुपिटर नोटबुक चला रहा था, और फिर मैंने अपनी दूसरी स्क्रिप्ट चलाने की कोशिश की, वह तब हुआ जब त्रुटि फेंक दी गई। क्या हल किया गया है, जैसे @RoytenBerge ने कहा,

स्क्रिप्ट की शुरुआत में कोड की इन पंक्तियों को जोड़ते समय इसने मेरे लिए काम किया @Codersadis

निम्न कोड को .py फ़ाइल की शुरुआत में जोड़ें, जो मेरी समस्या का समाधान करता है।

__भविष्य__ से प्रिंट_फंक्शन, डिवीजन आयात करें
tf . के रूप में टेंसरफ़्लो आयात करें
keras.backend.tensorflow_backend से आयात set_session
कॉन्फिग = tf.ConfigProto ()
config.gpu_options.allow_growth = सही
set_session(tf.Session(config=config))

और धन्यवाद@Codersadis

@ drproy2k धन्यवाद, इसने मेरे लिए भी काम किया। जब स्पाईडर चल रहा था तब मैं एनाकोंडा प्रांप्ट चला रहा था। मैंने स्पाइडर को बंद करने के बाद, इसने पूरी तरह से काम किया!

यह त्रुटि RAM मेमोरी समस्या के कारण है। सुझाव है कि आप 32GB या 64GB DDR3 या DDR4 RAM तक बढ़ाएँ।
अनुमान लगाए जा रहे डेटा की मात्रा/आकार को भी कम करें।

यह जीपीयू नहीं है। मेरे पास SLI में 2 X 1080Ti कार्ड हैं।

मैंने इसे हल करने के लिए संस्करण स्थापना मार्गदर्शिका का पालन किया-
https://www.tensorflow.org/install/source#tested_source_configurations। संगत कॉन्फिगरेशन:-
टीएफ 1.12
टीएफ-जीपीयू 1.9
CUDA 8

GeForce GTX 970, CUDNN 7.4.1, CUDA 9.0.176, TF-gpu 1.12.0 के साथ एक ही समस्या

एक कोंडा वातावरण के अंदर टेंसरफ़्लो के समुदाय समर्थित संस्करण का उपयोग करते समय मुझे उसी समस्या का सामना करना पड़ रहा था (यानी > conda install tensorflow-gpu का उपयोग करके)

पता चलता है कि यह संस्करण वास्तव में सभी स्थितियों में अच्छा नहीं है (भले ही मैं इसे अन्य मशीनों पर उपयोग कर रहा हूं)। उपयोग करने के लिए सबसे अच्छा संस्करण पाइप इंस्टाल करने योग्य संस्करण है https://www.tensorflow.org/install/pip एक conda वातावरण के अंदर। जब मैंने ऐसा किया तो सब कुछ काम कर गया।

मुझे एहसास नहीं हुआ कि मेरे पास CUDA 9.0 के साथ CUDNN लिब का कूडा 10.0 संस्करण स्थापित है जिसे मैंने वर्तमान में स्थापित किया था। एक बार जब मैंने V10 CUDNN को V9.0 CUDNN से डाउनलोड और बदल दिया तो सब कुछ ठीक काम कर गया!
चीजों को सही ढंग से स्थापित करने में विफल होने से यह एक अनदेखी थी, और पीछे मुड़कर देखने पर मैं देख सकता हूं कि क्यों... यदि आपने इसे इतना आगे बढ़ाया है और प्रयोग करते-करते थक गए हैं, तो मैंने .com/2019/03/the-ultimate-guide-to-installing.html जो आपको शुरू से अंत तक काम करने के लिए टेंसरफ़्लो और उसकी सभी निर्भरताओं को प्राप्त करने की पूरी प्रक्रिया से परिचित कराएगा

@kheffah कोंडा के भीतर एक ही समस्या है। टीएफ और केरस को स्थापित करने के लिए पहले से ही पीआईपी का उपयोग कर रहे हैं।
GPU GT 840M, संगत 5.0, CUDA 9, cuDNN 7.4.2, TF 1.12.0 की गणना करें। विंडोज 8 x64

परीक्षण कोड ठीक चलता है

a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')
c = tf.matmul(a, b)

स्पाइडर में यह त्रुटि है। पहले से ही मेमोरी 0.7 और ग्रोथ ट्रिक आज़माएं। कोई भाग्य नहीं

classifier.fit_generator(training_set,
                    steps_per_epoch=32,
                    epochs=25,
                    verbose=1,
                    validation_data=test_set,
                    validation_steps=6.25)
Epoch 1/25
Traceback (most recent call last):

  File "<ipython-input-4-6d704090deaf>", line 11, in <module>
    validation_steps=6.25)

  File "c:\Users\maxi.wu\AppData\Local\conda\conda\envs\tfgpu\lib\site-packages\keras\legacy\interfaces.py", line 91, in wrapper
    return func(*args, **kwargs)

  File "c:\Users\maxi.wu\AppData\Local\conda\conda\envs\tfgpu\lib\site-packages\keras\engine\training.py", line 1418, in fit_generator
    initial_epoch=initial_epoch)

  File "c:\Users\maxi.wu\AppData\Local\conda\conda\envs\tfgpu\lib\site-packages\keras\engine\training_generator.py", line 217, in fit_generator
    class_weight=class_weight)

  File "c:\Users\maxi.wu\AppData\Local\conda\conda\envs\tfgpu\lib\site-packages\keras\engine\training.py", line 1217, in train_on_batch
    outputs = self.train_function(ins)

  File "c:\Users\maxi.wu\AppData\Local\conda\conda\envs\tfgpu\lib\site-packages\keras\backend\tensorflow_backend.py", line 2715, in __call__
    return self._call(inputs)

  File "c:\Users\maxi.wu\AppData\Local\conda\conda\envs\tfgpu\lib\site-packages\keras\backend\tensorflow_backend.py", line 2675, in _call
    fetched = self._callable_fn(*array_vals)

  File "c:\Users\maxi.wu\AppData\Local\conda\conda\envs\tfgpu\lib\site-packages\tensorflow\python\client\session.py", line 1439, in __call__
    run_metadata_ptr)

  File "c:\Users\maxi.wu\AppData\Local\conda\conda\envs\tfgpu\lib\site-packages\tensorflow\python\framework\errors_impl.py", line 528, in __exit__
    c_api.TF_GetCode(self.status.status))

UnknownError: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log message was printed above.
     [[{{node conv2d_1/convolution}} = Conv2D[T=DT_FLOAT, _class=["loc:@training/Adam/gradients/conv2d_1/convolution_grad/Conv2DBackpropFilter"], data_format="NCHW", dilations=[1, 1, 1, 1], padding="VALID", strides=[1, 1, 1, 1], use_cudnn_on_gpu=true, _device="/job:localhost/replica:0/task:0/device:GPU:0"](training/Adam/gradients/conv2d_1/convolution_grad/Conv2DBackpropFilter-0-TransposeNHWCToNCHW-LayoutOptimizer, conv2d_1/kernel/read)]]
     [[{{node loss/mul/_91}} = _Recv[client_terminated=false, recv_device="/job:localhost/replica:0/task:0/device:CPU:0", send_device="/job:localhost/replica:0/task:0/device:GPU:0", send_device_incarnation=1, tensor_name="edge_609_loss/mul", tensor_type=DT_FLOAT, _device="/job:localhost/replica:0/task:0/device:CPU:0"]()]]

टेंसरफ़्लो 1.7 . पर स्विच करें

गुरु, 3 जनवरी 2019, 19:29 maxi.wu पर < नोटिफिकेशन @github.com ने लिखा:

@kheffah https://github.com/kheffah कोंडा के भीतर एक ही समस्या है।
टीएफ और केरस को स्थापित करने के लिए पहले से ही पीआईपी का उपयोग कर रहे हैं।
GPU GT 840M, संगत 5.0, CUDA 9, cuDNN 7.4.2, TF 1.12.0 की गणना करें।
विंडोज 8 x64

परीक्षण कोड ठीक चलता है

a = tf.constant ([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], आकार = [2, 3], नाम = 'ए')
b = tf.constant ([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], आकार = [3, 2], नाम = 'बी')
सी = tf.matmul (ए, बी)

स्पाइडर में यह त्रुटि है। पहले से ही मेमोरी 0.7 और ग्रोथ ट्रिक आज़माएं।
कोई भाग्य नहीं

classifier.fit_generator(training_set,
steps_per_epoch=32,
युग = 25,
क्रिया = 1,
सत्यापन_डेटा = परीक्षण_सेट,
सत्यापन_चरण=6.25)
युग 1/25
ट्रेसबैक (सबसे हालिया कॉल अंतिम):

फ़ाइल "", लाइन 11, इंच
सत्यापन_चरण=6.25)

फ़ाइल "c:\Users\maxi.wu\AppData\Local\conda\conda\envs\tfgpu\lib\site-packages\keras\legacy\interfaces.py", पंक्ति 91, आवरण में
वापसी func ( तर्क, * kwargs)

फ़ाइल "c:\Users\maxi.wu\AppData\Local\conda\conda\envs\tfgpu\lib\site-packages\keras\engine\training.py", लाइन 1418, fit_generator में
प्रारंभिक_युग = प्रारंभिक_युग)

फ़ाइल "c:\Users\maxi.wu\AppData\Local\conda\conda\envs\tfgpu\lib\site-packages\keras\engine\training_generator.py", लाइन 217, fit_generator में
क्लास_वेट = क्लास_वेट)

फ़ाइल "c:\Users\maxi.wu\AppData\Local\conda\conda\envs\tfgpu\lib\site-packages\keras\engine\training.py", लाइन 1217, train_on_batch में
आउटपुट = self.train_function (ins)

फ़ाइल "c:\Users\maxi.wu\AppData\Local\conda\conda\envs\tfgpu\lib\site-packages\keras\backend\tensorflow_backend.py", लाइन 2715, __call__ में
स्व._कॉल (इनपुट) वापस करें

फ़ाइल "c:\Users\maxi.wu\AppData\Local\conda\conda\envs\tfgpu\lib\site-packages\keras\backend\tensorflow_backend.py", लाइन 2675, _call में
प्राप्त किया गया = स्वयं।_कॉल करने योग्य_एफएन (* array_vals)

फ़ाइल "c:\Users\maxi.wu\AppData\Local\conda\conda\envs\tfgpu\lib\site-packages\tensorflow\python\client\session.py", लाइन 1439, __call__ में
run_metadata_ptr)

फ़ाइल "c:\Users\maxi.wu\AppData\Local\conda\conda\envs\tfgpu\lib\site-packages\tensorflow\python\framework\errors_impl.py", लाइन 528, __exit__ में
c_api.TF_GetCode(self.status.status))

अज्ञात त्रुटि: कनवल्शन एल्गोरिथम प्राप्त करने में विफल। यह शायद इसलिए है क्योंकि cuDNN प्रारंभ करने में विफल रहा, इसलिए यह देखने का प्रयास करें कि क्या ऊपर चेतावनी लॉग संदेश मुद्रित किया गया था।
[[{{नोड conv2d_1/convolution}} = Conv2D[T=DT_FLOAT, _class=[" loc:@training/adam/gradients/conv2d_1/convolution_grad/Conv2DBackpropFilter "], data_format="NCHW", dilations=[1, 1 , 1, 1], पैडिंग = "VALID", स्ट्राइड्स = [1, 1, 1, 1], use_cudnn_on_gpu=true, _device="/ job:localhost/replica :0/ task:0/device : GPU:0 " ](प्रशिक्षण/एडम/ग्रेडिएंट्स/conv2d_1/convolution_grad/Conv2DBackpropFilter-0-TransposeNHWCToNCHW-LayoutOptimizer, conv2d_1/कर्नेल/रीड)]]
[[{{नोड हानि/मूल/_91}} = _Recv[client_terminate=false, recv_device="/ job:localhost/replica :0/ task:0/device : CPU:0 ", send_device="/ job:localhost/ प्रतिकृति :0/ कार्य:0/डिवाइस : GPU:0 ", send_device_incarnation=1, tensor_name="edge_609_loss/mul", tensor_type=DT_FLOAT, _device="/ job:localhost/replica :0/ कार्य:0/डिवाइस : CPU :0 "]()]]

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपने टिप्पणी की थी।
इस ईमेल का सीधे उत्तर दें, इसे GitHub पर देखें
https://github.com/tensorflow/tensorflow/issues/6698#issuecomment-451079405 ,
या थ्रेड को म्यूट करें
https://github.com/notifications/unsubscribe-auth/ABE215xY0OhbFjA_GhVtEIDl_IB4qQGmks5u_b9NgaJpZM4Lc7S1
.

मुझे win10 सिस्टम पर भी यही समस्या थी। लेकिन यह स्मृति समस्या पाया जाता है। अन्य चल रहे ऐप को मारें जो विशाल मेमोरी संसाधनों का उपभोग करता है और कोशिश करता है।

मुझे विंडोज़ 10 NVIDIA GEFORCE GTX 1050 पर भी इसी तरह की समस्या थी और जैसे ही मैंने अन्य सभी चल रहे कार्यों को बंद कर दिया, और ऊपर @ xhm1014 द्वारा पुनः प्रयास किया, मेरा कोड बस उसी तरह चलने लगा। मुझे लगता है कि यह एक स्मृति से संबंधित मुद्दा होना चाहिए।

निश्चित रूप से स्मृति से संबंधित। आपको अपनी रैम को 64GB तक अपग्रेड करना चाहिए।

शुक्र, 18 जनवरी, 2019 को शाम 5:30 बजे सैमुअल नेडे नोटिफिकेशन @github.com ने लिखा:

मुझे विंडोज़ 10 NVIDIA GEFORCE GTX 1050 और जैसे ही एक समान समस्या थी
जैसा कि मैंने अन्य सभी चल रहे कार्यों को बंद कर दिया, और @ xhm1014 . द्वारा सुझाए गए अनुसार पुनः प्रयास किया
https://github.com/xhm1014 ऊपर, मेरा कोड बस की तरह चलने लगा
वह। मुझे लगता है कि यह एक स्मृति से संबंधित मुद्दा होना चाहिए।

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपने टिप्पणी की थी।
इस ईमेल का सीधे उत्तर दें, इसे GitHub पर देखें
https://github.com/tensorflow/tensorflow/issues/6698#issuecomment-455441208 ,
या थ्रेड को म्यूट करें
https://github.com/notifications/unsubscribe-auth/ABE217cdDKUuRtdD9jJ_eh2tJWrm2fjeks5vEWnwgaJpZM4Lc7S1
.

मेरे पास त्रुटि थी और मैंने जुपिटर के अपने कई उदाहरणों को बंद करके और अन्य अनुप्रयोगों को बंद करके इसे 'ठीक' कर दिया। मैं सामान्य रूप से tensorflow के साथ काम करने के लिए नया हूँ, इसलिए यह संभव है कि यह केवल मेरी समस्या को ठीक कर दे।

E tensorflow/stream_executor/cuda/cuda_dnn.cc:353] cudnn हैंडल नहीं बना सका: CUDNN_STATUS_INTERNAL_ERROR

मेरे पास 10.1 Cuda + cuDNN7.5 और TF 1.11 के साथ स्रोत से संकलित cuda के साथ यह समस्या थी। मैं जिस स्क्रिप्ट का उपयोग करने की कोशिश कर रहा था, उसे इन पंक्तियों को कहीं डालने की आवश्यकता थी:
config = tf.ConfigProto() config.gpu_options.allow_growth = True

और फिर बाद में:
sess = tf.Session(graph=detection_graph,config=config)

यह किया, "मेमोरी त्रुटियों से बाहर जीपीयू" - लेकिन पता लगाना बहुत जल्दी हो जाता है जैसा कि मुझे लगता है कि जब हम जीपीयू का उपयोग कर रहे हों तो इसे करना चाहिए। साझा करने के लिए धन्यवाद!

मुझे एक ही समस्या का सामना करना पड़ा। और नीचे दी गई रेखा का उपयोग इसे ठीक करता है। यहां जांचें विवरण प्राप्त
निर्यात LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/स्थानीय/क्यूडा/अतिरिक्त/CUPTI/lib64

@EncodeTS मैंने अभी अपनी पहली पोस्ट में एक न्यूनतम प्रतिलिपि प्रस्तुत करने योग्य उदाहरण जोड़ा है। क्या आप जांच सकते हैं कि यह आपकी मशीन पर समस्या को पुन: उत्पन्न करता है या नहीं? मेरी मशीन पर, एक कनवल्शनल लेयर काम करती है, लेकिन दो कनवल्शनल लेयर नहीं, जिससे मुझे लगा कि समस्या कुछ संसाधन सीमाओं के कारण हो सकती है।

दरअसल, मैं उबंटू 18.04 पर काम कर रहा हूं, मैकओएस पर नहीं, लेकिन यह समझ में आता है कि यह कुछ संसाधन सीमाओं के कारण हो सकता है। मुझे या तो जीटीएक्स 1050 टीआई (4 जीबी) पर एक ही समस्या का सामना करना पड़ा, लेकिन जब मैं जीटीएक्स 1080 टीआई (11 जीबी) पर एक ही आर्किटेक्चर चलाता हूं तो यह समस्या दूर हो गई है। हालांकि दोनों प्रणालियों के बीच सभी वातावरण समान नहीं हैं, मैंने डॉकटर कंटेनर का उपयोग करके अपनी पूरी कोशिश की।

यह समस्या आम तौर पर क्यूडा और जीपीयू मेमोरी के संस्करण से संबंधित है, यदि पूर्व में, एनाकोंडा द्वारा अपने क्यूडा संस्करण को बदलने का सबसे आसान तरीका है! यदि बाद में, आप अन्य उत्तरों में हल करने के कुछ तरीके खोज सकते हैं।
यह समस्या आम तौर पर वीडियो मेमोरी और क्यूडा संस्करण से संबंधित होती है। यदि GPU मेमोरी को बदलने की उपरोक्त विधि अमान्य है, तो cuda संस्करण को बदलने पर विचार करें। सबसे आसान तरीका यह है कि सिस्टम में कौन सा cuda संस्करण स्थापित किया गया है, इसके बारे में सीधे चिंता न करें एनाकोंडा में परियोजना का वातावरण बस क्यूडा संस्करण को संशोधित करें, और प्रो-टेस्ट मान्य है।

यदि आपको अभी भी यह समस्या हो रही है, तो निम्न प्रयास करें। यह मेरे लिए काम किया
tf.config.gpu.set_per_process_memory_growth(True); tf.config.gpu.set_per_process_memory_fraction(0.4);

टेंसरफ़्लो 2 अल्फा
कूडा 10.0
जीटीएक्स 1650

मेरे पास समान समस्या है: CUDNN_STATUS_ALLOC_FAILED।
मैंने अपना सिर 3-4 घंटे तक तोड़ा। अंत में तय।
यह वास्तव में काम करता है, जैसा कि कई लोगों ने ऊपर बताया है:
कॉन्फिग = tf.ConfigProto ()
config.gpu_options.allow_growth = सही
सत्र = tf. सत्र (कॉन्फ़िगरेशन = कॉन्फ़िग)

लेकिन कुंजी इसे "tf के रूप में आयात टेंसरफ़्लो" के ठीक नीचे लिखना है जो मैं नहीं कर रहा था। मैंने इसे सभी आयातों के बाद लिखा था।

हो सकता है कि टेंसरफ़्लो-जीपीयू संस्करण में समस्याएँ हों, आपको अपने स्वयं के संस्करणों की बार-बार जाँच करनी चाहिए, स्थापना रद्द करें और स्थापित करें ... tensorflow-gpu संबंधित संस्करण संख्या खोजें और फिर अनइंस्टॉल करें और पुनर्स्थापित करें

स्क्रिप्ट की शुरुआत में कोड की इन पंक्तियों को जोड़ते समय इसने मेरे लिए काम किया @Codersadis

निम्न कोड को .py फ़ाइल की शुरुआत में जोड़ें, जो मेरी समस्या का समाधान करता है।

भविष्य के आयात से प्रिंट_फंक्शन, डिवीजन
tf . के रूप में टेंसरफ़्लो आयात करें
keras.backend.tensorflow_backend से आयात set_session
कॉन्फिग = tf.ConfigProto ()
config.gpu_options.allow_growth = सही
set_session(tf.Session(config=config))

मुझे tensorflow-gpu == 1.8.0 , cudnn version = 7.0.5 और cuda 9.1.85 साथ एक ही त्रुटि मिल रही है
, ubuntu 16.04 मेरे द्वारा उपरोक्त सुझाए गए समाधान को जोड़ने के बाद भी।
स्टैक-ट्रेस निम्नलिखित है:

INFO - Waveunet Training - Running command 'run'
INFO - Waveunet Training - Started
SCRIPT START
EPOCH: 0
Dataset ready!
Training...
Sep_Vars: 10265550
Num of variables65
2019-07-25 05:10:09.872823: I tensorflow/core/platform/cpu_feature_guard.cc:140] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
2019-07-25 05:10:10.286584: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:898] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
2019-07-25 05:10:10.286914: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1356] Found device 0 with properties: 
name: Quadro P4000 major: 6 minor: 1 memoryClockRate(GHz): 1.48
pciBusID: 0000:00:05.0
totalMemory: 7.92GiB freeMemory: 7.83GiB
2019-07-25 05:10:10.286964: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1435] Adding visible gpu devices: 0
2019-07-25 05:10:10.640890: I tensorflow/core/common_runtime/gpu/gpu_device.cc:923] Device interconnect StreamExecutor with strength 1 edge matrix:
2019-07-25 05:10:10.640952: I tensorflow/core/common_runtime/gpu/gpu_device.cc:929]      0 
2019-07-25 05:10:10.640968: I tensorflow/core/common_runtime/gpu/gpu_device.cc:942] 0:   N 
2019-07-25 05:10:10.641194: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1053] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 7566 MB memory) -> physical GPU (device: 0, name: Quadro P4000, pci bus id: 0000:00:05.0, compute capability: 6.1)
2019-07-25 05:10:27.643833: I tensorflow/core/kernels/data/shuffle_dataset_op.cc:94] Filling up shuffle buffer (this may take a while): 2054 of 4000
2019-07-25 05:10:35.917445: I tensorflow/core/kernels/data/shuffle_dataset_op.cc:129] Shuffle buffer filled.
2019-07-25 05:10:36.175698: E tensorflow/stream_executor/cuda/cuda_dnn.cc:455] could not create cudnn handle: CUDNN_STATUS_NOT_INITIALIZED
2019-07-25 05:10:36.175820: E tensorflow/stream_executor/cuda/cuda_dnn.cc:463] possibly insufficient driver version: 384.183.0
2019-07-25 05:10:36.175842: E tensorflow/stream_executor/cuda/cuda_dnn.cc:427] could not destroy cudnn handle: CUDNN_STATUS_BAD_PARAM
2019-07-25 05:10:36.175859: F tensorflow/core/kernels/conv_ops.cc:713] Check failed: stream->parent()->GetConvolveAlgorithms( conv_parameters.ShouldIncludeWinogradNonfusedAlgo<T>(), &algorithms) 
Aborted (core dumped)

कृपया सहायता कीजिए

मेरे पास समान समस्या है: CUDNN_STATUS_ALLOC_FAILED।
मैंने अपना सिर 3-4 घंटे तक तोड़ा। अंत में तय।
यह वास्तव में काम करता है, जैसा कि कई लोगों ने ऊपर बताया है:
कॉन्फिग = tf.ConfigProto ()
config.gpu_options.allow_growth = सही
सत्र = tf. सत्र (कॉन्फ़िगरेशन = कॉन्फ़िग)

लेकिन कुंजी इसे "tf के रूप में आयात टेंसरफ़्लो" के ठीक नीचे लिखना है जो मैं नहीं कर रहा था। मैंने इसे सभी आयातों के बाद लिखा था।

अच्छा जवाब, मेरे लिए काम किया !!

स्क्रिप्ट की शुरुआत में कोड की इन पंक्तियों को जोड़ते समय इसने मेरे लिए काम किया @Codersadis
निम्न कोड को .py फ़ाइल की शुरुआत में जोड़ें, जो मेरी समस्या का समाधान करता है।
भविष्य के आयात से प्रिंट_फंक्शन, डिवीजन
tf . के रूप में टेंसरफ़्लो आयात करें
keras.backend.tensorflow_backend से आयात set_session
कॉन्फिग = tf.ConfigProto ()
config.gpu_options.allow_growth = सही
set_session(tf.Session(config=config))

मुझे tensorflow-gpu == 1.8.0 , cudnn version = 7.0.5 और cuda 9.1.85 साथ एक ही त्रुटि मिल रही है
, ubuntu 16.04 मेरे द्वारा उपरोक्त सुझाए गए समाधान को जोड़ने के बाद भी।
स्टैक-ट्रेस निम्नलिखित है:

INFO - Waveunet Training - Running command 'run'
INFO - Waveunet Training - Started
SCRIPT START
EPOCH: 0
Dataset ready!
Training...
Sep_Vars: 10265550
Num of variables65
2019-07-25 05:10:09.872823: I tensorflow/core/platform/cpu_feature_guard.cc:140] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
2019-07-25 05:10:10.286584: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:898] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
2019-07-25 05:10:10.286914: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1356] Found device 0 with properties: 
name: Quadro P4000 major: 6 minor: 1 memoryClockRate(GHz): 1.48
pciBusID: 0000:00:05.0
totalMemory: 7.92GiB freeMemory: 7.83GiB
2019-07-25 05:10:10.286964: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1435] Adding visible gpu devices: 0
2019-07-25 05:10:10.640890: I tensorflow/core/common_runtime/gpu/gpu_device.cc:923] Device interconnect StreamExecutor with strength 1 edge matrix:
2019-07-25 05:10:10.640952: I tensorflow/core/common_runtime/gpu/gpu_device.cc:929]      0 
2019-07-25 05:10:10.640968: I tensorflow/core/common_runtime/gpu/gpu_device.cc:942] 0:   N 
2019-07-25 05:10:10.641194: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1053] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 7566 MB memory) -> physical GPU (device: 0, name: Quadro P4000, pci bus id: 0000:00:05.0, compute capability: 6.1)
2019-07-25 05:10:27.643833: I tensorflow/core/kernels/data/shuffle_dataset_op.cc:94] Filling up shuffle buffer (this may take a while): 2054 of 4000
2019-07-25 05:10:35.917445: I tensorflow/core/kernels/data/shuffle_dataset_op.cc:129] Shuffle buffer filled.
2019-07-25 05:10:36.175698: E tensorflow/stream_executor/cuda/cuda_dnn.cc:455] could not create cudnn handle: CUDNN_STATUS_NOT_INITIALIZED
2019-07-25 05:10:36.175820: E tensorflow/stream_executor/cuda/cuda_dnn.cc:463] possibly insufficient driver version: 384.183.0
2019-07-25 05:10:36.175842: E tensorflow/stream_executor/cuda/cuda_dnn.cc:427] could not destroy cudnn handle: CUDNN_STATUS_BAD_PARAM
2019-07-25 05:10:36.175859: F tensorflow/core/kernels/conv_ops.cc:713] Check failed: stream->parent()->GetConvolveAlgorithms( conv_parameters.ShouldIncludeWinogradNonfusedAlgo<T>(), &algorithms) 
Aborted (core dumped)

कृपया सहायता कीजिए

एनवीडिया ड्राइवर को 396+ में बदलने से मेरे लिए समस्या हल हो गई।

यह cudnn हैंडल बनाने के लिए GPU संसाधनों को लोड करने के लिए उपलब्ध मेमोरी अंश के साथ करना है, जिसे per_process_gpu_memory_fraction भी कहा जाता है।
इस स्मृति अंश को अपने आप कम करने से त्रुटि का समाधान हो जाएगा।

> sess_config = tf.ConfigProto(gpu_options =
> tf.GPUOptions(per_process_gpu_memory_fraction=0.7),
> allow_soft_placement = True)
> 
> with tf.Session(config=sess_config) as sess:
>      sess.run([whatever])

अपनी स्मृति में जितना फिट हो सके उतने छोटे अंश का प्रयोग करें। (कोड में, मैं 0.7 का उपयोग करता हूं, आप 0.3 या उससे भी छोटे से शुरू कर सकते हैं, फिर तब तक बढ़ा सकते हैं जब तक आपको वही त्रुटि न मिल जाए, यह आपकी सीमा है।)
इसे अपने tf.Session() या tf.train.MonitoredTrainingSession() या पर्यवेक्षक के sv.managed_session() को config के रूप में पास करें।

यह आपके GPU को आपके TensorFlow कोड के लिए एक cudnn हैंडल बनाने की अनुमति देगा।

मैं अपने conda वातावरण में tensorflow 2.0 के साथ निम्न त्रुटि हो रही थी।

``2019-12-03 23:48:29.888625: मैं tensorflow/stream_executor/platform/default/dso_loader.cc:44] सफलतापूर्वक गतिशील पुस्तकालय cudart64_100.dll खोला
2019-12-03 23:49:06.381259: मैं tensorflow/stream_executor/platform/default/dso_loader.cc:44] डायनेमिक लाइब्रेरी nvcuda.dll को सफलतापूर्वक खोला गया
2019-12-03 23:49:07.220066: मैं tensorflow/core/common_runtime/gpu/gpu_device.cc:1618] गुणों के साथ डिवाइस 0 मिला:
नाम: GeForce GTX 1660 Ti मेजर: 7 माइनर: 5 मेमोरीक्लॉक रेट (GHz): 1.59
पीसीआईबसआईडी: 0000:01:00.0
2019-12-03 23:49:07.236411: मैं tensorflow/stream_executor/platform/default/dlopen_checker_stub.cc:25] GPU पुस्तकालय स्थिर रूप से जुड़े हुए हैं, dlopen जाँच छोड़ें।
2019-12-03 23:49:07.247476: मैं tensorflow/core/common_runtime/gpu/gpu_device.cc:1746] दृश्यमान GPU डिवाइस जोड़ना: 0
2019-12-03 23:49:07.256881: I tensorflow/core/platform/cpu_feature_guard.cc:142] आपका CPU निर्देशों का समर्थन करता है कि इस TensorFlow बाइनरी को उपयोग करने के लिए संकलित नहीं किया गया था: AVX2
2019-12-03 23:49:07.269536: मैं tensorflow/core/common_runtime/gpu/gpu_device.cc:1618] गुणों के साथ डिवाइस 0 मिला:
नाम: GeForce GTX 1660 Ti मेजर: 7 माइनर: 5 मेमोरीक्लॉक रेट (GHz): 1.59
पीसीआईबसआईडी: 0000:01:00.0
2019-12-03 23:49:07.281954: मैं tensorflow/stream_executor/platform/default/dlopen_checker_stub.cc:25] GPU पुस्तकालय स्थिर रूप से जुड़े हुए हैं, dlopen जाँच छोड़ें।
2019-12-03 23:49:07.295302: मैं tensorflow/core/common_runtime/gpu/gpu_device.cc:1746] दृश्यमान GPU डिवाइस जोड़ना: 0
2019-12-03 23:49:08.589865: मैं tensorflow/core/common_runtime/gpu/gpu_device.cc:1159] डिवाइस इंटरकनेक्ट StreamExecutor शक्ति 1 बढ़त मैट्रिक्स के साथ:
2019-12-03 23:49:08.599121: मैं tensorflow/core/common_runtime/gpu/gpu_device.cc:1165] 0
2019-12-03 23:49:08.610543: मैं tensorflow/core/common_runtime/gpu/gpu_device.cc:1178] 0: N
2019-12-03 23:49:08.616005: मैं tensorflow/core/common_runtime/gpu/gpu_device.cc:1304] TensorFlow डिवाइस बनाया (/job:localhost/प्रतिकृति:0/कार्य:0/डिवाइस:GPU:0 4627 के साथ MB मेमोरी) -> भौतिक GPU (डिवाइस: 0, नाम: GeForce GTX 1660 Ti, pci बस आईडी: 0000:01:00.0, गणना क्षमता: 7.5)
2019-12-03 23:49:58.521484: मैं tensorflow/stream_executor/platform/default/dso_loader.cc:44] सफलतापूर्वक गतिशील पुस्तकालय cublas64_100.dll खोला
2019-12-03 23:49:59.604517: मैं tensorflow/stream_executor/platform/default/dso_loader.cc:44] सफलतापूर्वक गतिशील पुस्तकालय cudnn64_7.dll खोला
2019-12-03 23:50:04.209110: E tensorflow/stream_executor/cuda/cuda_dnn.cc:329] cudnn हैंडल नहीं बना सका: CUDNN_STATUS_NOT_INITIALIZED
2019-12-03 23:50:04.216670: E tensorflow/stream_executor/cuda/cuda_dnn.cc:333] ड्राइवर संस्करण को पुनर्प्राप्त करने में त्रुटि: लागू नहीं किया गया: कर्नेल ने ड्राइवर संस्करण को विंडोज़ पर लागू नहीं किया
2019-12-03 23:50:04.226172: E tensorflow/stream_executor/cuda/cuda_dnn.cc:329] cudnn हैंडल नहीं बना सका: CUDNN_STATUS_NOT_INITIALIZED
2019-12-03 23:50:04.234741: E tensorflow/stream_executor/cuda/cuda_dnn.cc:333] ड्राइवर संस्करण को पुनर्प्राप्त करने में त्रुटि: लागू नहीं किया गया: कर्नेल ने ड्राइवर संस्करण को विंडोज़ पर लागू नहीं किया
2019-12-03 23:50:04.244958: W tensorflow/core/common_runtime/base_collective_executor.cc:216] BaseCollectiveExecutor::StartAbort अज्ञात: कनवल्शन एल्गोरिथम प्राप्त करने में विफल। यह शायद इसलिए है क्योंकि cuDNN प्रारंभ करने में विफल रहा, इसलिए यह देखने का प्रयास करें कि क्या ऊपर चेतावनी लॉग संदेश मुद्रित किया गया था।
[[{{नोड अनुक्रमिक/conv2d/Conv2D}}]]

so i added the following code to my CNN

gpus = tf.config.experimental.list_physical_devices('GPU')
tf.config.experimental.set_memory_growth(gpus[0], True)

My output is now

2019-12-04 00:10:07.708573: मैं tensorflow/stream_executor/platform/default/dso_loader.cc:44] सफलतापूर्वक गतिशील पुस्तकालय cudart64_100.dll खोला
2019-12-04 00:10:11.643304: मैं tensorflow/stream_executor/platform/default/dso_loader.cc:44] सफलतापूर्वक गतिशील पुस्तकालय nvcuda.dll खोला गया
2019-12-04 00:10:12.753615: मैं tensorflow/core/common_runtime/gpu/gpu_device.cc:1618] गुणों के साथ डिवाइस 0 मिला:
नाम: GeForce GTX 1660 Ti मेजर: 7 माइनर: 5 मेमोरीक्लॉक रेट (GHz): 1.59
पीसीआईबसआईडी: 0000:01:00.0
2019-12-04 00:10:12.769498: मैं tensorflow/stream_executor/platform/default/dlopen_checker_stub.cc:25] GPU पुस्तकालय स्थिर रूप से जुड़े हुए हैं, dlopen जाँच छोड़ें।
2019-12-04 00:10:12.783900: मैं tensorflow/core/common_runtime/gpu/gpu_device.cc:1746] दृश्यमान GPU उपकरणों को जोड़ना: 0
2019-12-04 00:10:54.941468: I tensorflow/core/platform/cpu_feature_guard.cc:142] आपका CPU निर्देशों का समर्थन करता है कि इस TensorFlow बाइनरी को उपयोग करने के लिए संकलित नहीं किया गया था: AVX2
2019-12-04 00:10:55.372516: मैं tensorflow/core/common_runtime/gpu/gpu_device.cc:1618] गुणों के साथ डिवाइस 0 मिला:
नाम: GeForce GTX 1660 Ti मेजर: 7 माइनर: 5 मेमोरीक्लॉक रेट (GHz): 1.59
पीसीआईबसआईडी: 0000:01:00.0
2019-12-04 00:10:55.383385: मैं tensorflow/stream_executor/platform/default/dlopen_checker_stub.cc:25] GPU पुस्तकालय स्थिर रूप से जुड़े हुए हैं, dlopen check छोड़ें।
2019-12-04 00:10:55.406053: मैं tensorflow/core/common_runtime/gpu/gpu_device.cc:1746] दृश्यमान GPU उपकरणों को जोड़ना: 0
2019-12-04 00:10:56.741665: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1159] डिवाइस StreamExecutor को स्ट्रेंथ 1 एज मैट्रिक्स के साथ इंटरकनेक्ट करता है:
2019-12-04 00:10:56.747255: मैं tensorflow/core/common_runtime/gpu/gpu_device.cc:1165] 0
2019-12-04 00:10:56.752302: मैं tensorflow/core/common_runtime/gpu/gpu_device.cc:1178] 0: N
2019-12-04 00:10:56.756861: मैं tensorflow/core/common_runtime/gpu/gpu_device.cc:1304] TensorFlow डिवाइस बनाया (/job:localhost/प्रतिकृति:0/कार्य:0/डिवाइस:GPU:0 4627 के साथ एमबी मेमोरी) -> भौतिक GPU (डिवाइस: 0, नाम: GeForce GTX 1660 Ti, pci बस आईडी: 0000:01:00.0, गणना क्षमता: 7.5)
2019-12-04 00:11:08.281356: मैं tensorflow/stream_executor/platform/default/dso_loader.cc:44] सफलतापूर्वक गतिशील पुस्तकालय cublas64_100.dll खोला
2019-12-04 00: 11: 08.934804: मैं tensorflow/stream_executor/platform/default/dso_loader.cc:44] सफलतापूर्वक गतिशील पुस्तकालय cudnn64_7.dll खोला
2019-12-04 00:11:11.870237: W tensorflow/stream_executor/cuda/redzone_allocator.cc:312] आंतरिक: विंडोज़ पर समर्थित नहीं ptxas को आमंत्रित करना
पीटीएक्स संकलन करने के लिए ड्राइवर पर निर्भर। यह संदेश केवल एक बार लॉग किया जाएगा।
```

जैसा कि सभी ने सुझाव दिया है कि यह सभी GPU/GPU का उपयोग करने वाले टेंसरफ़्लो के कारण है। मेरा सीएनएन अब बिना किसी त्रुटि के ट्रेन करता है।

एक कोंडा वातावरण के अंदर टेंसरफ़्लो के समुदाय समर्थित संस्करण का उपयोग करते समय मुझे उसी समस्या का सामना करना पड़ रहा था (यानी > conda install tensorflow-gpu का उपयोग करके)

पता चलता है कि यह संस्करण वास्तव में सभी स्थितियों में अच्छा नहीं है (भले ही मैं इसे अन्य मशीनों पर उपयोग कर रहा हूं)। उपयोग करने के लिए सबसे अच्छा संस्करण पाइप इंस्टाल करने योग्य संस्करण है https://www.tensorflow.org/install/pip एक conda वातावरण के अंदर। जब मैंने ऐसा किया तो सब कुछ काम कर गया।

यह मेरे लिए हल हो गया, धन्यवाद!

इसने मेरे लिए इस मुद्दे को भी हल कर दिया।

GeForce GTX 1050, CUDA 10.0

नोट: यह एकमात्र चीज है जो मुझे मिल सकती है जो अभी के लिए टीएफ 2.0 में काम करती है। धन्यवाद!

gpus = tf.config.experimental.list_physical_devices('GPU')
tf.config.experimental.set_memory_growth(gpus[0], True)

इसने मेरे लिए इस मुद्दे को भी हल कर दिया।

GeForce GTX 1050, CUDA 10.0

नोट: यह एकमात्र चीज है जो मुझे मिल सकती है जो अभी के लिए टीएफ 2.0 में काम करती है। धन्यवाद!

gpus = tf.config.experimental.list_physical_devices('GPU')
tf.config.experimental.set_memory_growth(gpus[0], True)

इससे मुझे कोई फर्क नहीं पड़ा... TF 2.0, RTX 2060, CUDA 10.1, CuDNN 7.6

यह 16 जीबी रैम, 6 जीबी वीडियो मेमोरी और एक रूपांतरण परत के साथ एक बुनियादी एमएनआईएसटी खिलौना मॉडल के साथ है। कोई स्मृति समस्या नहीं, बस एक स्टैक ट्रेस।

हमेशा की तरह, Pytorch के साथ कोई GPU समस्या नहीं है

मेरे मामले में, मेरे पास दो मशीनें हैं, दोनों RTX 2080Ti, TF 2.1, CUDA 10.1, CuDNN 7.6 के साथ। एक काम करता है, दूसरा उपरोक्त त्रुटि उठाता है। दोनों मशीनों में समान मात्रा में RAM, 16GB है। हालाँकि, CPU की तरह हार्डवेयर भिन्न हैं। लेकिन समस्या केवल GPU का उपयोग करते समय हो रही है।

मेरे मामले में, मेरे पास दो मशीनें हैं, दोनों RTX 2080Ti, TF 2.1, CUDA 10.1, CuDNN 7.6 के साथ। एक काम करता है, दूसरा उपरोक्त त्रुटि उठाता है। दोनों मशीनों में समान मात्रा में RAM, 16GB है। हालाँकि, CPU की तरह हार्डवेयर भिन्न हैं। लेकिन समस्या केवल GPU का उपयोग करते समय हो रही है।

वही मंच, वही समस्या

यदि आप नवीनतम टेंसरफ़्लो और केरस का उपयोग कर रहे हैं। इसे यहाँ से आज़माएँ, इसने मेरे लिए काम किया:

gpus = tf.config.experimental.list_physical_devices('GPU')
if gpus:
  try:
    # Currently, memory growth needs to be the same across GPUs
    for gpu in gpus:
      tf.config.experimental.set_memory_growth(gpu, True)
    logical_gpus = tf.config.experimental.list_logical_devices('GPU')
    print(len(gpus), "Physical GPUs,", len(logical_gpus), "Logical GPUs")
  except RuntimeError as e:
    # Memory growth must be set before GPUs have been initialized
    print(e)

यह मेरे लिए काम करता है।
Physical_devices = tf.config.list_ Physical_devices('GPU')
tf.config.experimental.set_memory_growth( Physical_devices[0], True)

यह मेरे लिए काम करता है।
Physical_devices = tf.config.list_ Physical_devices('GPU')
tf.config.experimental.set_memory_growth( Physical_devices[0], True)

यह मेरे लिए काम किया। धन्यवाद

@ Samaritan1011001 आपका समाधान मेरे लिए काम करता है बहुत बहुत धन्यवाद।