Tensorflow: tf.Variable से संबंधित कई GPU का उपयोग करने की बग CPU को पिन किया गया

को निर्मित 9 मई 2016 · 3टिप्पणियाँ · स्रोत: tensorflow/tensorflow

पर्यावरण की जानकारी

ऑपरेटिंग सिस्टम: उबंटू 14.04

CUDA और cuDNN का स्थापित संस्करण: 7.5 और 4.0.7
(कृपया ls -l /path/to/cuda/lib/libcud* का आउटपुट संलग्न करें):

यदि स्रोतों से स्थापित किया गया है, तो प्रतिबद्ध हैश प्रदान करें: 4a4f2461533847dde239851ecebe5056088a828c

प्रजनन के चरण

निम्नलिखित कोड चलाएँ

import tensorflow as tf

def main():
    a = tf.Variable(1)
    init_a = tf.initialize_all_variables()
    with tf.Session() as sess:
        sess.run(init_a)

    with tf.device("/gpu:0"):
        b = tf.constant(2)
        init_b = tf.initialize_all_variables()
    with tf.Session() as sess:
        sess.run(init_b)

    with tf.device("/cpu:0"):
        c = tf.Variable(2)
        init_c = tf.initialize_all_variables()
    with tf.Session() as sess:
        sess.run(init_c)

    with tf.device("/gpu:0"):
        d = tf.Variable(2)
        init_d = tf.initialize_all_variables()
    with tf.Session() as sess:
        sess.run(init_d)

if __name__ == '__main__':
    main()

लॉग या अन्य आउटपुट जो मददगार होंगे

(यदि लॉग बड़े हैं, तो कृपया संलग्नक के रूप में अपलोड करें)।

I tensorflow/stream_executor/dso_loader.cc:108] successfully opened CUDA library libcublas.so locally
I tensorflow/stream_executor/dso_loader.cc:108] successfully opened CUDA library libcudnn.so locally
I tensorflow/stream_executor/dso_loader.cc:108] successfully opened CUDA library libcufft.so locally
I tensorflow/stream_executor/dso_loader.cc:108] successfully opened CUDA library libcuda.so locally
I tensorflow/stream_executor/dso_loader.cc:108] successfully opened CUDA library libcurand.so locally
I tensorflow/core/common_runtime/gpu/gpu_init.cc:102] Found device 0 with properties: 
name: GeForce GTX TITAN X
major: 5 minor: 2 memoryClockRate (GHz) 1.266
pciBusID 0000:05:00.0
Total memory: 12.00GiB
Free memory: 11.02GiB
I tensorflow/core/common_runtime/gpu/gpu_init.cc:102] Found device 1 with properties: 
name: GeForce GTX 980
major: 5 minor: 2 memoryClockRate (GHz) 1.2785
pciBusID 0000:09:00.0
Total memory: 4.00GiB
Free memory: 3.91GiB
I tensorflow/core/common_runtime/gpu/gpu_init.cc:59] cannot enable peer access from device ordinal 0 to device ordinal 1
I tensorflow/core/common_runtime/gpu/gpu_init.cc:59] cannot enable peer access from device ordinal 1 to device ordinal 0
I tensorflow/core/common_runtime/gpu/gpu_init.cc:126] DMA: 0 1 
I tensorflow/core/common_runtime/gpu/gpu_init.cc:136] 0:   Y N 
I tensorflow/core/common_runtime/gpu/gpu_init.cc:136] 1:   N Y 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:756] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX TITAN X, pci bus id: 0000:05:00.0)
I tensorflow/core/common_runtime/gpu/gpu_device.cc:756] Creating TensorFlow device (/gpu:1) -> (device: 1, name: GeForce GTX 980, pci bus id: 0000:09:00.0)
I tensorflow/core/common_runtime/gpu/gpu_device.cc:756] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX TITAN X, pci bus id: 0000:05:00.0)
I tensorflow/core/common_runtime/gpu/gpu_device.cc:756] Creating TensorFlow device (/gpu:1) -> (device: 1, name: GeForce GTX 980, pci bus id: 0000:09:00.0)
I tensorflow/core/common_runtime/gpu/gpu_device.cc:756] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX TITAN X, pci bus id: 0000:05:00.0)
I tensorflow/core/common_runtime/gpu/gpu_device.cc:756] Creating TensorFlow device (/gpu:1) -> (device: 1, name: GeForce GTX 980, pci bus id: 0000:09:00.0)
I tensorflow/core/common_runtime/gpu/gpu_device.cc:756] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX TITAN X, pci bus id: 0000:05:00.0)
I tensorflow/core/common_runtime/gpu/gpu_device.cc:756] Creating TensorFlow device (/gpu:1) -> (device: 1, name: GeForce GTX 980, pci bus id: 0000:09:00.0)
Traceback (most recent call last):
  File "test_multi_gpu.py", line 30, in <module>
    main()
  File "test_multi_gpu.py", line 26, in main
    sess.run(init_d)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/client/session.py", line 332, in run
    run_metadata_ptr)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/client/session.py", line 572, in _run
    feed_dict_string, options, run_metadata)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/client/session.py", line 652, in _do_run
    target_list, options, run_metadata)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/client/session.py", line 672, in _do_call
    raise type(e)(node_def, op, message)
tensorflow.python.framework.errors.InvalidArgumentError: Cannot assign a device to node 'Variable_2': Could not satisfy explicit device specification '/device:GPU:0' because no supported kernel for GPU devices is available
     [[Node: Variable_2 = Variable[container="", dtype=DT_INT32, shape=[], shared_name="", _device="/device:GPU:0"]()]]
Caused by op u'Variable_2', defined at:
  File "test_multi_gpu.py", line 30, in <module>
    main()
  File "test_multi_gpu.py", line 23, in main
    d = tf.Variable(2)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/ops/variables.py", line 211, in __init__
    dtype=dtype)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/ops/variables.py", line 292, in _init_from_args
    name=name)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/ops/state_ops.py", line 139, in variable_op
    container=container, shared_name=shared_name)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/ops/gen_state_ops.py", line 351, in _variable
    name=name)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/ops/op_def_library.py", line 693, in apply_op
    op_def=op_def)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/framework/ops.py", line 2177, in create_op
    original_op=self._default_original_op, op_def=op_def)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/framework/ops.py", line 1161, in __init__
    self._traceback = _extract_stack()

मैंने यह भी देखा कि GPU का उपयोग करने के लिए दस्तावेज़ में tf.Variable के बारे में उल्लेख नहीं किया गया है, इसमें केवल tf.constant और tf.matmul शामिल हैं।

ठीक है, मुझे [कन्वेंशनल न्यूरल नेटवर्क्स] (https://www.tensorflow.org/versions/r0.8/tutorials/deep_cnn/index.html)
उल्लेख:

All variables are pinned to the CPU and accessed via tf.get_variable() in order to share them in a multi-GPU version. See how-to on Sharing Variables.

मैं पूछना चाहता हूं कि चूंकि tf.Variables को tensorflow द्वारा CPU में पिन किया गया है, क्या हम इस त्रुटि को ठीक कर सकते हैं? क्या हमें with tf.device('/gpu:xx') दायरे से बाहर tf.Variable घोषणा को बाहर करने के लिए बहुत सावधानी से देखने की जरूरत है, या इसे संभालने के लिए netsted with tf.device(None) करें?

स्रोत

myme5261314

👍2

सबसे उपयोगी टिप्पणी

डिवाइस प्लेसमेंट को बेहतर बनाने के लिए @vrv के चल रहे कार्य द्वारा उच्च-स्तरीय समस्या को ठीक किया जाना चाहिए। ( tf.Variable अनदेखा करना tf.device() काम नहीं करेगा, क्योंकि हमारे कई उपयोगकर्ता, विशेष रूप से वितरित सेटिंग्स में, पैरामीटर सर्वर को कॉन्फ़िगर करने के लिए इसका उपयोग करते हैं।) अल्पावधि में, अपने सत्र में सॉफ्ट प्लेसमेंट का उपयोग करने का प्रयास करें। निर्माता:

config = tf.ConfigProto(allow_soft_placement=True)
with tf.Session(config=config) as sess:
    # ...

mrry 9 मई 2016

👍23

सभी 3 टिप्पणियाँ

तो, कुछ ऑप्स हैं जो tf.device() के लिए मान्य नहीं हैं, जैसे tf.nn.local_response_normalization(),
नीचे दिए गए कोड को देखें:

    with tf.device("/gpu:0"):
        d = tf.placeholder("float", shape=[100, 100, 100, 10])
        with tf.device(None):
            lrn1 = tf.nn.local_response_normalization(d, depth_radius=5, bias=1.0, alpha=1e-4, beta=0.75)
        lrn2 = tf.nn.local_response_normalization(d, depth_radius=5, bias=1.0, alpha=1e-4, beta=0.75)
        init_d = tf.initialize_all_variables()
    with tf.Session() as sess:
        sess.run(init_d)
        r = np.random.randn(100, 100, 100, 10)
        sess.run(lrn1, feed_dict={d: r}) #Run ok
        sess.run(lrn2, feed_dict={d: r}) # Error

आउटपुट नीचे है:

Traceback (most recent call last):
  File "test_multi_gpu.py", line 44, in <module>
    main()
  File "test_multi_gpu.py", line 40, in main
    sess.run(lrn2, feed_dict={d: r})
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/client/session.py", line 332, in run
    run_metadata_ptr)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/client/session.py", line 572, in _run
    feed_dict_string, options, run_metadata)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/client/session.py", line 652, in _do_run
    target_list, options, run_metadata)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/client/session.py", line 672, in _do_call
    raise type(e)(node_def, op, message)
tensorflow.python.framework.errors.InvalidArgumentError: Cannot assign a device to node 'LRN_1': Could not satisfy explicit device specification '/device:GPU:0' because no supported kernel for GPU devices is available
     [[Node: LRN_1 = LRN[alpha=0.0001, beta=0.75, bias=1, depth_radius=5, _device="/device:GPU:0"](Placeholder)]]
Caused by op u'LRN_1', defined at:
  File "test_multi_gpu.py", line 44, in <module>
    main()
  File "test_multi_gpu.py", line 34, in main
    lrn2 = tf.nn.local_response_normalization(d, depth_radius=5, bias=1.0, alpha=1e-4, beta=0.75)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/ops/gen_nn_ops.py", line 737, in lrn
    bias=bias, alpha=alpha, beta=beta, name=name)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/ops/op_def_library.py", line 693, in apply_op
    op_def=op_def)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/framework/ops.py", line 2177, in create_op
    original_op=self._default_original_op, op_def=op_def)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/framework/ops.py", line 1161, in __init__
    self._traceback = _extract_stack()

मुझे लगता है कि इस त्रुटि का कारण काफी स्पष्ट हो सकता है। tf.nn.local_response_normalization में कुछ आंतरिक tf.Variable हैं जिन्हें हम सभी आंतरिक चरों को छोड़कर निर्दिष्ट gpu के लिए गणना नोड बने रहने के लिए बाहरी कोड का उपयोग नहीं कर सके।

अभी के लिए, मुझे लगता है कि टेंसरफ़्लो को नीचे दिए गए दो कामों में से कोई एक करना चाहिए:

tf.Variable को tf.device() से प्रभावित न करें। (इसे प्राथमिकता दी जा सकती है।)
उन ऑप्स को सूचीबद्ध करें जिन्हें उपयोगकर्ता को अपना कोड समाप्त करने में मदद करने के लिए tf.device(None) का उपयोग करने की आवश्यकता है, है ना?

myme5261314 9 मई 2016

👍2

config = tf.ConfigProto(allow_soft_placement=True)
with tf.Session(config=config) as sess:
    # ...

mrry 9 मई 2016

👍23

आपके सुझाव के लिए धन्यवाद, ऐसा लगता है कि allow_soft_placement=True का उपयोग करने से समस्या ठीक हो जाएगी। जैसा कि #2292 में कहा गया है, उपयोगकर्ता को यह जानने के लिए संबंधित दस्तावेज़ में सुधार करना बेहतर है।

myme5261314 11 मई 2016

👍9

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स