Tensorflow: LSTM सेल के साथ द्विदिश rnn प्रारंभ करते समय त्रुटि मिली

को निर्मित 18 जन॰ 2016 · 3टिप्पणियाँ · स्रोत: tensorflow/tensorflow

जब मैं bidirection_rnn प्रारंभ करने का प्रयास करता हूं, तो मैं LSTM सेल के साथ टेंसरफ़्लो के साथ एक द्वि-आरएनएन मॉडल बनाना चाहता हूं,
यह देता है: ValueError: Over-sharing: Variable BiRNN_FW/RNN/BasicLSTMCell/Linear/Matrix already exists, disallowed. Did you mean to set reuse=True in VarScope?

import tensorflow as tf
from tensorflow.models.rnn import rnn, rnn_cell
from tensorflow.python.ops.constant_op import constant
import numpy as np

class Model(object):
    def __init__(self, batch_size, len_word, num_chars, dim_embed, dim_hidden):
        self.batch_size = batch_size
        self.dim_embed = dim_embed
        self.dim_hidden = dim_hidden
        self.num_chars = num_chars
        self.len_word = len_word

        with tf.device("/cpu:0"):
            self.embedding = tf.Variable(tf.random_uniform([num_chars, dim_embed], -0.1, 0.1), name='embedding')

        self.W_emb = tf.Variable(tf.random_uniform([dim_hidden*2, dim_embed], -0.1, 0.1), name='W_emb')
        self.b_emb = tf.Variable(tf.zeros([dim_embed]), name='b_emb')
        self.lstm_fw_cell = rnn_cell.BasicLSTMCell(dim_hidden)
        self.lstm_bw_cell = rnn_cell.BasicLSTMCell(dim_hidden)

    def build_model(self):
        inputs = tf.placeholder(tf.int32, [self.batch_size, self.len_word])
        input_length = tf.placeholder(tf.int64, [self.batch_size])
        lstm_state_fw = self.lstm_fw_cell.zero_state(self.batch_size, tf.float32)
        lstm_state_bw = self.lstm_bw_cell.zero_state(self.batch_size, tf.float32)

        with tf.device("/cpu:0"):
            embedded_input = tf.nn.embedding_lookup(self.embedding, tf.transpose(inputs))

        brnn_output = rnn.bidirectional_rnn(
            self.lstm_fw_cell, self.lstm_bw_cell,
            tf.unpack(embedded_input),
            sequence_length=input_length,
            initial_state_fw=lstm_state_fw,
            initial_state_bw=lstm_state_bw,
        )

        pooled_output = tf.reduce_sum( tf.pack(brnn_output), 0 )
        pooled_output = pooled_output / tf.expand_dims( tf.to_float(input_length) + 1e-6, 1)
        final_emb = tf.nn.xw_plus_b(pooled_output, self.W_emb, self.b_emb)
        final_emb = tf.nn.l2_normalize(final_emb, dim=1, epsilon=1e-7)

        return final_emb

स्रोत

indiejoseph

सबसे उपयोगी टिप्पणी

आपको LSTM सेल के लिए अलग-अलग वैरिएबल स्कोप निर्दिष्ट करने होंगे।

with tf.variable_scope('forward'):
    self.lstm_fw_cell = rnn_cell.BasicLSTMCell(dim_hidden)   
with tf.variable_scope('backward'):
    self.lstm_bw_cell = rnn_cell.BasicLSTMCell(dim_hidden)

अन्यथा एक नाम टकराव होगा (दोनों कक्ष "BiRNN_FW/RNN/BasicLSTMCell/रैखिक/मैट्रिक्स" नाम का उपयोग करने का प्रयास करते हैं) और tf इसकी व्याख्या करेगा जैसे कि आपका इरादा दो कक्षों में मापदंडों को साझा करना है, जो कि ऐसा नहीं है तुम्हें चाहिए। टीएफ एक अपवाद फेंक देगा क्योंकि आपने इसे दूसरे दायरे में चर का पुन: उपयोग करने के लिए स्पष्ट रूप से नहीं बताया है: with variable_scope(name, reuse=True) ।

वैरिएबल स्कोप सेट करना, जैसा कि ऊपर बताया गया है, वेरिएबल के लिए अद्वितीय नाम बनाएगा:
BiRNN_FW/RNN/BasicLSTMCell/ फॉरवर्ड /रैखिक/मैट्रिक्स
BiRNN_FW/RNN/BasicLSTMCell/ पिछड़ा /रैखिक/मैट्रिक्स

अधिक जानकारी के लिए शेयरिंग वैरिएबल गाइड पढ़ें।

salomons 19 जन॰ 2016

👍34 😕10 ❤2

सभी 3 टिप्पणियाँ

आपको LSTM सेल के लिए अलग-अलग वैरिएबल स्कोप निर्दिष्ट करने होंगे।

with tf.variable_scope('forward'):
    self.lstm_fw_cell = rnn_cell.BasicLSTMCell(dim_hidden)   
with tf.variable_scope('backward'):
    self.lstm_bw_cell = rnn_cell.BasicLSTMCell(dim_hidden)

अधिक जानकारी के लिए शेयरिंग वैरिएबल गाइड पढ़ें।

salomons 19 जन॰ 2016

👍34 😕10 ❤2

ध्यान दें कि यह अब और नहीं होगा क्योंकि वेरिएबल ...Cell.__call__ के अंदर बनाए गए हैं और ...Cell.__init__ , इस प्रकार इसे कोशिकाओं के निर्माण के लिए एक स्कोप की आवश्यकता नहीं है, और यह वेरिएबल स्कोप को हैंडल करेगा स्वयं bidirectional_rnn अंदर इस प्रकार आपको इसे स्वयं दायर करने की आवश्यकता नहीं है।

albertz 28 दिस॰ 2016

👍3

मुझे अभी भी वही समस्या है। कोई सुझाव? मैंने सॉलोमन्स द्वारा प्रस्तावित दृष्टिकोण की कोशिश की है, वही परिणाम। परिणामस्वरूप किसी भी टुपल को वापस न करें।
((एनकोडर_fw_outputs,
encoder_bw_outputs),
(एनकोडर_एफडब्ल्यू_फाइनल_स्टेट,
एन्कोडर_बीडब्ल्यू_फाइनल_स्टेट)) = (
tf.nn.bidirection_dynamic_rnn(cell_fw=encoder_cell,
सेल_बीडब्ल्यू = एनकोडर_सेल,
इनपुट्स = एनकोडर_इनपुट्स_एम्बेडेड,
सीक्वेंस_लेंथ = एनकोडर_इनपुट्स_लेंथ,
dtype=tf.float64, time_major=True)
)

ValueError ट्रेसबैक (सबसे हालिया कॉल अंतिम)
में()
20 इनपुट = एनकोडर_इनपुट्स_एम्बेडेड,
21 सीक्वेंस_लेंथ = एनकोडर_इनपुट्स_लेंथ,
---> 22 dtype=tf.float32, time_major=True)
23)
24

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/rnn.pyc में bidirection_dynamic_rnn(cell_fw, cell_bw, इनपुट्स, सीक्वेंस_लेंथ, इनिशियल_स्टेट_एफडब्ल्यू, इनिशियल_स्टेट_बीडब्ल्यू, डीटाइप, स्वैप_मेमोरी , टाइम_मेजर, स्कोप)
३४८ प्रारंभिक_स्टेट = प्रारंभिक_स्टेट_एफडब्ल्यू, डीटाइप = डीटाइप,
३४९ समानांतर_पुनरावृत्ति = समानांतर_पुनरावृत्ति, स्वैप_मेमोरी = स्वैप_मेमोरी,
--> 350 टाइम_मेजर = टाइम_मेजर, स्कोप = fw_scope)
351
352 # पीछे की दिशा

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/rnn.pyc में dynamic_rnn (सेल, इनपुट, सीक्वेंस_लेंथ, इनिशियल_स्टेट, डीटाइप, पैरेलल_इटरेशन, स्वैप_मेमोरी, टाइम_मेजर, स्कोप )
५४४ स्वैप_मेमोरी = स्वैप_मेमोरी,
५४५ अनुक्रम_लंबाई=अनुक्रम_लंबाई,
-> ५४६ dtype=dtype)
५४७
५४८ # _dynamic_rnn_loop के आउटपुट हमेशा [समय, बैच, गहराई] आकार के होते हैं।

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/rnn.pyc in _dynamic_rnn_loop (सेल, इनपुट्स, इनिशियल_स्टेट, पैरेलल_इटरेशन, स्वैप_मेमोरी, सीक्वेंस_लेंथ, डीटाइप)
७११ लूप_वार्स = (समय, आउटपुट_टा, राज्य),
७१२ समानांतर_पुनरावृत्ति = समानांतर_पुनरावृत्ति,
-> 713 स्वैप_मेमोरी = स्वैप_मेमोरी)
714
715 # आउटपुट टुपल्स का उपयोग न करने पर अंतिम आउटपुट को अनपैक करें।

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/control_flow_ops.pyc in while_loop(cond, body, loop_vars, Shape_invariants, parallel_iterations, back_prop, swap_memory, name)
२६०३ संदर्भ = जबकि कॉन्टेक्स्ट (समानांतर_पुनरावृत्ति, बैक_प्रॉप, स्वैप_मेमोरी, नाम)
2604 ops.add_to_collection(ops.GraphKeys.WHILE_CONTEXT, प्रसंग)
-> २६०५ परिणाम = संदर्भ। BuildLoop(cond, body, loop_vars, shape_invariants)
2606 रिटर्न रिजल्ट
२६०७

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/control_flow_ops.pyc in BuildLoop(self, pred, body, loop_vars, Shape_invariants)
२४३६ स्वयं दर्ज करें ()
२४३७ मूल_बॉडी_परिणाम, निकास_वार्स = स्वयं._बिल्डलूप(
-> २४३८ पूर्व, शरीर, मूल_लूप_वार्स, लूप_वार्स, शेप_इनवेरिएंट)
2439 अंत में:
२४४० स्वयं। बाहर निकलें ()

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/control_flow_ops.pyc in _BuildLoop(self, pred, body, original_loop_vars, loop_vars, shape_invariants)
२३८६ संरचना = मूल_लूप_वार,
२३८७ Flat_sequence=vars_for_body_with_tensor_arrays)
-> २३८८ body_result = शरीर (*packed_vars_for_body)
२३८९ अगर घोंसला नहीं है। is_sequence (body_result):
२३९० body_result = [body_result]

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/rnn.pyc in _time_step(time, output_ta_t, State)
६९४ कॉल_सेल=कॉल_सेल,
६९५ राज्य_आकार=राज्य_आकार,
--> ६९६ स्किप_कंडीशनल्स = सच)
697 अन्य:
६९८ (आउटपुट, न्यू_स्टेट) = कॉल_सेल ()

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/rnn.pyc _rnn_step में (समय, सीक्वेंस_लेंथ, min_sequence_length, max_sequence_length, जीरो_आउटपुट, स्टेट, कॉल_सेल, स्टेट_साइज़, स्किप_कंडीशनल्स )
175 # कदम। यह तब तेज़ होता है जब max_seq_len अनरोल की संख्या के बराबर हो
176 # (जो कि dynamic_rnn के लिए विशिष्ट है)।
-> 177 new_output, new_state = call_cell ()
178 घोंसला.assert_same_struct(राज्य, new_state)
179 new_state = Nest.flatten(new_state)

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/rnn.pyc में()
682
683 input_t = Nest.pack_sequence_as (संरचना = इनपुट, फ़्लैट_सीक्वेंस = इनपुट_टी)
-> 684 call_cell = लैम्ब्डा: सेल (input_t, राज्य)
685
686 यदि अनुक्रम_लंबाई कोई नहीं है:

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/contrib/rnn/python/ops/core_rnn_cell_impl.pyc in __call__(self, inputs, State, scope)
३३६ # i = input_gate, j = new_input, f = भूल_गेट, o = output_gate
३३७ lstm_matrix = _linear([इनपुट, m_prev], ४ * self._num_units, पूर्वाग्रह = सच,
-> 338 स्कोप = स्कोप)
३३९ आई, जे, एफ, ओ = array_ops.split(
३४० मान = lstm_matrix, num_or_size_splits = ४, अक्ष = १)

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/contrib/rnn/python/ops/core_rnn_cell_impl.pyc in _linear(args, output_size, पूर्वाग्रह, बायस_स्टार्ट, स्कोप)
बाहरी_स्कोप के रूप में vs.variable_scope(scope) के साथ 745:
७४६ वज़न = बनाम get_variable(
-> ७४७ "वजन", [total_arg_size, output_size], dtype=dtype)
748 अगर लेन (तर्क) == 1:
७४९ रेस = math_ops.matmul(args[0], weights)

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/variable_scope.pyc get_variable में (नाम, आकार, प्रकार, प्रारंभकर्ता, नियमितकर्ता, प्रशिक्षण योग्य, संग्रह, caching_device, विभाजनकर्ता , मान्य_आकार, custom_getter)
९८६ संग्रह=संग्रह, caching_device=caching_device,
987 पार्टीशनर = पार्टिशनर, वैलिडेट_शेप = वैलिडेट_शेप,
--> 988 कस्टम_गेटर = कस्टम_गेटर)
989 get_variable_or_local_docstring = (
९९० """%s

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/variable_scope.pyc get_variable में (स्वयं, var_store, नाम, आकार, प्रकार, प्रारंभकर्ता, नियमितीकरण, प्रशिक्षण योग्य, संग्रह , कैशिंग_डिवाइस, पार्टीशनर, वैलिडेट_शेप, कस्टम_गेटर)
८८८ संग्रह=संग्रह, caching_device=caching_device,
889 पार्टीशनर = पार्टिशनर, वैलिडेट_शेप = वैलिडेट_शेप,
-> 890 कस्टम_गेटर = कस्टम_गेटर)
891
८९२ डीईएफ़ _get_partitioned_variable(स्वयं,

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/variable_scope.pyc get_variable में (स्वयं, नाम, आकार, प्रकार, प्रारंभकर्ता, नियमितकर्ता, पुन: उपयोग, प्रशिक्षण योग्य, संग्रह , कैशिंग_डिवाइस, पार्टीशनर, वैलिडेट_शैप, कस्टम_गेटर)
३४६ पुन: उपयोग = पुन: उपयोग, प्रशिक्षण योग्य = प्रशिक्षण योग्य, संग्रह = संग्रह,
३४७ कैशिंग_डिवाइस = कैशिंग_डिवाइस, पार्टीशनर = पार्टिशनर,
--> ३४८ वैलिडेट_शेप = वैलिडेट_शैप)
349
350 डीईएफ़ _get_partitioned_variable(

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/variable_scope.pyc in _true_getter(name, Shape, dtype, इनिशियलाइज़र, रेगुलराइज़र, पुन: उपयोग, प्रशिक्षण योग्य, संग्रह, caching_device , पार्टीशनर, वैलिडेट_शेप)
331 प्रारंभकर्ता = प्रारंभकर्ता, नियमितकर्ता = नियमितकर्ता, पुन: उपयोग = पुन: उपयोग,
३३२ प्रशिक्षित = प्रशिक्षण योग्य, संग्रह = संग्रह,
--> ३३३ कैशिंग_डिवाइस = कैशिंग_डिवाइस, वैलिडेट_शैप = वैलिडेट_शैप)
334
335 अगर custom_getter कोई नहीं है:

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/variable_scope.pyc में _get_single_variable(स्वयं, नाम, आकार, dtype, प्रारंभकर्ता, नियमितकर्ता, विभाजन_इन्फो, पुन: उपयोग, प्रशिक्षण योग्य , संग्रह, caching_device,Valid_shape)
637 "क्या आपका मतलब वरस्कोप में पुन: उपयोग = सही सेट करना था?"
६३८ "मूल रूप से परिभाषित:\n\n%s" % (
-> ६३९ नाम, ".join(traceback.format_list(tb))))
६४० पाया_वर = स्वयं._वार्स [नाम]
६४१ यदि आकार नहीं है।

ValueError: परिवर्तनीय bidirection_rnn/fw/lstm_cell/भार पहले से मौजूद है, अस्वीकृत। क्या आपका मतलब VarScope में पुन: उपयोग = सही सेट करना था? मूल रूप से परिभाषित:

फ़ाइल "/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/contrib/rnn/python/ops/core_rnn_cell_impl.py", लाइन 747, _linear में
"वजन", [total_arg_size, output_size], dtype=dtype)
फ़ाइल "/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/contrib/rnn/python/ops/core_rnn_cell_impl.py", लाइन 338, __call__ में
गुंजाइश = गुंजाइश)
फ़ाइल "", लाइन 24, इंच
time_major=सच

aparecidovieira 10 मई 2017

👍1

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Tensorflow: LSTM सेल के साथ द्विदिश rnn प्रारंभ करते समय त्रुटि मिली

सबसे उपयोगी टिप्पणी

सभी 3 टिप्पणियाँ

संबंधित मुद्दों