Tensorflow: LSTM 셀로 양방향 rnn을 초기화할 때 오류가 발생했습니다.

에 만든 2016년 01월 18일 · 3코멘트 · 출처: tensorflow/tensorflow

bidirectional_rnn을 초기화하려고 할 때 LSTM 셀이 있는 tensorflow로 bi-rnn 모델을 만들고 싶습니다.
그것은 제공합니다: ValueError: Over-sharing: Variable BiRNN_FW/RNN/BasicLSTMCell/Linear/Matrix already exists, disallowed. Did you mean to set reuse=True in VarScope?

import tensorflow as tf
from tensorflow.models.rnn import rnn, rnn_cell
from tensorflow.python.ops.constant_op import constant
import numpy as np

class Model(object):
    def __init__(self, batch_size, len_word, num_chars, dim_embed, dim_hidden):
        self.batch_size = batch_size
        self.dim_embed = dim_embed
        self.dim_hidden = dim_hidden
        self.num_chars = num_chars
        self.len_word = len_word

        with tf.device("/cpu:0"):
            self.embedding = tf.Variable(tf.random_uniform([num_chars, dim_embed], -0.1, 0.1), name='embedding')

        self.W_emb = tf.Variable(tf.random_uniform([dim_hidden*2, dim_embed], -0.1, 0.1), name='W_emb')
        self.b_emb = tf.Variable(tf.zeros([dim_embed]), name='b_emb')
        self.lstm_fw_cell = rnn_cell.BasicLSTMCell(dim_hidden)
        self.lstm_bw_cell = rnn_cell.BasicLSTMCell(dim_hidden)

    def build_model(self):
        inputs = tf.placeholder(tf.int32, [self.batch_size, self.len_word])
        input_length = tf.placeholder(tf.int64, [self.batch_size])
        lstm_state_fw = self.lstm_fw_cell.zero_state(self.batch_size, tf.float32)
        lstm_state_bw = self.lstm_bw_cell.zero_state(self.batch_size, tf.float32)

        with tf.device("/cpu:0"):
            embedded_input = tf.nn.embedding_lookup(self.embedding, tf.transpose(inputs))

        brnn_output = rnn.bidirectional_rnn(
            self.lstm_fw_cell, self.lstm_bw_cell,
            tf.unpack(embedded_input),
            sequence_length=input_length,
            initial_state_fw=lstm_state_fw,
            initial_state_bw=lstm_state_bw,
        )

        pooled_output = tf.reduce_sum( tf.pack(brnn_output), 0 )
        pooled_output = pooled_output / tf.expand_dims( tf.to_float(input_length) + 1e-6, 1)
        final_emb = tf.nn.xw_plus_b(pooled_output, self.W_emb, self.b_emb)
        final_emb = tf.nn.l2_normalize(final_emb, dim=1, epsilon=1e-7)

        return final_emb

출처

indiejoseph

가장 유용한 댓글

LSTM 셀에 대해 다른 변수 범위를 지정해야 합니다.

with tf.variable_scope('forward'):
    self.lstm_fw_cell = rnn_cell.BasicLSTMCell(dim_hidden)   
with tf.variable_scope('backward'):
    self.lstm_bw_cell = rnn_cell.BasicLSTMCell(dim_hidden)

그렇지 않으면 이름 충돌(두 셀 모두 "BiRNN_FW/RNN/BasicLSTMCell/Linear/Matrix" 이름을 사용하려고 시도함)이 발생하고 tf는 이를 두 셀의 매개변수를 공유하려는 의도인 것처럼 해석합니다. 당신이 원하는. 두 번째 범위 with variable_scope(name, reuse=True) 에서 변수를 재사용하도록 명시적으로 지시하지 않았기 때문에 TF는 예외를 throw합니다.

위와 같이 변수 범위를 설정하면 변수에 대한 고유한 이름이 생성됩니다.
BiRNN_FW/RNN/BasicLSTMCell/ 정방향 /선형/행렬
BiRNN_FW/RNN/BasicLSTMCell/ 역방향 /선형/행렬

자세한 내용은 공유 변수 가이드를 읽어보세요.

salomons 에 2016년 01월 19일

👍34 😕10 ❤2

모든 3 댓글

LSTM 셀에 대해 다른 변수 범위를 지정해야 합니다.

with tf.variable_scope('forward'):
    self.lstm_fw_cell = rnn_cell.BasicLSTMCell(dim_hidden)   
with tf.variable_scope('backward'):
    self.lstm_bw_cell = rnn_cell.BasicLSTMCell(dim_hidden)

자세한 내용은 공유 변수 가이드를 읽어보세요.

salomons 에 2016년 01월 19일

👍34 😕10 ❤2

변수가 ...Cell.__call__ 내부가 아니라 ...Cell.__init__ 내부에 생성되기 때문에 이것은 더 이상 발생하지 않습니다. 따라서 셀 구성을 위한 범위가 필요하지 않으며 변수 범위를 처리합니다. 자체 bidirectional_rnn 있으므로 직접 범위를 지정할 필요가 없습니다.

albertz 에 2016년 12월 28일

👍3

여전히 같은 문제가 있습니다. 어떤 제안? 나는 salomons가 제안한 접근 방식을 시도했지만 동일한 결과를 얻었습니다. 결과적으로 튜플을 반환하지 않습니다.
((encoder_fw_outputs,
인코더_bw_출력),
(encoder_fw_final_state,
인코더_bw_final_state)) = (
tf.nn.bidirectional_dynamic_rnn(cell_fw=encoder_cell,
cell_bw=encoder_cell,
입력=encoder_inputs_embedded,
sequence_length=encoder_inputs_length,
dtype=tf.float64, time_major=True)
)

ValueError Traceback(가장 최근 호출 마지막)
~에()
20개의 입력=encoder_inputs_embedded,
21 시퀀스_길이=인코더_입력_길이,
---> 22 dtype=tf.float32, time_major=True)
23)
24

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/rnn.pyc in bidirectional_dynamic_rnn(cell_fw, cell_bw, 입력, sequence_length, initial_state_fw, initial_state_bw, dtype, parallel_memorys , time_major, 범위)
348
349화
--> 350 time_major=time_major, 범위=fw_scope)
351
352 # 역방향

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/rnn.pyc in dynamic_rnn(cell, input, sequence_length, initial_state, dtype, parallel_iterations, swap_memory, time_major, scope )
544
545
--> 546 dtype=dtype)
547
548 # _dynamic_rnn_loop의 출력은 항상 [시간, 배치, 깊이] 모양입니다.

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/rnn.pyc in _dynamic_rnn_loop(셀, 입력, 초기 상태, 병렬 반복, 스왑 메모리, 시퀀스 길이, dtype)
711
712
--> 713 swap_memory=swap_memory)
714
715 # 출력 튜플을 사용하지 않는 경우 최종 출력의 압축을 풉니다.

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/control_flow_ops.pyc in while_loop(cond, body, loop_vars, shape_invariants, parallel_iterations, back_prop, swap_memory, 이름)
2603 컨텍스트 = whileContext(병렬_반복, back_prop, swap_memory, 이름)
2604화
-> 2605 결과 = context.BuildLoop(cond, body, loop_vars, shape_invariants)
2606 반환 결과
2607

BuildLoop의 /home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/control_flow_ops.pyc(self, pred, body, loop_vars, shape_invariants)
2436 자기.Enter()
2437
-> 2438 pred, body, original_loop_vars, loop_vars, shape_invariants)
2439 드디어:
2440 자기.종료()

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/control_flow_ops.pyc in _BuildLoop(self, pred, body, original_loop_vars, loop_vars, shape_invariants)
2386 구조=원래_루프_vars,
2387
-> 2388 body_result = body(*packed_vars_for_body)
2389 if not nest.is_sequence(body_result):
2390 寶度 =

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/rnn.pyc _time_step(시간, output_ta_t, 상태)
694화
695화
--> 696 skip_conditionals=참)
697 기타:
698 (출력, new_state) = call_cell()

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/rnn.pyc in _rnn_step(time, sequence_length, min_sequence_length, max_sequence_length, zero_output, state, call_cell, state_size, skip_conditionals )
175 # 단계. max_seq_len이 언롤 수와 같을 때 더 빠릅니다.
176 # (dynamic_rnn에 일반적임).
--> 177 new_output, new_state = call_cell()
178화
179화

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/rnn.pyc 입력()
682
683 寶度堂 = 寶度堂
--> 684 call_cell = 람다: 셀(입력_t, 상태)
685
686 sequence_length가 None이 아닌 경우:

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/contrib/rnn/python/ops/core_rnn_cell_impl.pyc __call__(자체, 입력, 상태, 범위)
336 # i = input_gate, j = new_input, f = forget_gate, o = output_gate
337
--> 338 범위=범위)
339화
340

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/contrib/rnn/python/ops/core_rnn_cell_impl.pyc in _linear(args, output_size, bias, bias_start, scope)
745 vs.variable_scope(scope)를 outer_scope로 사용:
746 가중 = vs.get_variable(
--> 747 "가중치", [총 인수_크기, 출력_크기], dtype=dtype)
748 만약 len(args) == 1:
749 = 甲堂

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/variable_scope.pyc in get_variable(name, shape, dtype, initializer, regularizer, trainingable, 컬렉션, caching_device, 파티셔너 , validate_shape, custom_getter)
986 컬렉션=컬렉션, caching_device=caching_device,
987*
--> 988 custom_getter=custom_getter)
989화
990 """%s

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/variable_scope.pyc in get_variable(self, var_store, name, shape, dtype, initializer, regularizer, trainingable, 컬렉션 , caching_device, 파티셔너, validate_shape, custom_getter)
888 컬렉션=컬렉션, caching_device=caching_device,
889 파티셔너=파티셔너, validate_shape=validate_shape,
--> 890 custom_getter=custom_getter)
891
892화

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/variable_scope.pyc in get_variable(self, name, shape, dtype, initializer, regularizer, 재사용, 훈련 가능, 컬렉션 , caching_device, 파티셔너, validate_shape, custom_getter)
346화
347 caching_device=caching_device, 파티셔너=파티셔너,
--> 348 validate_shape=validate_shape)
349
350화

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/variable_scope.pyc in _true_getter(name, shape, dtype, initializer, regularizer, 재사용, 훈련 가능, 컬렉션, caching_device , 파티셔너, validate_shape)
331 이니셜라이저=이니셜라이저, 레귤러라이저=레귤러라이저, 재사용=재사용,
332화
--> 333 caching_device=caching_device, validate_shape=validate_shape)
334
335 custom_getter가 None이 아닌 경우:

/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/python/ops/variable_scope.pyc in _get_single_variable(self, name, shape, dtype, initializer, regularizer, partition_info, 재사용, 훈련 가능 , 컬렉션, caching_device, validate_shape)
637 " VarScope 에서 재사용=True 를 설정하려던 겁니까? "
638 "원래 정의된 위치:\n\n%s" %(
--> 639 이름, "".join(traceback.format_list(tb))))
640화
641 if not shape.is_compatible_with(found_var.get_shape()):

ValueError: 변수 bidirectional_rnn/fw/lstm_cell/weights가 이미 존재하며 허용되지 않습니다. VarScope에서 재사용=True를 설정하려고 했습니까? 원래 정의:

파일 "/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/contrib/rnn/python/ops/core_rnn_cell_impl.py", 747행, _linear
"가중치", [total_arg_size, output_size], dtype=dtype)
파일 "/home/cesar/anaconda2/envs/tensorflow/lib/python2.7/site-packages/tensorflow/contrib/rnn/python/ops/core_rnn_cell_impl.py", 338행, __call__
범위=범위)
파일 "", 24행,
time_major=참

aparecidovieira 에 2017년 05월 10일

👍1

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Tensorflow: LSTM 셀로 양방향 rnn을 초기화할 때 오류가 발생했습니다.

가장 유용한 댓글

모든 3 댓글

관련 문제