Practical-pytorch: Seq2seq несколько функций ввода

Самый простой способ - объединить объекты в один входной вектор. Однако это работает только в том случае, если ваша RNN принимает векторный ввод, а не дискретный ввод (LongTensor) через слой встраивания. В этом случае вы захотите объединить свои дополнительные функции после того, как введенные данные будут встроены. Этого проще всего достичь, используя дополнительный входной аргумент в кодировщике и используя torch.cat (см. Ввод категории в https://github.com/spro/practical-pytorch/blob/master/conditional-char -rnn / conditional-char-rnn.ipynb для простого примера, хотя он не использует уровень внедрения).

Если ваши функции также являются дискретными, вам может потребоваться несколько слоев встраивания, по одному для каждого, и объединить все результаты.

Цитируемый раздел больше касается длины входной и целевой последовательности, а не размера объекта.

Для инициализатора вам нужно будет добавить аргументы для размеров ваших объектов и создать новый слой внедрения для каждого отдельного объекта. В методе forward () вы должны добавить аргументы для дополнительных функций, перенаправить их через соответствующие слои встраивания и объединить их все в один вектор для RNN. RNN также будет иметь размер ввода 3 * hidden_size из-за трех сложенных вместе вложений (или вы можете создать разные размеры встраивания для каждой функции).

В целом это должно выглядеть примерно так:

class EncoderRNN(nn.Module):
    def __init__(..., word_size, feature2_size, feature3_size, hidden_size, ...):

        ...

        self.word_embedding = nn.Embedding(word_size, hidden_size)
        self.feature2_embedding = nn.Embedding(feature2_size, hidden_size)
        self.feature3_embedding = nn.Embedding(feature3_size, hidden_size)
        # Note: * 3 because the above 3 embeddings will be concatenated
        self.gru = nn.GRU(hidden_size * 3, hidden_size, n_layers, dropout=self.dropout, bidirectional=True)

    def forward(self, word_seqs, feature2_seqs, feature3_seqs, input_lengths, hidden=None):
        # Note: we run this all at once (over multiple batches of multiple sequences)
        word_embedded = self.word_embedding(word_seqs)
        feature2_embedded = self.feature2_embedding(feature2_seqs)
        feature3_embedded = self.feature3_embedding(feature3_seqs)
        combined = torch.cat((word_embedded, feature2_embedded, feature3_embedded), 2)
        packed = torch.nn.utils.rnn.pack_padded_sequence(combined, input_lengths)
        ...

@spro Большое спасибо за ваш вклад. Я написал сообщение в блоге о том же -
https://iamsiva11.github.io/extra-features-seq2seq/. Надеюсь, это будет полезно многим другим.