Tensorflow: Obtendo ativações de atenção para visualizar a atenção em Seq2Seq

Criado em 27 mar. 2016 · 3Comentários · Fonte: tensorflow/tensorflow

Todos os papéis de atenção apresentam alguma visualização dos pesos de atenção em alguma entrada. Alguém conseguiu executar uma amostra por meio do modelo do decodificador de atenção Seq2Seq em translate.py e obter as ativações de atenção para fazer tal visualização?

Fonte

nicholaslocascio

Comentários muito úteis

O link está quebrado. Qual é o link correto?

jarheadfa em 27 jun. 2017

👍10

Todos 3 comentários

A máscara de atenção está disponível como um tensor aqui:
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/ops/seq2seq.py#L522

Deve ser fácil buscá-lo durante uma chamada em execução e visualizá-lo. Você pode tentar postar isso no StackOverflow para ver se alguém da comunidade em geral fez essa visualização. Estou encerrando este problema, pois temos a funcionalidade necessária no TensorFlow.