aug 6, 2017 - Attention is all you need

Description:

Publicação do artigo "Attention is all you need", que apresenta pela primeira vez a arquitetura de transformers. Que se refere a um tipo de arquitetura de rede neural, undamental em muitas aplicações de processamento de linguagem natural (PLN) e outras tarefas de aprendizado profundo. A característica distintiva dos transformers é o mecanismo de atenção, que permite que o modelo "preste atenção" a diferentes partes da entrada durante o processo de aprendizado.

Added to timeline:

Date: