목록Attention (1)

Hello Computer Vision

비전공생의 Attention(Neural Machine Translation By Jointly Learning to Align and translate, 2015)

Transformer를 공부하기 위해 Attention 관련 논문을 살펴보려고 한다. 이 논문에서는 대놓고 attention mechanism 이라고 언급하기 보다는 새로운 구조라고 말한다. 논문 처음부터 천천히 읽어보겠습니다. Introduction 기존의 machine translation(Seq2Seq)에 단점에 대해서 언급을 합니다. Encoder-Decoder로 이루어진 구조는 긴 문장에 대해서 대응하기 힘들고 그 길이가 길어질 수록 성능이 악화된다고 합니다. (fixed vector length --> bottleneck 유발) 그렇기 때문에 Encoder-Decoder 학습과정에서 learn align, translate jointly 한다고 합니다.(논문의 핵심) 그리고 기존 구조 접근방식..
Generative 2023. 1. 3. 15:03
이전 Prev 1 Next 다음