| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
Tags
- tent paper
- 최린컴퓨터구조
- cifar100-c
- BYOL
- GAN
- semi supervised learnin 가정
- mocov3
- remixmatch paper
- 컴퓨터구조
- Pix2Pix
- CoMatch
- Entropy Minimization
- WGAN
- ConMatch
- conjugate pseudo label paper
- shrinkmatch
- mme paper
- shrinkmatch paper
- 딥러닝손실함수
- adamatch paper
- 백준 알고리즘
- UnderstandingDeepLearning
- simclrv2
- Pseudo Label
- CGAN
- CycleGAN
- Meta Pseudo Labels
- dann paper
- dcgan
- SSL
Archives
- Today
- Total
목록Positional Encoding (1)
Hello Computer Vision
Positional Encoding 공부해보기
Transformer 구조를 살펴보다 보면 input에 대하여 Embedding을 입힌 후 Positional Encoding하는 과정을 거치는 것을 확인할 수 있다. ViT에서는 안하는 추세이지만 NLP에서는 위치가 중요하다. Positional Encoding 사용 이유 RNN, LSTM 과 다르게 Transformer에서는 가장 큰 특징인 병렬화를 사용하기 때문에 각 단어 토큰에 대한 순서를 보장하지 않는다. 예를 들어 "I do want to buy ice cream, but i can not' 'i do not want to but ice cream, but i can' 방금 급조한 두개의 문장을 비교해본다면 들어간 단어는 똑같으나 단어의 순서에 따라 의미가 확 변하는 것을 확인할 수 있다. 그..
딥러닝
2023. 4. 4. 23:23