일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
Tags
- CoMatch
- CGAN
- 딥러닝손실함수
- ConMatch
- adamatch paper
- semi supervised learnin 가정
- CycleGAN
- dann paper
- Entropy Minimization
- simclrv2
- remixmatch paper
- WGAN
- mme paper
- shrinkmatch
- cifar100-c
- conjugate pseudo label paper
- tent paper
- Pseudo Label
- 최린컴퓨터구조
- mocov3
- shrinkmatch paper
- 컴퓨터구조
- dcgan
- UnderstandingDeepLearning
- GAN
- Pix2Pix
- SSL
- BYOL
- 백준 알고리즘
- Meta Pseudo Labels
Archives
- Today
- Total
목록mocov3 1
Hello Data

오랜만에 리뷰할 논문은 MoCo V3 논문이다. 해당 논문은 CNN이 아닌 Transformer를 통한 Contrastive Learning을 수행하였고 왜 Transformer를 사용하였는지에 대한 경험적인 실험결과들을 많이 담고 있다. 그리고 밑 글에서 추가로 설명하겠지만 기존 MoCo에서 사용하였던 memory bank는 사용하지 않는다. https://arxiv.org/pdf/2104.02057.pdf Introduction 이전부터 NLP분야에서는 Transformer를 통한 Masked autoencoder가 유행하고 있지만 CV분야에서는 여전히 Siamese 구조가 유행하고 있다는 걸 언급한다ResNet기반. 따라서 저자는 Vision분야에서도 ViT를 쓰는 것에 집중했다고 한다. 그러나..
Self,Semi-supervised learning
2023. 11. 14. 15:11