목록mocov3 (1)

Hello Data

비전공생의 MoCo v3(2021) 논문리뷰

오랜만에 리뷰할 논문은 MoCo V3 논문이다. 해당 논문은 CNN이 아닌 Transformer를 통한 Contrastive Learning을 수행하였고 왜 Transformer를 사용하였는지에 대한 경험적인 실험결과들을 많이 담고 있다. 그리고 밑 글에서 추가로 설명하겠지만 기존 MoCo에서 사용하였던 memory bank는 사용하지 않는다. https://arxiv.org/pdf/2104.02057.pdf Introduction 이전부터 NLP분야에서는 Transformer를 통한 Masked autoencoder가 유행하고 있지만 CV분야에서는 여전히 Siamese 구조가 유행하고 있다는 걸 언급한다(ResNet기반). 따라서 저자는 Vision분야에서도 ViT를 쓰는 것에 집중했다고 한다. 그러나..
Self,Semi-supervised learning 2023. 11. 14. 15:11
이전 Prev 1 Next 다음