Hello Data

지난번 Simsiam 에 이어 Facebook에서 2021 년에 발표된 SSL논문 DINO입니다. DINO는 self-distilation with no labels 을 줄인말입니다. https://arxiv.org/pdf/2104.14294.pdf Introduction 이 논문에서 저자들은 vision 분야에서의 ViT의 성공이 과연 SSL에서도 성공할 수 있을지에 대한 물음에서 시작되었다고 합니다. 기존 supervised learning 방법으로는 이미지의 visual information이 줄어들었는데 CNN을 이용한 SSL에서는 이러한 정보가 증대되었기 때문에 ViT를 이용한 SSL에서도 과연 이러한 것이 똑같이 적용되는지 궁금했다고 합니다. 저자들이 생각하는 ViT를 이용한 SSL의 주요 특..

논문 제목은 Boostarp Your Own Latent, A new approach to self-supervised learning 입니다.논문을 읽기 전 다른 분들의 설명을 보았는데 굉장히 흥미롭고 재밌어서 처음부터 한번 따라가볼라고 합니다. Introduction기존의 SOTA를 찍은 contrastive learning 방법들은 $SimCLR V2, MoCO V2$ negative pairs 간의 주의한 관리가 필요하며 큰 batch size를 요한다고 합니다. 추가적으로 데이터 증강 방법에도 민감하다고 합니다. 이러한 방법들에 비해 본인들의 방법인 BYOL 은 negative pair에 민감하지 않으다고 합니다.  BYOL은 2가지 네트워크 구조를 이용하는데 한가지는 target network..