Hello Computer Vision

논문의 풀 제목은 BEiT: BERT Pre-Training of Image Transformers 이다. https://arxiv.org/pdf/2106.08254.pdf 지난번 MAE 에 이은 BEiT논문 리뷰인데 구조자체와, 메커니즘은 비슷한 거 같다. 그러나 유명한 논문이기 때문에 한번 정리하고 싶은 마음이 커서 읽어보려고 한다. Introduction Transformer는 비전분야에서 큰 성과를 냈지만 이러한 성과에는 CNN보다 많은 training data가 필요하다고 한다. 그렇기 때문에 이러한 데이터 문제를 해결하기 위해 SSL방법을 transformer에 접목시키자 한다. 같은 시기 masked language model인 BERT가 좋은 성능을 내었는데 이에 저자들은 denoising..

https://arxiv.org/abs/2305.00729 What Do Self-Supervised Vision Transformers Learn? We present a comparative study on how and why contrastive learning (CL) and masked image modeling (MIM) differ in their representations and in their performance of downstream tasks. In particular, we demonstrate that self-supervised Vision Transformers (Vi arxiv.org 최근 ICLR 2023에 어셉된 논문이고 SSL분야에서의 contrastive(이하 ..

SSL을 contrastive부터 공부하면서 최근 트렌드인 MAE까지 도착했네요.. 아직 안읽은 논문들도 많을 것이라 생각하지만 지금껏 읽어왔던 것처럼 천천히 다 읽는 것을 목표로 해보겠습니다. https://arxiv.org/abs/2111.06377 Masked Autoencoders Are Scalable Vision Learners This paper shows that masked autoencoders (MAE) are scalable self-supervised learners for computer vision. Our MAE approach is simple: we mask random patches of the input image and reconstruct the missing pi..

지난번 Simsiam 에 이어 Facebook에서 2021 년에 발표된 SSL논문 DINO입니다. DINO는 self-distilation with no labels 을 줄인말입니다. https://arxiv.org/pdf/2104.14294.pdf Introduction 이 논문에서 저자들은 vision 분야에서의 ViT의 성공이 과연 SSL에서도 성공할 수 있을지에 대한 물음에서 시작되었다고 합니다. 기존 supervised learning 방법으로는 이미지의 visual information이 줄어들었는데 CNN을 이용한 SSL에서는 이러한 정보가 증대되었기 때문에 ViT를 이용한 SSL에서도 과연 이러한 것이 똑같이 적용되는지 궁금했다고 합니다. 저자들이 생각하는 ViT를 이용한 SSL의 주요 특..

논문의 제목은 Exploring Simple Siamese representation Learning이다. https://arxiv.org/pdf/2011.10566.pdf Introduction siamse network는 가중치를 공유하는데 이러한 방법은 두 개체간의 comparing 을 하는데에 효과적이라고 합니다(contrastive를 제외하고도). 일반적으로 Siamse 구조는 collapsing문제를 안고 있는데, SimCLR에서는 negative pair를 이용하고, SwAV에서는 clustering 방법을 사용하고, BYOL에서는 momentum update를 사용해 이러한 문제를 해결하려고 하였다. 그러나 이 논문에서는 이러한 방법들을 다 사용하지 않고 오직 stop gradient만을 ..

논문의 풀 제목은 Unsupervised Learning of Visual features by contrasting cluster assignments이다. 지난번에 BYOL을 리뷰했었는데 SwAV또한 성능이 좋아 많은 논문에서 비교대상으로 삼고있고, Clustering 방법을 사용하고 있어 흥미로워 읽어보았다. Introduction 현재 많은 self supervised learning 방법들이 supvervised learning 과의 차이가 점점 들어들고 있다. 그리고 이러한 SSL 의 두가지 중요한 요소는 1) constrastive loss 2) set of image transformation이다. 이 두가지 요소는 성능에 필수적이지만 각각을 pairwise로 비교를 해야하므로 practi..

논문 제목은 Boostarp Your Own Latent, A new approach to self-supervised learning 입니다.논문을 읽기 전 다른 분들의 설명을 보았는데 굉장히 흥미롭고 재밌어서 처음부터 한번 따라가볼라고 합니다. Introduction기존의 SOTA를 찍은 contrastive learning 방법들은 (SimCLR V2, MoCO V2) negative pairs 간의 주의한 관리가 필요하며 큰 batch size를 요한다고 합니다. 추가적으로 데이터 증강 방법에도 민감하다고 합니다. 이러한 방법들에 비해 본인들의 방법인 BYOL 은 negative pair에 민감하지 않으다고 합니다.  BYOL은 2가지 네트워크 구조를 이용하는데 한가지는 target network..

https://arxiv.org/abs/1503.02531 Distilling the Knowledge in a Neural Network A very simple way to improve the performance of almost any machine learning algorithm is to train many different models on the same data and then to average their predictions. Unfortunately, making predictions using a whole ensemble of models is cumbersome arxiv.org Knowledge distilation(이하 KD)을 공부하게 되면서 태초의 논문을 볼 필요가 ..