SelfMatch(2021) 논문리뷰

이번에 semi를 공부하는 도중에 self 와 섞인 논문을 발견하여 리뷰해보려고 한다. NIPS에 억셉된 시기는 2020년으로 해당 년도는 SimCLR이 나오고 FixMatch가 나온지 얼마 안된 시점인데 두가지를 결합한 것이 큰 novelty라고 생각했다.

https://arxiv.org/pdf/2101.06480.pdf

 

 

Introduction

semi supervised learning은 적은 수의 라벨에 대해서 문제를 해결할 수 있는 매력적인 방법이고 self supervised 역시 SimCLR 로 시작된 contrastive learning을 활용한 representation learning을 한 후 fine tuning을 하면은 좋은 성능을 냈다고 한다. 따라서 논문은 이 두가지 방법을 활용해, self supervised learning을 활용해 pre-trained하고 semi supervised 를 활용해 fine-tuning을 해서 좋은 성과를 냈다고 한다.

 

Method

 

 프레임워크는 위와 같으며 두 분야에 관심있는 사람이라면 직관적으로 쉽게 이해할 수 있는 구조이다. 먼저 SimCLR에서 사용된 알고리즘을 활용해 pre-trained 하고 fine tuning 은 FixMatch방식으로 진행한다(배치사이즈나 학습률 같은 자세한 하이퍼파라미터는 논문 안에 기재되어있다). 그리고 이 두가지 방법론을 결합한 이유에 대해 Appendix 에서 설명한다.

 

pre-trained 과정에서 SimCLR방식을 사용함으로써 maximizing a lower bound of the murual information이란 표현을 사용하며 intra-sample statistics를 고려했다고 하며 semi supervised를 사용함으로써 inter-sample statistic를 고려했다고 ㅎ한다.  이 부분에서 consistency regularization을 사용해 inter sample 언급을 하는데 consistency regularization은 같은 sample에 대해 weak, strong 증강에 대해 같은 확률값을 내도록 노력하는건데 왜 inter이란 말이 나오는지는 처음에 이해는 못했는데 다른 class들에 대한 확률 값을 낮추도록 노력하므로(entorpy minimization) 이런 용어를 사용하지 않았나 싶다.

Conclusion

 결과는 supervised setting과 비슷한 것을 보여준다. 추가로 내가 눈여겨 본 것은

위 table인데, simclr로 훈련하고 단순히 head만 fine tuning하는 것보다 semi로 fine tining하는 것이 더 좋다는 것을 보여준다.

 

ImageNet, CIFAR100 같은 데이터를 제외한 결과들이어서 조금 아쉽고, 알고리즘을 사용한 논리에 대해서도 그래프가 있었으면 좋았을 거 같은데 단순히 이론들뿐이어서 아쉬웠다.