비전공생의 Dash(2021) 논문리뷰

논문의 풀 제목은 Dash: Semi-Supervised Learning with Dynamic Thresholding 이다.

https://arxiv.org/pdf/2109.00650v1.pdf

 

Introduction

Semi-Supervised Learning(SSL)은 많은 관심을 받고 발전해나가고 있다(개인적인 생각으로 트렌드가 크게바뀌지 않는 거 같긴하다. 모든 논문이 consistency regularization, pseudo label 등으로 이루어지기 때문이다). 이전까지 많은 논문이 있지만 해당 이 논문에서는 주로 FixMatch와 비교를 통해 진행이 된다(그 이유는 FixMatch에서는 고정된 threshold를 이용해 consistency regularization을 수행하는데 이 논문에서는 반대로 진행되기 때문). 그러나 FixMatch에서의 고정된 T값은 훈련할 때의 unlabeled 데이터를 많이 반영못하는 단점이 있다. 그래서 저자는 다음과 같은 질문에 답하려고 한다.

Can we design a provable SSL algorithm that selects unlabeled data with dynamic thresholding?

 

Dash: An SSL Algorithm with Dynamic Thresholding

논문에는 FixMatch에 관련 내용도 꽤 있지만 해당 논문은 이미 리뷰했기 때문에 넘어가려고 한다. 해당 논문에서는 FixMatch의 한계점을 넘으려기 때문에 기본적인 supervised, unsupervised loss는 똑같이 유지된다.

 

loss를 보면 다음과 같다.

표기가 조금 헷갈릴 수 있는데 gt는 t 시점에서의 gradient를 뜻하고 pt 는 t시점의 threshold를 뜻한다(loss를 나타내는 방식이 조금 특이하다). 왼쪽, 오른쪽 term 모두 분모를 보면은 labeled, unlabeled(threshold넘는) 데이터가 들어가있고, 왼쪽에는 unsupervised, 오른쪽에는 supervised loss가 들어가있는 것을 확인할 수 있다. 여기서 f는 cross entropy를 나타낸다. 그리고 이 논문의 핵심이라고 할 수 있는 dynamic threshold는 다음과 같이 정의된다.

C, r은 모두 1보다 크며 따라서 t가 커질수록 pt는 점점 커지는 것이다.여기서 phat은 1시점의 loss값과 관련되어 정해진다.

 

알고리즘 표를 보면 위와 같다.  

 

Result

엄청 큰 차이는 아니지만 FixMatch보다는 성능이 좋은 것을 확인할 수 있다.