비전공생의 ODIN(2018) 논문리뷰

논문의 풀 제목은 Enhancing the Reliability of Out-of-Distribution Image detection in Neural Networks이다. ODIN은 Out of Dstribution detector for Neural networks이다. 

https://arxiv.org/pdf/1706.02690.pdf

 

Introduction

딥러닝 모델을 실제 세계에 응용해보면 전혀 관련없는 input에 대해 high confidence를 가지는 경향이 있다.  따라서 분류기는 이러한 상황을 잘 인지할 필요가 있다(OOD detection). 가장 간단한 방법은 훈련과정에서 in, out distribution sample들을 많이 노출시키는 것이지만 해당 방법은 매우 비싸다. 따라서 해당 논문에서는 temperature scaling, adding small perturbation 을 통해 in, out distribution 데이터의 softmax score gap에 대해 극대화하려고 한다. 

 

Problem statement

각각의 데이터 분포  $P_{X}, Q_{X} $는 in distribution,  out of distribution 데이터를 나타낸다. 여기서 주 쟁점은 과연 우리가 해당 이미지가  $P_{X} $에서 왔는지 구분할 수 있느냐이다. 

 

ODIN: Out of Distribution detector

detector는 2가지 요소로 구성되어있다. temperature scacling, input preprocessing. temperature scaling 은 다음과 같이 나타날 수 있다.

softmax에 들어가기 전 encoder f에서 나온 logit값에 대해 temperature 값인 T로 나눠주는 것이다. 여기서 S(x, T)는 i이미지에 대한 softmax score를 나타낸다. 여기서 저자는 이렇게 temperature scaling을 통해 in distribution- out of distribution 이미지들을 잘 구분할 수 있다고 한다.

 

Input preprocessing은 다음과 같이 나타낸다.

해당 방법은 https://arxiv.org/pdf/1412.6572.pdf 이 논문에서 나온 방법을 차용하는 것인데, small perturbation을 넣어준다면 true label에 대하여 softmax score를 낮출 수 있다고 한다. 아마 더 강건한 모델을 만들기 위해 이러한 방법을 채택한 거 같다. 그러나 이 논문에서는 위 논문에서 설명한 방식과 반대의 방법을 택해야한다. true label에 대하여 높은 softmax score를 높이는 것이 목적이므로 빼주는 것을 알 수 있다.

 

이러한 과정을 거친 이미지는 softmax score를 가지게 되는데, 일정 threshold를 넘는다면 in, 넘지 않는다면 ood라고 판단할 수 있다.

 

Result