Focal Loss 공부해보기

해당 글은 많은 부분 https://gaussian37.github.io/dl-concept-focal_loss/ 를 참조하였습니다.

 

Object detection 문제에서 사용하는 손실함수는 여러가지가 있는데 우선적으로 bounding box가 한 물체에 대해 생성하는 classification loss가 있다. 그리고 너무 당연하게도 많은 bounding box들이 우리가 찾고자 하는 물체가 아닌 배경, 즉 background에 대하여 bounding box를 그릴 것이고 이에 대하여 loss를 발생시켜 안하도록 해야한다.

 

그러나 이러한 loss를 발생시키는 Cross Entropy의 경우 많은 negative, positive 부분에 대하여 가중치가 없다. 일반적인 분류문제에서는 상관없겠지만 한 이미지에서 많은 background부분들이 발생시키는(easy negative) loss가 압도적으로 커져, 문제가 생길 수 있다. 

 

그렇기 때문에 Focal loss를 도입하여 각 sample에 대하여 가중치를 부여하는 것이다.

기존  CE 와 비교해본다면 (1-pt)^r 이 추가된 것을 확인할 수 있다. 이 term의 역할은 easy example에 대하여 loss의 가중치를 줄이는 것이다. 여기서 gamma값은 최적화를 위한 하이퍼파라미터인데 논문에서는 2값을 최종적으로 준다고 한다. 위 그림을 본다면 ground truth class에 대해 확률이 높은 오른쪽 skew부분이 easy example이라고 할 수 있는데 이에 적은 loss를 부여하는 것을 확인할 수 있다. gamma값이 0인 파란색 그래프가 CE라고 할 수 있다.